汽车最新资讯：从炼丹到化学的神经网络探索 - 排比篇
在深度学习的海洋中，寻找那一块璀璨的宝石——可解释性。ICML 2019年大会上，我们踏上了这段旅程，从经验主义走向数学建模，揭开了神经网络黑箱之谜。
作为上海交通大学副教授，我与微软亚洲研究院紧密合作，共同推进这一前沿课题。在这个过程中，我们遇到了两个挑战：如何理解和诊断神经网络特征表达能力，以及如何量化和评估这些特征。
为了克服这些难题，我们提出了一套算法，用以测量每层特征所包含信息量，即 H(XF=f)。这种方法不仅能够细粒度地分析单词信息遗忘，还能提供一个普适性的评价指标，无论是自然语言处理还是计算机视觉领域。
通过对不同深度学习模型进行比较，如BERT、Transformer、LSTM和CNN，我们发现预训练参数的模型往往更擅长找到任务相关目标单词，而传统模型则倾向于关注无意义单词。这进一步证明了我们的方法能够揭示神经网络内部信息处理逻辑，使得我们可以更好地理解它们为什么会表现出这样的行为。
我们的工作不仅解决了过去研究中的不足，也为未来的AI研发提供了一种新的途径——将数学工具应用于解释性研究，让人工智能变得更加透明和可信。
