AI又一次突破，AI理解AI，MIT推出多模式自动解释智能MAIAI。

人类对人脑操纵的概率有许多想象，从《超体》中用药物刺激大脑，到赛博朋克文化中用电子干预入侵大脑空间。想象一下，假如人类真的可以直接操纵人脑的每个神经元，会怎么样？

此时，人类将能够直接了解这些神经元在感知特定物体时的作用，并希望能做出一些很“科幻”的事。

在现实生活中，这样的实验在人们的大脑中几乎很难实施，但在神经网络算法中却是合理的。但由于模型通常含有数百万神经，过于庞大和复杂，需要大量的人力来理解，导致大规模的模型理解成为一项具有挑战性的任务。

所以，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）研究小组推出了一个系统，使用神经模型自动理解模型任务。——MAIA，即“智能体可以自动解释多模式”。

MAIA 使用预训练的视觉语言模型来自动理解神经模型的任务。模块化设计使 MAIA 可以对随机系统进行灵活评估，并快速添加新的实验工具。另外，它可以自动实施复杂的实验，采用迭代实验方法检测假设，并根据实验结论更新假设。

助理教授加州大学伯克利分校教授 Jacob Steinhardt 认为，扩大这些方法可能是理解和安全监督人工智能系统最重要的方法之一。然而，研究小组认为， MAIA的强化 人类对人工智能系统的监管不会被取代。。MAIA 仍然需要人工监督来发现确定错误和图像生成/编辑失败等错误。

01 真正的效果如何？

当前的自动化可解释方法仅仅是一次性的数据标记或可视化， MAIA 这样就可以产生假设，设计实验来检测它们，并且通过迭代分析来改善它们的理解。视觉-语言模型是通过预训练的。（VLM）结合可解释性工具库，这种多模式方法可以通过编写和运行针对特定模型的定向测试来响应客户的查询，并不断完善其方法，直到提供全面的答案。

MAIA 框架的核心是预训练的多模态模型(例如 GPT-4V驱动的智能体，这个智能体可以自动实施测试来解释其他系统的行为。它通过构成可解释性子程序来解释 Python 实现这一点的程序。

图 | MAIA 架构

研究小组对神经元描述进行评估 MAIA，研究表明，MAIA 对真实模型和生成神经元数据的描述效果极佳，预测能力优于基线方法，与人类专家相当。

图 | 评定 MAIA 描述

此外，MAIA 表现出良好的应用潜力，可以帮助人类客户更好地了解模型行为，提高模型的性能和公平性，从而去除虚假特征，揭示偏见。

02 用 MAIA 消除虚假特征

在现实世界中，虚假特征会影响模型的鲁棒性。MAIA 可以识别和删除模型中的虚假特征，从而提高模型的鲁棒性。研究小组使用 ResNet-18 在 Spawrious 数据练习，包括四种不同背景的狗品种。

在数据集中中，每只狗的品种都与特定背景(如雪、丛林、沙漠、海滩)的虚假有关，但在测试集中中，类型-背景匹配是混乱的。研究小组使用 MAIA 找到最后一层神经元的子集。神经元可以用不同于虚假特征的方式预测单只狗的品种，只需要在客户提醒中更改查询即可。

数据显示，MAIA 能有效地去除模型中的虚假特征，从而提高模型的鲁棒性。

视频 | MAIA 选择狗狗品种与背景之间的虚假联系。

视频 | MAIA 对于单一的狗品种有选择性，不同于它的背景。

03 用 MAIA 揭示成见

在某些情况下，模型可能会出现偏见，导致其表现不佳。而且 MAIA 模型中的偏见可以自动揭示。研究小组使用 ResNet-152 在 ImageNet 在上面练习，并且使用 MAIA 在模型导出中检查偏见。

实验过程中，MAIA 提示生成与特定类别相关的图像，并观察模型对这些图像的反应。之后，MAIA 发现某些模型喜欢特定子类或与特定类别相关的图像。

这表明 MAIA 有助于识别模型中的偏见，从而改进模型。

图｜MAIA 模型成见检验

04 不足与展望

尽管 MAIA 它在自动可解释性方面表现出巨大的潜力，但是仍然存在一些局限性。

首先，MAIA 解释能力受其所用工具的限制，例如 Stable Diffusion 和 GPT-4。图像生成质量、成本、访问权限等工具的局限性将直接影响其访问权限 MAIA 性能。为了提高系统的可靠性和可访问性，我们可以考虑在未来开发更强大的内部工具，或者寻找开源替代方案。

其次，MAIA 解释不是正式验证，而是基于实验结论和自然语言描述。这可能会导致解释的偏差或误导。未来，我们可以考虑将正式验证方法(如因果推理和理论分析)融入其中。 MAIA，提高解释的准确性和可靠性。

此外，MAIA 常见错误不能完全避免，如确定错误、过度解释、样本结论等。未来可以考虑引入自我反思机制，这样可以 MAIA 能识别和纠正自己的错误，并提高鲁棒性的解释。

展望未来，本文的共同作者 Rott Shaham 他说:“我认为我们实验室的下一步自然是将这些类似的实验应用到人类感知中，超越人工系统。传统上，这需要人工设计和测试刺激，这是一个劳动密集型的过程。有了我们的智能体，我们可以在设计和测试大量刺激的同时，扩大这个过程。”

本文来自微信微信官方账号“学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com