要取信于人，人工智能得打开决策“黑箱”

如今，人工智能已经可以做决定，但我们仍不知道这个决定是如何做出的。人们需要了解人工智能如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。

近日，微软前全球执行副总裁沈向洋在接到清华大学续聘书时，通过直播方式分享了对AI可解释性与AI偏见相关问题的研究与看法。他提到，AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。所以，我们目前需要做的就是将其打开，了解AI想表达的意思和可能会做出的决定。这就需要设计和构建“负责任”的AI。

那么，AI的可解释性指什么?是什么导致人们无法对AI的行为进行解释?人工智能如何做决策?研究人员可以怎样做让这些决策更加透明?

尚无法完整解释决策过程

有人说，不确定性是AI的特征之一。

所有重大技术突破的出现，往往都伴随着相同的问题：如何确保技术的可靠。例如，在电子时代制造和使用电子产品时，人们可以通过技术资料了解所有的元件构成，从而得以信赖它们。又如，许多技术和生活场景中有检视清单的存在，它能指导我们如何合理完成一件任务。然而，到了人工智能时代，情况则不然。

“如今，AI已经可以做决定，这是AI过程中非常重要的一步，但我们仍缺乏对AI所做决定的认知。”沈向洋告诉科技日报记者，从某种程度上来讲，你建立一个模型、算法，输入数据，之后人工智能会产生一个结果。一切看上去顺理成章，但是有一个问题——我们尚不能完整解释为何人工智能会得出这样而不是那样的结论。

沈向洋进一步解释，我们将这种只能看到数据导入和输出，而无法看到和解读其工作原理的模型比作‘黑箱’，而将可以知晓内部工作原理的模型称为‘白箱’。人们需要了解人工智能如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出数据和信息的结果。”沈向洋指出。

显然，我们不能将明天交付给一个个无可解释的“黑箱”。“我们在学习的时候，经常说不仅要知其然，还要知其所以然。”沈向洋表示，人工智能的可解释性，指的是要“知其所以然”，要了解背后的原因和逻辑，是能回答“为什么”。

“以决策场景下的模型可解释性为例，端到端的深度学习，一个广为诟病的问题是其不透明性或不可解释性，比如说识别一张照片中的物体，机器做出的判断是基于哪些有效特征，我们无从得知。”阿里安全图灵实验室负责人、资深专家奥创认为，人工智能系统必须具有可解释性，以便人类可以理解系统的行为。

研究发现，一个用来判断图片中的动物是狼还是哈士奇的AI模型，在六幅图片中只判断错了一幅，看起来准确率尚可接受，可其背后有极大的隐患。因为如果从局部维度观察，发现它识别出狼的标准，根本不是狼的样子，而是以图片背景中的雪为标准。如果一头狼走入没有积雪的家中，却因此被识别为哈士奇，那就可怕了。显然，我们无法信任这样的模型，这也说明了模型可解释性的重要意义。

目前的解释说明或损害用户信任

如今，AI的规范应用正在成为一个社会问题，去年，欧盟出台《人工智能道德准则》，明确提出AI发展方向应该是“可信赖的”，包含安全、隐私和透明等方面。

“无人驾驶、人脸识别、智慧城市、智能家居等各类场景中都在运用AI，但一旦后端控制系统被攻击，出现规模化、连锁式的崩盘，AI失控的后果不堪设想。”奥创指出。

比如，无人驾驶车要通过识别交通信号标志来决定通行还是停止，而攻击者可以生成一个欺骗通行标志的对抗样本，在行人眼里是禁止通行，但AI系统会识别成允许通行，这足以造成灾难性的后果。再如，自2016年以来，很多地方都推出用于预测未来罪犯的软件，法庭在审判时已经开始用AI进行辅助判断。然而，越是如此，人们越会担心算法是否存在偏见。

沈向洋指出：“‘黑箱’带来的挑战在于，即便其做出的预测是准确的，我们却仍不知何时可以信赖它，或者从中学到什么。更进一步说，即便模型是准确的，在做高风险决策时，也需要知道究竟是什么原因使然。”

人工智能怎样做决策?“目前有种方法可提供解释说明，包括人工智能系统如何运行、怎样与数据进行交互的背景信息，但其最有可能损害用户以及受这些系统影响的人员的信任。通过这些信息，人们将会更容易识别和意识到潜在的偏见、错误和意想不到的结果。仅仅发布人工智能系统的算法很难实现有意义的透明度。最新(通常是最有发展前途的)人工智能技术，例如深度神经网络，通常没有任何算法输出可以帮助人们了解系统所发现的细微模式。”沈向洋指出。

鉴于此，人们需要一个更全面的方法，使人工智能系统设计人员能够尽可能完整、清晰描述系统的关键组成要件。据了解，微软也在与人工智能合作组织及其他组织合作开发最佳实践规范，以实现人工智能系统有意义的透明度。包括通过实践规范以及各种其他更易于理解的方法、算法或模型，来替代那些过于复杂且难以解释的方法。

准确率和可解释性不该是对矛盾

要理解机器学习模型内部如何运行，开发出新技术，来提供更有意义的透明度，需要对这一领域开展进一步研究。

来自微软的里奇·卡鲁阿纳等学者提出“提炼与比较”(Distill-and-Compare)的方法。据沈向洋介绍，面对许多已被广泛应用的专有或不透明的模型，这种方法能够在不探测“黑箱”API(应用程序接口)或预先定义其特性的情况下进行核验。通过将“黑箱”视作老师，训练出透明的学生模型，来模拟原本的“黑箱”，并将它与真实情况进行对比。

而微软研究院有学者提出“‘黑箱’无关”的思路，当医生无法采纳“黑箱”对病人感染流感率的预测结果时，一种解决方法是利用特征归属的办法——根据不同特征之于模型的重要性，为其赋予权重。其中，解释过程认为“打喷嚏”“头疼”是指向流感的证据;而没感到疲惫，则是否认流感的证据。这里权重带有正向或反向的方向性，同时其权重大小也各不相同，“头疼”的权重要明显高于“打喷嚏”。对于医生来说，这样的解释要比简单给出一个“患流感概率90%”有用得多。

沈向洋表示，随着神经网络模型越来越复杂，在准确性越来越高的同时，研究人员遇到一个问题，即不得不在模型的准确性和可解释性之间做出妥协，因为两者常难以兼顾。尤其随着在深度学习模型上进一步推进，经常会牵扯到几百万个乃至数十亿的参数。结果是，有时候研究人员做出一个行之有效的模型，却并不能完全理解其中的缘由。如用一个高准确率的模型来预测病人感染流感的几率，却只能给医生呈现一个数字，或是“阳性”的诊断，而无具体佐证，那么，即便得到的结论是正确的，在医生看来也用处不大——因为医生并不知其结论是如何被推导出的。

因此，要打造负责任的人工智能，确保其决策透明，即“我们能够理解并看到人工智能所做的决定”，尤其需要开发可翻译、可解释的人工智能模型，以了解人工智能是如何做出这些决策的。特别是在事关重大的关键领域中，需要对模型全面理解，以此避免出现错误。高准确率和高可解释性的人工智能将有助真正将技术进行广泛、负责任、有效的应用，造福人类生活。(记者 华 凌)