*转载文章不代表本站观点。

本文来自微信公众号“悦智网”（gh_ad4cb8f6a543），作者：Matthew Hutson

如果点击脸谱网上的“为什么我会看到这则广告？”，答案可能是“（广告商）希望推送给与其客户相似的人”，或者“（广告商）试图推送给18岁及以上的人”，也可能是“（广告商）试图推送给主要位置在美国的人”。你还会看到“可能还有更多因素未在此列出”。脸谱网这样的解释是为了回应人们对该平台广告投放人工智能（AI）系统的抱怨。实际上，许多人都是第一次遭遇可解释性人工智能（或者XAI）的潮流冲击。

不过，法国格勒诺布尔信息学实验室的研究员奥纳•戈加（Oana Goga）对这些解释有些不理解。所以她与同事制作了一款自动收集脸谱网广告解释的浏览器扩展插件AdAnalyst。戈加的团队也成了广告商，他们可以将广告定向推送给使用了AdAnalyst的志愿者。结果是：“这些解释往往是不完整的，有时还具有误导性。” 艾伦•梅斯洛夫（Alan Mislove）说道，艾伦•梅斯洛夫是戈加在波士顿东北大学的合作者之一。

广告商在创建脸谱网广告时，会从大量的兴趣列表中选择想要观看这类广告的人，将其作为广告投放目标人群。“你可以选择那些对足球感兴趣、现在住在蓝色海岸、曾在这所大学上学、还喜欢喝酒的人。”戈加说。不过脸谱网提供的解释通常只提到一种兴趣，而且是最普遍的兴趣。梅斯洛夫认为，这可能是因为脸谱网不想让人觉得其令人毛骨悚然；该公司拒绝就本文发表评论，因此很难确定具体原因。

谷歌和推特的广告也有类似的解释。这3个平台可能都希望通过这种提高透明度的姿态来消除用户对其神秘广告算法的怀疑，同时掩盖其任何令人不安的做法。或者他们真的想让用户对自己看到的广告有一点控制权，用户可能会根据弹出的解释来修改自己的兴趣列表。无论如何，这些功能可能是用于解释其他算法而最为广泛采用的算法示例。既然如此，我们就要揭示为什么算法选择向你展示某个特定的广告。

我们周围的世界正越来越多地被这类算法编排。它们决定着你会看到什么样的广告、新闻和电影推荐。它们还会协助做出更重要的决定，决定谁获得贷款、工作或假释。在不久的将来，它们可能还会决定你接受什么样的治疗，或者你的车怎样在街道上行驶。因此，人们想知道为什么它们会做出这些决定。透明性有助于开发者调试其软件，让最终用户信任它，也有助于监管机构确保它的安全和公平。

问题是，这些自动化系统正在变得极其复杂，以至于我们很难弄清楚它们为什么会做出某些决定。因此，研究人员开发了理解这些自动决策装置的算法，形成了新的可解释性人工智能子领域。

2017年，美国国防部高级研究计划局（DARPA）启动了耗资7 500万美元的XAI项目。随后，新法规如雨后春笋般涌现，相关法规都要求实现这样的透明度，尤其是欧洲的《通用数据保护条例》（General Data Protection Regulation）。该条例规定，组织机构使用个人数据进行“包括画像在内的自动决策”时，必须披露“有关其所涉逻辑的有意义的信息”。制定这种规则是因为人们担心黑匣子系统可能隐藏有关非法的、令人厌恶的或歧视性做法的证据。

因此，XAI系统的需求量很大。对决策算法进行更好的监管无疑是一件好事，但是有研究人员担心，即使广泛要求解释，自动决策系统可能还是会看似公平，实则根本不公平。

例如，某个贷款申请评判系统可能会告诉你，它是根据你的收入和年龄来作出决定的，而事实上，最重要的是你的种族。这种偏见可能会出现，因为它反映了用来训练人工智能的数据之间的相关性，但我们必须将其排除在决策算法之外，以免其行为将过去的不公平做法永久化。

我们面临的挑战在于如何根除这种不公平的歧视形式。虽然排除申请人的种族、性别或宗教信息很容易，但这还不够。例如，研究表明，拥有常见非裔美国人姓名的求职者接到的回电更少，即使他们具备与其他人相同的任职资格。

计算机化的简历筛选工具即便没有向申请人展示过种族复选框，也很可能会表现出同样的种族偏见。这个系统可能仍然存在种族偏见；它只是不“承认”自己到底是如何工作的，而是提供一个更容易令人接受的解释。

不管算法是否明确使用了种族等受保护特征，人们都可以专门设计解释来隐藏有问题的歧视形式。一些人工智能研究人员将这种表里不一描述为一种“公平清洗”的形式：将可能不公平的算法表现成公平的样子。

目前尚不清楚这种欺骗性系统是常见还是罕见。可能已经存在这种系统了，但它们隐藏得很好，或者使用它们的动机还不强大。没人知道。不过，显而易见的是，使用越来越复杂的人工智能形式，将使此类威胁的识别愈加困难。

没有公司愿意被视为是在延续陈旧思想或根深蒂固的社会不公。因此，公司可能不愿分享其决策算法的具体工作原理，以避免被指责为不公正的歧视。公司也可能不愿为所做的决定提供解释，因为这些信息会使外部人员更容易对他们的专有系统进行逆向工程。在北卡罗来纳州达勒姆的杜克大学研究可解读机器学习的计算机科学家辛西娅•鲁丁（Cynthia Rudin）说：“有关信用评分的解释令人极其不满意。”她认为，信用评级机构故意掩盖其基本原理。“他们不会告诉你他们是怎么计算的。那是他们的‘秘诀’，对吧？”

之所以要谨慎，还有另一个原因。一旦人们对某个决策系统进行了逆向工程，就会更容易玩弄它。事实上，围绕这一点已经有了一个名为“搜索引擎优化”的庞大行业，该行业会对网页进行表面上的修改，使其在搜索排名中名列前茅。

那么，为什么一些使用决策人工智能的公司如此热衷于提供解释呢？为了找出答案，剑桥大学的计算机科学家乌曼•巴特（Umang Bhatt）及其合作者采访了30家机构的50名科学家、工程师和高管。他们了解到，一些高管要求其数据科学家加入可解释性工具，这样，公司就可以宣称自己使用了透明的人工智能。数据科学家们并不知道这是针对谁的、需要什么样的解释，也不知道公司为什么要开放。“基本上，高层都喜欢可解释性的花言巧语，”巴特说，“而数据科学家则会争先恐后地想办法实现它。”

数据科学家们的解释五花八门，但大多分为两类：一类是对基于人工智能的系统如何运作的解释，另一类是对特定决策的解释。它们分别称为全局解释和局部解释。两者都可以被操纵。

位于蒙特利尔的魁北克大学的乌尔里希•阿沃吉（Ulrich Aïvodji）和他的同事演示了如何修改全局解释使其看起来更好。他们使用了一种被称为LaundryML的算法（该算法对这种公平清洗来说已经足够合适）来检查因内部运作过于复杂、人们很难识别的机器学习系统。研究人员采用了LaundryML来应对XAI研究经常遇到的两项挑战。第一项任务是根据个人的各种属性来预测某人的收入是否超过5万美元（可能使此人成为一个良好的贷款候选人）。第二项任务是根据一组不同的属性来预测罪犯在出狱后的两年内是否会再次犯罪。

与通常用于生成解释的算法不同，LaundryML包含了某些公平性测试，以确保解释（原始系统的简化版本）在预测收入和累犯时不会优先考虑性别或种族等因素。借助LaundryML，研究人员能够得出简单的规则列表，这些规则列表看起来比原来有偏见的系统公平得多，但其给出的结果基本相同。令人担忧的是，企业可能会将这样的规则列表作为解释，以证明自己的决策体系是公平的。

另一种解释机器学习系统整体操作的办法是给出其决策抽样。2020年2月，日本理化研究所高级情报项目中心研究员福地和人（Kazuto Fukuchi）及其两位同事介绍了一种方法，该方法可以从以前的决策中选择一部分，这样一来，在判断系统是否不公平的审计员看来，该样本就具有代表性了。虽然精心挑选的样本符合某些公平标准，但这不代表整个决策集都符合。

各组织机构需要更频繁地为个别决策提供解释，而不是解释其系统是如何工作的。其中一种技术依赖于XAI研究人员称为“关注”（attention）的东西，它反映了决策系统的输入部分和输出部分之间的关系。他们认为关注值表明了最终判断对某些属性的依赖程度，但是卡内基梅隆大学的扎卡里•立普顿（Zachary Lipton）及其同事则对“关注”的整个概念表示怀疑。

这些研究人员训练了各种神经网络阅读医生的简短档案，并预测这些医生中谁擅长外科手术。他们会确保这些网络不会关注表示性别的词语。一个只考虑关注因素的解释会让人觉得，这些网络并没有性别歧视，但奇怪的是，如果在档案中删除“女士”这样的词，预测准确性就会受到影响，这表明，该网络实际上仍在使用性别来预测一个人的专长。

“关注首先告诉我们什么？”立普顿问道。他认为，我们并不清楚“关注”指标实际上指的是什么，这就为欺骗打开了空间。

最近，列支敦士登大学的约翰内斯•施耐德（Johannes Schneider）和其他人介绍了一种系统，该系统会检查自己做出的决定，然后为改变（不正确的）决定找到合理的理由。在将互联网电影资料库（IMDb）的电影评论分为正面或负面时，可靠的模型会通过强调“令人愉快”和“受赞赏”等词来解释自己为什么将一篇评论归为正面。不过施耐德的系统将同一篇评论标为负面，并指出脱离语境时，某些词语看起来是一种批评。

另一种解释自动决策的方法是使用一种被研究人员称为“输入扰动”的技术。如果想了解哪些输入会造成系统批准或拒绝贷款，我们可以创建多份贷款申请副本，并以各种方式修改输入。比如修改申请人的性别，或者略微改收入。提交所有申请并分别记录其审批结果，就可以发现哪些输入有影响。

这可以合理地解释一些原本神秘的决策系统是如何工作的。不过，希玛宾度•拉克拉珠（Himabindu Lakkaraju）带领的哈佛大学研究团队已开发出一种决策系统，该系统可以检测这种探查并相应地调整其输出。在接受测试时，系统会保持其最佳行为，忽略种族或性别等限制因素。其他时候，则回到其固有的偏见方式。这项研究的作者之一索菲•希尔加德（Sophie Hilgard）将使用这种方案（到目前为止，只是一个理论问题）比作是大众公司在汽车进行排放测试时临时调整发动机参数，使排放的废气比正常情况下更清洁。

另一种解释判断的方法是输出一个简单的决策树：if-then（如果-那么）规则清单。不过，决策树不会概括整个算法；相反，它只包括了做出有问题的决策时所使用的因素。2019年，法国国家科学研究中心的埃尔万•勒•梅勒（Erwan Le Merrer）和吉尔•特雷丹（Gilles Trédan）介绍了一种以欺骗方式构建这些决策树的办法，这样它们可以用看似客观的术语来解释信用评级，同时隐藏系统对申请人的性别、年龄和移民身份的依赖。

是否已经使用或将要使用这些欺骗手段是一个悬而未决的问题。也许某种程度的欺骗已经很普遍了，比如解释广告如何寻找目标的算法。列支敦士登大学的施耐德说，目前实施的欺骗手段可能不是那么明目张胆，“只是有一点误导性”。而且他指出，要符合当前那些要求提供解释的法律也不难。“如果你需要提供解释，也没有人告诉你它应该是什么样的。”

虽然XAI可能存在欺骗行为，但杜克大学的鲁丁对如何解决潜在问题采取了强硬态度：她认为，我们不应该依赖任何需要解释的决策系统。她不提倡可解释的人工智能，而是提倡可解读的人工智能，即具有内在透明性的算法。“人们真的喜欢自己的黑匣子，”她说，“对于我所见过的每一个数据集，你都可以得到一个可解读的（系统），它就像黑匣子一样精确。”同时，她说，与担保信任相比，解释可以带来更多的信任：“比如你说，‘我可以使用这个黑匣子，因为我可以解释它。所以，没关系，它可以安全使用。’”

关于透明性使这些系统更容易被玩弄的观点呢？鲁丁并不买账。她断言，如果你能玩弄它们，那就说明它们是糟糕的系统。在产品评级方面，我们会要求透明度。评级算法因其复杂性或需要保密而变得不透明时，每个人都会受影响：“制造商想要设计出一辆好车，但他们不知道质量好意味着什么。”她说。此外，她还补充道，人工智能要继续发展，并非一定要具备保持知识产权私有化的能力，至少在高风险应用中是如此。如果不得不公开算法，一些公司可能会失去兴趣，但会有其他公司来填补这一空白。

卡内基梅隆大学的立普顿不同意鲁丁的观点。他说，许多任务仍然要求深度神经网络（黑匣子中最神秘的部分）表现出最佳性能，特别是那些用于图像和语音识别的任务。所以对XAI的需求将继续存在。不过他说，欺骗性XAI的可能性指向了一个更大的问题：即使没有被操纵，解释也可能有误导性。

最终，人类必须评估自己使用的工具。如果一个算法突出强调了我们自己在决策过程中也会考虑的因素，我们就可能将其标准评判为可接受，即使我们没有获得更多见解或者解释没有说明全部情况。目前尚没有单一的理论或实践方法来衡量解释的质量。“这种概念上的模糊为误导提供了真正的机会。”立普顿说，即使我们人类只是在误导自己。

在某些情况下，任何解读尝试都可能是徒劳的。立普顿认为，期盼我们未来能理解某些复杂的人工智能系统在做什么，这是拟人观的体现，我们实际应将这些系统视为外星智能，或者更确切地说，是一些深奥的数学函数，其内部运作方式本来就超出了我们的掌握范围。他说，问一个系统是如何思考的，那么“得到的只有错误答案”。

不过，即使是不完整或误导性的解释，它们对于调试和推动公平也是有价值的。借用一句有时用于描述统计模型的格言：所有的解释都是错误的（包括解释人工智能黑匣子工作原理的简单解释），但有些是有用的。