论AI自动化思维中的隐性成本
像许多药物一样，专门用于保持头脑清醒的药物莫达非尼在包装里配了一份折叠起来的小小说明书，其中的主要内容包括说明与注意事项、药物分子结构等等。精神药品基本都是这个套路。然而，在说明书的“起效机制(Mechanism of Action)”部分却有着一行让人有点纠结的小字：“莫达非尼使人头脑清醒效果的机制尚不明确。”
这种情况其实并不罕见。目前已经有许多获得了监管部门批准并得到广泛使用的药物，其起效机制一直没能得到严格证明。在药物发现的过程中，研究人员通常需要反复试验以解开这个谜团。例如，每一年在培养的细胞或动物个体身上测试任意数量的新药物质;而后将其中最好、最安全的配合推向人体实验阶段。在某些情况下，药物的成功能够激发新的后续研究，并最终让我们了解到其起效方式。
但在另一些情况下，难题似乎永远无法解开。阿司匹林早在1897年就被发现，然而直到1995年，人们才真正找到令人信服的药效机理解释。医学中的其它层面也存在着类似的现象：深部脑刺激技术允许治疗人员在患有特定运动障碍(例如帕金森病)的病人脑中植入电极，且已经拥有超过20年的广泛应用背景。有些人甚至认为这项技术可以用于其它目的——包括常规认知增强，但却没人说得清其到底如何起效。
这种先回答、后解释的药物发现方法带来的新问题，我将其称为知识债务(intellectual debt)。具体来讲，我们可能会在不清楚其起效原理的情况下发现了药方，而后利用洞察力对底层机制进行假设，最后计算得出正确结论。在某些情况下，我们能够快速偿还这笔知识债务，但有时候我们可能要经过长达数十年的痛苦摸索——期间只能继续“浑浑噩噩”地依仗这种尚未被解谜的知识成果。
过去，知识债务的解决一直局限于某些能够反复进行实验的领域，特别是医学。但目前的情况正在改变，人工智能——特别是机器学习——这一新兴技术的崛起，正在快速提升我们人类的整体知识水平。
机器学习系统能够从浩如烟海的信息当中提取数据模式，而这些模式将帮助我们为那些较为模糊的开放性问题找到答案。如果利用有猫与无猫标记图片对神经网络模型进行训练，它就能区分猫和其它动物;如果我们利用医疗记录训练模型，其则可尝试预测入院病人的死亡可能性。然而，大多数机器学习系统无法发现其中的因果机制，其更像是一套用于统计相关性的引擎。这些系统无法解释自己为何认为某些患者的死亡率更高，因为它们没有真正意义上的“思维”能力，而仅仅是具备回答问题的能力。当我们将这类系统的见解融入日常生活时，就会发现自己承担的知识债务开始快速增长。
药物发现中的无理论进展向我们证明，在某些情况下，知识债务是一种合理甚至必要的过渡产物。尽管我们还无法从根本上解释起效机制，但这些成果已经挽救了数以百万计人类的生命，并让我们的生活更加美好。很少有人会因为不清楚药效原理而拒绝服用能够拯救生命的药物——甚至在吃阿司匹林的时候，大家也不会为此担忧。
但必须承认，知识债务的积累也有不利因素。当大量原理未知型药物彼此纠缠起来，发现其彼此之间不良作用的测试也开始呈指数级增长。(如果了解药物的起效原理，我们就能够事先预测这些负面相互作用。)
因此，在实践当中，某些新药物上市之后会与原有药物发生反应，接下来就是两家公司陷入诉讼泥潭，并最终导致药品退出市场。从理解角度看，我们应该通过一个个案例累积起与新药相关的认知，并逐步解决知识债务问题。然而，知识债务并非孤立存在;如果没有跨过第一原理这道门槛，在不同领域发现及应用的答案都可能以无法预测的方式带来难以想象的复杂性问题。
通过机器学习产生的知识债务，在风险上远远超过了以往来自旧式试验与错误尝试的同类债务。这是因为大多数机器学习模型都无法对当前判断给出理由性解释，因此如果不对它们提供的答案进行独立判断，我们就无法得知它们在哪些用例中犯了错误。虽然在经过严格训练的系统中，这种错误非常少见;但是，我们仍有必要明确理解系统的判断过程，否则恶意人士将通过种种方式故意触发错误，进而造成严重的负面后果。
下面来思考图像识别场景。十年之前，计算机一般很难认出照片中的物体。如今，图像搜索引擎就如同我们日常使用的众多系统一样，同样基于极其强大的机器学习模型。谷歌的图像搜索服务就依赖于名为Inception的神经网络。2017年，麻省理工学院的LabSix(一支由本科生与研究生组成的研究小组)就成功篡改了一张小猫图片中的像素——虽然其看起来仍然像是人类认知中的猫，但Inception以99.99%的确定性认为这是一张牛油果照片。(根据计算，Inception认为可能性次高的结果分别为西兰花以及砂浆。)这又回归了我们之前提到的问题：当我们无法解释机器学习系统依靠哪些特征进行图片判断时，一旦有人提供特制或者篡改过的数据，我们也无法轻松预测系统何时会犯下错误。这样的系统当中可能存在着未知的准确性差距，而这无疑将给聪明且坚定的攻击者留下可乘之机。
随着对机器学习系统所产生知识的运用，这种差距将产生愈发严重的影响。目前训练出的医疗保健AI，已经能够成功对皮肤病变进行良性与恶性分类。然而，在哈佛医学院与麻省理工研究团队今年出版的一篇论文中，研究人员们发现此类AI也有可能受到欺骗——基本情况与上文提到的小猫变牛油果案例类似。(除此之外，攻击者也可能利用这些漏洞骗取高额保险赔偿。)出于强大预测能力的诱惑，我们可能会急于将其作为人类医师的替代性方案;但必须承认，AI模型极易受到劫持，而且我们没有什么简单方法能够验证其产生的答案。
我们能否为知识债务创建一份资产负债表，并借此跟踪那些无理论知识被运用在哪里以及哪些系统当中?在初步统计之后，我们发现不同知识债务所引发的潜在影响也有所区别。如果是AI生成的全新批萨配方，那么管他什么潜在影响，直接尝尝味道就可以;但相比之下，如果我们打算采纳AI提出的健康预测与治疗建议，那么更充分的信息无疑非常必要。
要想建立并维护好这份覆盖整个人类社会的知识债务表，我们可能首先得改进原本主要用于处理商业机密及其它知识成果的相关方法。在城市，建筑法规要求房屋业主上报他们的装修计划;同样的，我们可能也得要求各科研机构或者大学公开他们实际使用的隐藏数据集与算法。如此一来，研究人员们将能够着手探索我们所依赖的模型及基础数据，并通过建立理论抢在知识债务引发严重错误及漏洞之前完成修复工作。
机器学习模型已经愈发普遍，任何人都能够创建起自己的机器学习模型，这也让统计审查工作变得越来越困难。但这仍然非常重要，因为孤立系统虽然能够产生有用的结果，但这些系统本身却不会孤立地存在：当AI技术收集并提取真实世界中的数据时，它们也会产生属于自己的数据，而其中大部分结论都会作为其它系统的输入内容。正如原理未知的药物之间可能发生相互影响一样，债务负担算法也将面对类似的挑战。
另外，即使是最简单的交互也可能引发麻烦。2011年，一位名叫Michael Eisen的生物学家从他的一名学生身上发现了有趣的案例：一名毫不起眼的旧书《飞翔的奥秘：动物设计中的遗传学(The Making of a Fly: The Genetics of Animal Design)》在亚马逊网站上最低的开价竟然高达170万美元——还要再加上3.99美元的运费。第二低的价格则迅速攀升至210万美元。这两位卖家都是亚马逊上的老店，店铺里也都有着非常积极的评论。而当Eisen连续几天访问该书的页面时，他发现价格一直在不断增加，且似乎遵循着一定的规律。卖家甲的价格一直是卖家乙价格的99.83%;而第二天，卖家乙的价格则会上调至卖家甲前一天价格的127.059%。Eisen推断，卖家甲肯定是真的拥有这本书，而且打算长期占据亚马逊上最低的价格。与此同时，卖家乙没有这本书，所以把价格定得更高;这样如果有人购买，卖家乙可以当一把“二道贩子”，直接拍下卖家甲的商品。
这两位卖家的推定策略都非常理性，但双方采取的算法在相互作用之后产生了不合常理的结果。同理可知，成千上万套机器学习系统在实际运行当中几乎必然会带来更难以预测的结果。正在大规模部署前沿机器学习系统的金融市场，为这类问题提供了理想的温床。2010年，在令人痛苦的36分钟之内，由算法交易驱动的“闪电崩盘”事件从美国各大主要经济指数中蒸发掉超过1万亿美元财富。去年秋季，J.P.摩根分析师Marko Kolanovic认为，这种崩溃事件很可能再次发生，因为如今更多交易开始以自动化系统为基础。知识债务可能在这些系统之间相互碰撞并不断积累，甚至影响到彼此并未直接交互的系统。如果没有类似于资产负债表的制度存在，我们将无法预测或者追溯事件的前因后果，更无法确定我们是否值得承担知识债务、我们又能够承担多少知识债务。
知识债务的增加，也有可能改变我们对基础科学以及对应用技术的思考方式。与粒子加速器这类由政府机构斥巨资兴建、并由学术研究机构代为运营的项目不同，机器学习工具能够快速在私营企业与学术组织内传播。实际上，谷歌与Facebook获取预测性数据素材的能力要远超任何计算机科学或者政府统计部门。在生意人来看，这些知识能不能解释好像没什么关系，但知识债务在客观上仍将快速累积。最终，问题将落在企业手中，而非真正有意解决这一切的学术研究人员。
可以想象，源自机器学习的知识不断增长，也将使得赞助资金越来越多地涌向那些乐于利用AI技术(而非以人工方式慢慢推进项目)的研究人员手中。去年12月，研究蛋白质折叠的研究员Mohammed AlQuraishi撰写了一篇论文，探讨自己在所在领域的最新成果：创建一套能够以高于人类研究员的准确度预测蛋白质折叠情况的机器学习模型。AlQuiraishi对自己无法探明数据理论感到遗憾，并表示自己投入大量精力但仍一无所获。他在接受采访时表示，“那些能够提供新的分析洞察力概念的论文或者相关成果，实际未能得到同样的重视。”随着机器发现速度的加快，人们可能认为这些坚持旧有研究方式的家伙是一帮异类——多此一举而且无可救药地落后于时代。相反，针对某一特定领域的知识发现类机器学习模型则比知识本身更有价值，因为它们能够更快地为该主题提供答案。