智能法律：从第一家初创到法官判决智能预测

机器之心报道

Ross Intelligence：世界首个人工智能律师

ROSS Intelligence 现位于硅谷，是全球第一家致力于法律服务的人工智能创业公司。

2014 年底，多伦多大学的几位学生在参与 IBM 认知计算机科学竞赛（IBM Cognitive Computing Competition）的过程中，将 Watson 的 Q&A 技术运用到了有关破产法律研究中。他们基于法律的分类法和本体论，通过使用 Watson 的 Q&A API，让 Watson 学习了数千页的法律文件，并基于谷歌的 PageRank 算法，建立了用于法律搜索的机器学习层 LegalRank。这套系统能自行识别出法律信息的重要程度，例如它能分辨出最高法院的判决要比地区法院排名靠前。

虽然这个系统在比赛中错失了第一名，但是这几位学生的竞赛项目成功转化为创业公司 ROSS Intelligence，连续两年入选彭博人工智能图景法律应用板块，并得到众多媒体的报道（比如，福布斯，纽约时报，经济学人、连线、新科学家、卫报，大西洋月刊及众多顶尖法律期刊等）。

2015 年夏天，ROSS 得到全球最大律师事务所 Dentons 旗下的 NextLaw Labs 的投资，并正式成为了 Dentons 的业务伙伴。之后的一年内，ROSS 不仅成功上线，并且在 Dentons 之外逐渐获得了更多的客户，包括大型律所 BakerHostetler 等。不久之前，机器之心对 ROSS Intelligence 的 CTO、联合创始人 Jimoh Ovbiagele 进行了专访，他向国内的读者介绍了 ROSS 的创业历程、ROSS 所采用的技术以及未来 ROSS Intelligence 的发展方向。

ROSS 的技术

Jimoh 介绍了公司产品所使用的一些技术，比如 NLP 或 Knowledge Representation。

Jimoh Ovbiagele说：我们使用了很多不同的自然语言和机器学习技术。我们使用了深度神经网络、依存解析（dependency parsing）、命名实体识别等（name entity recognition），language model 等。我觉得 language model 超酷的，我们使用了 word embedding , 比如词嵌入（word2vec），以百万计的法律案例训练我们的 word embedding。同时，我们发现了一些有趣的东西，比如，总统减去权利，我们得到副总统；不幸的是，我们用律师减去金钱，得到遵守道德。（笑）

这里面存在一些问题，其中一个是在使用机器学习解决判刑问题或预测罪犯时，发现有很强的种族偏见。人们批判机器学习存在种族歧视，但现实是我们的社会存在种族歧视。机器学习像镜子一样反映出社会的歧视，它如同镜子反应出社会的看法。这些机器学习系统是从数据中进行学习，但是这些数据来自我们人类，所以最终其实还是是学习我们人类。

Jimoh Ovbiagele解释到 ROSS 是如何搭建 knowledge base 以及如何做信息提取：这取决于具体的方法。比如使用 word embedding 这样的无监督学习技术，我们把判例法输进去，搞清楚单词的语境然后建立词的表征。我们也会进行大量人类互动，让系统更加完善。我们采用多种自然语言理解方法来决定推荐的文章是否回答了问题。虽然有很多种办法，但是我们得搞清楚如何给与每个特征或参数恰当的权重或得分。一种方法是我们使用机器学习来从历史问题和已知答案的训练数据组中学习，进行数以千计的迭代，为那些权重测试不同参数，看看哪些可以得出最理想的结果（基于训练数据集）。

此外我们拥有遍及全球教育 ROSS 如何回答问题的律师。「理解」这一点很重要：我们并非教授 ROSS 法律, 我们是在教授 ROSS 如何阅读法律。因此，即使律师教授的是具体问题，ROSS 也要从这些问题中发现模式，运用到回答从未见过的问题上。

最后，当用户使用我们的产品，我们会邀请用户给予反馈（比如点赞或吐槽），然后根据反馈强化问答或鼓励我们反思。

总体来说，第一是律师主动地训练系统，其次用户在使用中通过反馈训练系统给出更好的答案，此外就是基于大量的数据使用适当的算法学习出表征。

随机森林算法预测法官判决，准确度优于人类水平

一项新研究表明，即使在信息比较少的情况下，计算机也能比法律学者更好地预测最高法院的判决。

还有其他一些研究也通过算法预测法官的判决行为。例如在 2011 项目中，其使用了 1953 年到 2004 年任意八名法官的投票来预测同一个案件下第九名法官的判决，该系统实现了 83% 的准确度。而另一篇 2004 年发表的论文通过使用 1994 年以来一直在法院工作的法官及其判决来预测 2002 年案件的判决结果，该系统实现了 75% 的准确度。

而现在新的研究利用更丰富的数据集预测任意法官在任何时候的判决。研究者们使用的是最高法院数据库，该数据库包含的信息甚至可以追溯到 1791 年处理的案件。利用这一大型数据库，研究者们构建了一个通用型算法，该算法可以预测任何法官在任何时间所做的判决。研究者们将每一个判决使用 16 个特征表达，其包括了法官、时期、问题和原审判法院等信息。同时他们还增加了一些特征，如口头辩论是否有旁听者等情况。

该团队利用 1816 年到 2015 年的数据建立了一个称之为随机森林的统计机器学习模型。该模型通过查看以往的数据以找出案件特征和判决结果之间的联系。模型预测的判决结果包括是否撤销地方法院的裁决以及每一个法官是如何判决的。然后模型通过查看该年份每一个案例的特征预测可能的判决结果。最后，该算法会学习预测的结果，这样以更新以后判决的策略。

从 1816 年到 2015 年，算法正确地预测了法院 28000 项决议中的 70.2%，法官 240000 次判决中的 71.9%，该数据是论文作者在 PLOS ONE 中所报告的。该算法击败了最高法院流行的策略「总是推翻」，推翻策略在过去 35 期最高法院的判决中占了 63%。同样该随机森林算法也要比直接使用过去 10 年的经验而自动预测「推翻」与「维持原判」这一策略要好。2004 年的研究发现，即使是知识渊博的法律专家，他们在预测案件的准确度也只有 66%。该研究的主要作者，芝加哥伊利诺伊理工大学法学教授 Daniel Katz 说：「每一次我们在预测案件的时候，人类很难做到准确。」

西班牙依维尔基里大学的物理学家 Roger Guimera 和 2011 项目的主要作者都说新算法「严谨而优良」。密歇根大学政治学家 Andrew Martin 作为 2004 年项目研究的作者，他评论新团队所建立的算法在两个世纪以来的数据上运行优秀。他说：「新研究团队正在创造真正的大数据集并使用最先进的算法，这对科学来说十分重要。」

走出实验室，银行家和律师可能将此算法投入到实际应用中。投资者也会对可能在裁决中受益的公司进行投资。而上诉者也可以根据是否有胜算而向最高法院提出诉讼。Katz 说：「而那些经常讨论这些案件的律师也将受益良多。」

律师还能将不同的变量加入到模型中以获得最可能上诉成功的路径，这些变量就包括了哪些地方法院上诉的成功率高或哪些才是合适的原告人。芝加哥肯特学院法学研究联合作者 Michael Bommarito 在美国独立企业联盟（National Federation of Independent Business v. Sebelius）就提出过一个真实的案例，其中美国平价医疗法案已经正式推行：「其中令其真正有趣的是：平价医疗法案是关于自由言论，关于税收或某种健康权益问题吗？」而现在，算法可以帮助原告人哪些问题才是最重要的。

判决预测算法的未来应该包括口头辩论的全文文本或专家预测。Katz 说：「我们相信法律专家、大众和算法的融合是解决判决预测问题的关键。」

论文地址：http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0174698

基于机器学习的发展和先前司法判决预测科学的研究，我们构建了一个可以预测美国最高法院（Supreme Court of the United States）判决行为的通用算法。为此，我们开发了一个随时间演化的随机森林分类器，并且利用其独特的特征工程预测了近两个世纪（1816-2015 年）的 240000 项判决和 28000 项案件结果。我们在决策之前只使用可获得的数据，并在参数和非参数测试下，模型在判决和案件层面上都优于基线（null/baseline）模型。在近两个世纪的数据中，我们在案件结果层面实现了 70.2% 的准确度，司法判决层面实现了 71.9% 的准确度。最近，我们利用近一个世纪的数据实现了比样本优化零模型（in-sample optimized null model）近 5% 的优化。我们的研究与先前预测保持一致，并提升了一般预测的水平。然而，我们的模型是独特的，因为其可以应用于整个最高法院过去和未来的样本，而不是单一的时期。因此我们的研究成果代表了定量法律预测科学的重要进步，并展示了一系列潜在的应用。

表 1：预测结果的分布（1816-2015）

图 1：案件和司法判决准确度（1816-2015）