深度揭秘：机器学习对软件开发带来哪些影响？

摘要： 当软件开发碰见机器学习，到底能碰撞出什么样的火花呢？

机器学习有望从根本上改变软件开发的本质，这也许是自FORTRAN和LISP被发明以来软件开发领域改变最大的一次。这些变化对数百万正在从事软件开发的人而言，意味着什么呢？失业？裁员？现有的软件开发将变得面目全非？

自20世纪70年代以来，我们尽可能的构建了足够多的软件。我们有高级语言，低级语言，脚本语言以及用于构建和测试软件的工具，但我们利用这些工具做的事情却没有发生太大变化。我们现在拥有的语言和工具比50年前要好得多，但它们本质上是一样的。我们仍然使用代码编辑器，但这些编辑器变得更花哨了：他们有彩色的高亮，变量名补全，它们有时可以帮助我们完成重构等任务，但他们仍然是emacs和vi的后代。面向对象编程代表了一种不同的编程风格，但从某种本质上而言并不是“全新”的事物，对于函数式编程我们可以一直追溯到50年代。

未来我们将专注于机器学习而不是人工智能。机器学习曾经被称为“AI最管用的那一部分”，更重要的是，“机器学习”这种提法可以避开类似“通用智能”这种叫法。因为这样的系统目前不存在，并且可能永远不存在，目前来看只有人类才能做到这一点。而机器学习可能只比模式识别多一点点，但我们已经看到模式识别可以完成很多工作。实际上，手工编码的模式识别是我们当前工具集的核心：这真的是现代优化编译器所正在做的。

麦肯锡估计“使用现有技术，只有不到5％的职业可以完全自动化。然而，大约有60％的职业工作活动中，具有30％或更多的组成部分能够被自动化。”软件开发和数据科学不会成为完全被自动化的职业之一。但优秀的软件开发人员一直在寻求对于繁琐，重复的任务的自动化，毫无疑问，软件开发本身将日益变得可以被自动化。这并不是一个激进的愿景，因为我们在过去的半个世纪里持续的为了自动化工具而努力。编译器对编写机器代码的过程进行了自动化。脚本语言通过将更大，更复杂的程序粘合在一起来自动执行许多枯燥无味的任务。软件测试工具、自动部署工具、容器和容器编排系统等等，这些都是为了对开发、部署、管理软件系统的过程进行自动化的工具。而且这些都没有利用机器学习，但这肯定是下一步它们要做的。

机器学习会不会吞并软件？

毕竟，“软件吞噬世界”是一个日益抽象和普遍化的过程。笔记本电脑，手机或智能手表已经逐渐取代收音机，电视机，锁和钥匙，电灯开关，这是因为我们并没有将计算机仅仅看成数字计算器而是通用机器。从这个角度来看，很容易将机器学习想象成下一个抽象层次，这是我们迄今为止发现的最通用的问题解决工具。当然，神经网络已经证明了它们可以执行许多特定任务。由资深人士乐观地表示，对于许多任务而言，收集数据比编写程序更容易。对于一些非常有趣且困难的程序，这无疑是正确的，比如说收集围棋或国际象棋的训练数据很容易，但很难写一个程序成功地玩这些游戏。另一方面，数据收集并不总是那么容易。我们无法设想自动标记图片的程序，特别是在Facebook和阿里巴巴这样收集了数十亿张图片的网站，而且其中许多图片已被人类标记过。对于像人脸识别这样的任务，我们不知道如何编写软件，而且很难收集数据。对于其他任务，例如计费，可以很容易地根据一些简单的业务规则编写程序。如果你能够收集数据，你编写的程序将更好地适应不同的情况，还能够检测异常，这一点当“将人类纳入软件迭代的循环”时，尤为如此。

正在代替代码的机器学习

机器学习正在使代码变得高效：Google的Jeff Dean说，500行TensorFlow代码已经取代了谷歌翻译中的500000行代码。虽然代码行数是一个值得质疑的指标，但无论是从编程工作量角度来看还是从需要维护的代码量来看，这个突破都是可称赞的。更重要的是这段代码是如何工作的：相比于五十万行的代码，这是一个经过训练以用于翻译的神经网络。神经网络可以随着语言的变化和使用场景的变化，在新数据上被重新训练，而且整个代码都不需要重写。虽然我们不应低估训练任何复杂度的神经网络的难度，但我们同样也不应低估管理和调试一个巨大代码库带来的问题。

研究表明，神经网络可以通过组合现有模块来创建新程序。虽然以这种方式构建的程序很简单，但是让单个神经网络能够学习执行几个不同的任务是很重要的，每个任务通常都需要一个单独的程序。

Pete Warden认为：“开发人员必须成为一名教师（教机器），一名训练数据的策划人。”我们发现，这种说法非常具有启发性。软件开发不会消失，但开发人员必须以不同的方式来思考自己。你如何构建一个解决一般问题的系统，然后教该系统解决一个特定的任务？这貌似听起来像是一个风险很高又麻烦的场景。但这意味着我们的系统将变得更加灵活，具有很强的适应性。Warden设想的未来，更多是关于产出的，而不是关于撰写代码行数。Peter经过更加系统的思考，认为机器学习可以从训练数据中产生短程序，而不是很大的程序。

数据管理和基础设施

早期的迹象表明，机器学习有着可以胜过传统的数据库索引的性能：它可以学习预测数据的存储位置或者预测数据是否存在。机器学习明显更快，并且需要更少的内存，但也有着相当大的限制性：当前基于机器学习的工具不包括多维索引，并假设数据库不经常更新。重新训练比重建传统数据库索引需要更长的时间。尽管如此，研究人员正在研究如何学习到多维索引，查询的优化，重新训练的性能。

机器学习已经进入了数据基础设施的其他领域。数据工程师正在使用机器学习来管理Hadoop，从而可以更快地响应Hadoop集群中的内存不足等问题。 Kafka工程师使用机器学习来诊断问题，从而简化了管理许多配置的问题，这些配置会影响数据库的性能。数据工程师和数据库管理员不会过时，但他们可能需要发展一下他们的机器学习技能。机器学习将帮助他们使困难的问题变得更简单，管理数据基础架构这个工作，将不会像正确设置数百个不同的配置参数那样，它会更像是在训练一个系统，让整个管理工作运行的更有条理。

使困难问题变得可管理是数据科学最重要的问题之一。数据工程师负责维护数据管道：提取数据、清理数据、特征工程和模型构建。同时他们还需要负责在非常复杂的环境中部署软件，一旦部署了这些基础架构，还需要不断监视它，以检测（或防止）资源用尽，确保模型正确运行。这些都是非常适合用机器学习处理的任务，我们越来越多地看到像MLFlow这样的软件能够被用于管理数据管道。

数据科学

在自动化编程的早期表现形式中，工具旨在使数据分析师能够执行更高级的分析任务。Automatic Statistician是一种更新的工具，可自动进行探索性数据分析，并为时间序列类型的数据提供统计模型，且附有详细说明。

随着深度学习的兴起，数据科学家发现自己需要寻找合适的神经网络架构和参数。让神经网络学着找到合适自己架构的过程，也可能被自动化。毕竟，神经网络就只是单纯的自动化学习工具：虽然构建神经网络结构需要大量的人力工作，但是不可能手动调整模型的所有参数。未来的场景应该是使用机器学习来探索所有可能的神经网络架构：正如一篇文章指出的，10层网络可能就有10的10次方种可能性。已经有其他研究人员使用强化学习来让神经网络架构开发变得更加容易。

模型创建不是一劳永逸的事情：数据模型需要不断进行测试和调整。我们开始看到的用于持续监控和模型调整的这些工具并不是特别新颖，比如用于A/B测试的老虎机算法已经存在了一段时间，对于许多公司来说，老虎机算法算是强化学习的第一步。机器学习同样也可以用来查找软件中的漏洞，有些系统会浏览代码，并寻找已知的缺陷。这些系统不一定需要能够修复代码，也不承诺找到所有潜在的问题。但是他们可以很容易地对危险的代码进行高亮显示，并且他们可以允许在大型代码库上进行开发的程序员提出诸如“还有类似这样的问题存在于其他地方吗？”之类的问题。

游戏开发者也正在探索利用机器学习来降低游戏开发成本以及创造更多有趣的游戏。机器学习可以用来制作看起来更逼真的背景和场景吗？游戏开发者都知道对逼真的场景和图像进行绘制和建模又耗钱，又费时。目前，非玩家角色（NPC）所做的一切都必须明确编程。机器学习可以用来模拟NPC的行为吗？如果NPC可以学习到行为，我们可以期待更有创意的游戏玩法出现。

展望未来

软件开发人员的未来是什么样的？软件开发是否会同样走上麦肯锡为其他行业预测的演化路径呢？在软件开发和数据科学中所涉及的30%的工作是否会被自动化？也许，刚刚我们所谈的只是对未来某种情况的简单解读。但毫无疑问，机器学习将改变软件开发。如果未来我们现在所认为的“编程”中很大一部分被自动化了，那也没什么好惊讶的。编译器不进行机器学习，但他们通过自动生成机器代码来改变软件行业，这在未来可能并不是什么新鲜事。

重要的问题是软件开发和数据科学将如何变化。一种可能性，实际上是一种事实：软件开发人员会在数据收集和准备方面投入更多精力。没有数据训练，机器学习就什么都不是。开发人员必须做的，不仅仅是收集数据; 他们必须构建数据管道，以及构建管理这些管道的基础设施，我们称之为“数据工程”。在许多情况下，这些管线本身将使用机器学习来监控和优化自己。

我们可以看到训练机器学习算法成为一个独特的子专业；我们可能很快会有一个新职业-“训练工程师”，就像我们目前谈论的“数据工程师”一样。Andrew Ng在他自己的《机器学习渴望》一书时中说：“这本书的重点不是教你ML算法，而是教你如何让ML算法有效。没有编码，也没有复杂的数学。本书几乎完全侧重于模型训练过程，而不仅仅是编码，训练才是让机器学习有效工作的本质。”

我们提出的想法都涉及一种能力：它使人类能够生产出更快、更可靠、更好的能够生效的产品。开发人员将能够将更多时间花在有趣且更重要的问题上，而不是把基本工作做好。那些问题可能是什么问题呢？

在一篇关于智能增强的讨论里，Nicky论证了，计算机在针对一个问题寻找最佳答案上表现出色。因为计算机的本质是计算工具。但是他们不是很擅长“找到一个值得回答的有趣问题”，这件事是人类做的。那么，我们需要提出哪些重要的问题呢？

这些重要的问题已经在不断的被发现了，比如我们刚刚开始认识到道德在计算中的重要性，才开始考虑更好的用户界面，包括会话界面：它们将如何运作？即使在人工智能的帮助下，我们的安全问题也不会消失。先不管安全问题怎样，我们所有的设备都在变得“聪明”。这意味着什么？我们希望它们做什么？人类不会编写尽可能多的低级代码。但是正因为他们将不会去编写那些代码，所以他们可以自由地思考代码应该做什么，以及它应该如何与人交互。需要解决的问题永远不会少。

很难想象“人类不再创建软件”的未来，但很容易想象“将人纳入软件研发的循环”中在未来将占越来越多的比重。

阅读原文

本文为云栖社区原创内容，未经允许不得转载。