机器学习是从人工智能中产生的一个重要学科分支，涉及概率论、统计学、逼近论等多门学科。专门研究计算机如何模拟人或实现人类自身的学习行为，以获取新知识或技能，重新组织已有知识结构使之不断改善自身的性能。机器学习是打开人工智能大门的关键钥匙。自从1952年ArthurSamuel提出“机器学习”概念至今，已过去了将近70年。

发展历程

推理期（20世纪50-70年代初）

• 认为只要给机器赋予逻辑推理能力，机器就具有智能。
• A.Newell和H.Simon的“逻辑理论家”“通用问题求解”程序，获得1975年图灵奖。

知识期（20世纪70年代中期）

• 认为要使机器具有智能，就必须设法使机器拥有知识。
• E.A.Feigenbaum作为“知识工程”之父获得1994年图灵奖。

学科形成（20世纪80年代）

20世纪80年代，机器学习成为一个独立学科领域并快速发展，各种机器学习技术百花齐放。

• 1980年美国卡内基梅隆大学举行第一届机器学习研讨会。
• 1990年《机器学习：风范与方法》出版。

繁荣期（20世纪80年代至今）

• 20世纪90年代后，统计学方法占主导，代表为SVM.
• 2006年至今，基于大数据分析的需求，神经网络又被重现，成为深度学习理论的基础。

机器学习一定程度上是基于脑细胞相互作用的模型。1949年，该模型由DonaldHebb在《行为组织》一书中创建。这本书介绍了Hebb关于神经元兴奋和神经元之间交流的理论。

Hebb写道：“当一个细胞不断地帮助激发另一个细胞时，第一个细胞的轴突与第二个细胞的体细胞接触，形成突触旋钮”。如果将Hebb的概念转化到人工领域，其模型可以被描述为一种改变人工神经元(节点)与个体神经元变化之间关系的方法。当两个神经元同时被激活时，它们之间的关系增强；两个神经元分别被单独激活时，它们之间的关系减弱。“权重”这个词用来描述这些关系，那些倾向于同时为正或同时为负的神经元被描述为具有很强的正权重。那些倾向于具有相反权值的节点发展为强负权重(如1×1=1，-1x-1=1， -1×1=-1)。

机器学习跳棋游戏

20世纪50年代，IBM的Arthur Samuel开发了一种下棋的电脑程序。由于该程序只有很少的计算机内存可用，Samuel就发明了alpha-beta剪枝算法。他的设计包括使用棋子位置的计分功能。得分函数试图衡量双方获胜的机会。程序使用极大极小策略来选择下一步，该策略最终演化为极大极小算法。

Samuel还设计了一些机制使程序变得更好。在Samuel所谓的机械学习中，该程序记录了所有已经看到的位置，并将其与奖励函数的值相结合。1952年，ArthurSamuel首次提出“机器学习”一词。

感知器

1957年，康奈尔航空实验室的Frank Rosenblatt将Donald Hebb的脑细胞互动模型与Arthur Samuel的机器学习成果结合起来，创造了感知器。感知器最初被设计成一台机器，而不是一个程序。该软件最初是为IBM 704设计的，安装在一台名为Mark 1感知器的定制机器上，这台机器是为图像识别而构建的。这使得软件和算法可以转移，并可用于其他机器。

作为第一个成功的神经计算机，Mark I感知器出现了一些不符合预期的问题。虽然感知器看起来很有前途，但它不能识别许多种类的视觉模式，这导致了神经网络研究的停滞。直到上世纪90年代，机器学习研究才开始复兴。

最近邻算法

1967年，最近邻算法提出，意味着基础模式识别的开始。该算法用于路线映射，是最早用于求解旅行商寻找最有效路线问题的算法之一。使用它，销售人员进入一个选定的城市，反复让程序访问最近的城市，直到所有城市都访问完毕。马塞洛·佩利洛(Marcello Pelillo) “最近邻规则”的发明而受到赞誉。他把这归功于1967年Cover和Hart的论文。

多层结构迈出了下一步

20世纪60年代，多层结构的发现和应用为神经网络研究开辟了一条新道路。研究发现，感知器中使用两个或多个层比一个层具有更强的处理能力。其他版本的神经网络是在感知器打开网络“层”的大门之后创建的，而且神经网络的种类还在不断扩大。多层结构的使用催生了前馈神经网络和反向传播。

反向传播是在20世纪70年代发展起来的，它允许网络调整其隐藏的神经元，以适应新的情况。在输出处出现一个错误时，将其描述为“错误的反向传播”，然后向后分布到各个网络层，便于学习。反向传播现在被用来训练深度神经网络。

人工神经网络(ANN)具有隐藏层，用于响应比早期感知器更复杂的任务。神经网络是机器学习的主要工具。神经网络使用输入层和输出层，通常包括一个或多个隐藏层，用于将输入转换为可由输出层使用的数据。这些隐藏层非常适合于发现过于复杂的模式，以至于人类程序员无法检测到，这意味着人类无法找到该模式，然后教会设备识别它。

机器学习和人工智能各行其道

20世纪70年代末和80年代初，人工智能研究的重点是使用逻辑的、基于知识的方法，而不是算法。此外，神经网络研究被计算机科学和人工智能研究人员所抛弃。这导致了人工智能和机器学习之间的分裂。在此之前，机器学习一直被用作人工智能的培训项目。

包括大量研究人员和技术人员在内的机器学习行业被重组为一个独立的领域，并为此奋斗了近十年。行业目标从人工智能培训转向解决服务方面的实际问题。其重点从由人工智能研究中继承的方法转移到概率论和统计学中使用的方法和策略。在这段时间里，机器学习行业一直专注于神经网络，然后在20世纪90年代蓬勃发展。这一成功主要是互联网发展的结果，得益于日益增长的数字数据可用性和通过互联网共享服务的能力。

Boosting

Boosting算法是机器学习进化的必经之路。Boosting算法用于减少监督学习过程中的偏差，它是将弱学习转化为强学习的机器学习算法。Boosting的概念最早出现在1990年Robert Schapire发表的一篇题为《弱学习能力的力量》的论文中。Schapire说:“一组弱学习可以提升为一个独立的强学习。弱学习被定义为只与真实分类有轻微关联的分类器(仍然比随机猜测要好)。相比之下，一个强学习很容易被分类，并且与真正的分类很好地一致。

大多数的Boosting算法都是由重复学习弱分类器组成，然后将其加入到最终的强分类器中。在添加后，它们通常以一种评估弱学习准确性的方式加权。然后，数据权重被“重新加权”。被错误分类的输入数据会增加权重，而被正确分类的数据会减少权重。这种环境允许未来的弱学习更广泛地关注以前被错误分类的弱学习。

不同类型的Boosting算法之间的基本区别是用于训练数据点加权的“技术”。AdaBoost是一种流行的机器学习算法，具有重要的历史意义，它是第一个能够处理弱学习的算法。最近的算法包括BrownBoost、LPBoost、MadaBoost、TotalBoost、xgboost和LogitBoost。大量的Boosting算法可以在AnyBoost框架中工作。

语音识别

目前，大部分语音识别训练都是通过一种叫做长短时记忆(LSTM)的深度学习技术来完成的。LSTM是由于尔根•施米德胡贝尔(JürgenSchmidhuber)和塞普•霍赫莱特(Sepp Hochreiter)在1997年描述的一种神经网络模型。LSTM可以学习需要记忆之前发生的数千个离散步骤的事件的任务，这对语音非常重要。

大约在2007年，长短时记忆开始超过传统的语音识别程序。据报道，在2015年，谷歌语音识别程序使用CTC-trainedLSTM后性能显著提高了49%。

人脸识别成为现实

2006年，美国国家标准与技术研究所(National Institute of Standards andTechnology)的项目“人脸识别大挑战”评估了当时流行的人脸识别算法。测试了3D人脸扫描、虹膜图像和高分辨率人脸图像。他们的发现表明，新算法的准确率是2002年的10倍，是1995年的100倍。其中一些算法识别人脸的表现优于人类参与者，并且能够识别同卵双胞胎。

2012年，谷歌的X实验室开发了一种机器学习算法，可以自动浏览和找到包含猫的视频。2014年，Facebook开发了一种名为DeepFace的算法，能够识别或验证照片中的个人，其准确度与人类相当。

机器学习现状

最近，斯坦福大学将机器学习定义为“一门无需显式编程就能让计算机发挥作用的科学”。机器学习现在负责一些最重要的技术进步，比如自动驾驶汽车的新行业。机器学习催生了一系列新的概念和技术，包括监督和非监督学习、机器人的新算法、物联网、分析工具、聊天机器人等等。下面列出了当今商界使用机器学习的七种常见方式:

1. 销售数据分析：精简数据
2. 实时移动个性化：提升体验
3. 欺诈检测：检测模式变化
4. 产品推荐：客户个性化
5. 学习管理系统：决策程序
6. 动态定价：根据需要或需求灵活定价
7. 自然语言处理：与人交谈

机器学习模型在不断学习中已经变得适应性极强，其运行的时间越长，就越精确。机器学习算法结合了新的计算技术，提高了可伸缩性和效率。与业务分析相结合，机器学习可以解决各种组织复杂性。从疾病爆发到库存的涨跌，现代机器学习模型都可以预测。