关于感知器的故事:机器学习是如何发展到如今这一程度的呢?
人工智能如今已成为大街小巷的热议话题。企业为了吸引客户和目标用户,在生产产品、提供方案时总会使用机器学习(ML)、深度学习(DL)等花哨的词汇。但实际上,这些词汇绝不仅是“噱头”而已。
在过去数十年里,能够解决实际问题的人工智能应用层出不穷,已经成为一种全球性的现象。像我这样努力钻研机器学习的人成百上千。Andrew Ng是我们的导师,他说道:“一百年前,电的发明改变了一切,而如今,我很难想象还有哪个行业在未来几年内不会被人工智能改变。”
科技大厂了解科技发展的主流趋势,且无法承担技术落后的风险,所以他们都已适应了此次计算机革命。机器学习发展前景巨大,若你是一名开发人员,想要提高自己的技术水平,那建议你快开始学习它吧。
人工智能已经深刻改变了所有主要行业。人工智能与机器学习在医疗、神经科学、农业、安全、监控等领域的跨领域应用数不胜数,已经成为我们生活中不可或缺的一部分。但这一切是如何开始的呢?还要从几十年前感知器刚被发明出来说起。
感知器的故事始于65年前,在开始讲述这一故事之前,先简单了解下“感知器”的定义:感知器既是一种简易的生物神经元人工模型,也是一种用于监督学习的单层神经网络算法。它由输入值、权重和偏差以及一个激活函数组成。
单个感知器装置
不过本文中我们不讨论技术细节,开始讲故事吧。
感知器的兴起
1957年1月,弗兰克·罗森布拉特(Frank Rosenblatt)在位于纽约布法罗的康奈尔航空实验室公司发明了感知器,它是神经网络的基本构件。这项发明是论文《感知器——一种感知和识别自动机》的研究结果。
韦氏词典将自动机定义为:一种用来自动执行预定的操作序列或响应编码指令的机器或控制机器。
这项研究历时五年,旨在设计一个能够学习复杂模式、模式感知和泛化的电子大脑模型。其背后的直觉在于建造一个具有类似人类功能的设备,如感知、形成概念、归纳经验的能力、识别复杂的信息模式以及辨别不同大小、形状和方向的相似物体。
神经元细胞——由brgfx工具创建的背景矢量图 | 图源:freepik素材库
然而,要执行上述操作,传统的计算机系统需要存储数千个甚至数百万个模式,然后在需要时,再从这些模式中搜索识别出一个未知模式,这一步计算量非常之大,而且不是一个经济的识别模式或对象的方法。
为了解决该问题,Frank Rosenblatt提出了一个系统,使其能够根据生物大脑的原理工作,用概率方法代替确定性方法来识别模式之间的相似性。他的感知器模型由三大系统组成:
- 感官系统
- 交互系统
- 反映系统
每个系统都将进一步包含相互连接的单元,可以根据正在识别的模式打开或关闭这些连接。感官系统会接受输入模式。交互系统会打开或关闭特定连接,反映系统会显示输出。
赋予感知器模型生命的定制硬件是Mark 1感知器,它主要是为图像识别而设计的,外表是一个黑色盒子,很像现在的神经网络,有输入层、隐藏层和输出层。
Mark I 感知器——康奈尔大学通讯社记录,#4–3–15,康奈尔大学图书馆珍藏和手稿收藏处
反向传播的出现
把时间往前倒推几十年,1986年,Geoffrey Hinton提出了一项成果,这项成果推动了感知器的后续发展。
当时他提出了一种名为反向传播的新型学习程序,后来成为现代神经网络模型的核心。这种技术通过调整神经网络模型的权值来减少实际值和期望值之间的差异。它能使神经网络学习或提取特征,概括输入的模式或序列,从而对未见的数据表示做出相当准确的预测。
多层神经网络模型中的逆向传播可视化图片
从那时起,研究开始取得了很大进展。现在,我们有VGGNet、ResNet、Inception等模型,可以快速准确地对物体进行分类。而所有这些都是基于我们试图模仿人类大脑的事实。
但问题是,我们是否已经了解大脑识别人们在日常生活中所见物体的工作原理?随着时间的推移,神经科学研究人员正在假设大脑理论,帮助我们了解大脑的学习、感知和记忆模式。
最新的机器学习
杰夫·霍金斯提出了“千脑智能理论”,大致内容是解释人类大脑中的“新皮层”是如何负责对某一对象做出各种模型,然后分层次地进行投票,以达成共识,最后形成触觉、嗅觉和视觉等感觉。
该理论认为,当我们在现实生活中看到某个物体时,大脑新皮层会激活一组特定的神经元。如果现在看到一组有着不同大小和方向的相似物体,那么新皮层也会激活一组类似的神经元,这使我们能够概括出日常生活中看到的物体。虽然没有那么简单,但你可以形成一个大致的概念。
这与传统的机器学习或尖端的深度学习不同,后者需要大量的输入来学习模式,然后进行预测。
可视化新皮层中神经元的层次结构(图源:Pixabay,灵感来源: Numenta HTM)
杰夫·霍金斯创立了Numenta公司,正致力于将《千脑智能理论》等顶尖的神经科学理论与人工智能相结合,从而创造出真正的智能机器,其工作原理与生物大脑相同。尽管前路漫漫,但我们坚信前进方向是正确的。因为我们已经取得了重大进展,而感知器是这一切的关键。
故事仍在继续...
作为一个有志于从事数据科学研究的人,我要感谢计算机科学领域的早期思想家。感谢1642年布莱斯·帕斯卡( Blaise Pascal)发明第一台机械计算器,感谢1842年艾达·洛芙莱斯(Ada Lovelace)第一次描述解决数学问题的运算顺序,感谢1950年艾伦·图灵(Alan Turing)创造了举世闻名的图灵测试,感谢历史上所有做出贡献的人......
随着如今人工智能的不断进步,我们往往会忘记曾经遭遇的挫折,但正是这些挫折成就了今天的杰出工作。对研究人员来说,具有研究并主动推理直觉的能力是最大的财富。所以,就让直觉带你领略科学的伟大,成为此次技术革命的参与者吧。