CIIS 2019 演讲实录丨戴琼海：光电认知的无人系统
10月26日-27日，由陕西省委网信办、陕西省工业和信息化厅、陕西省科学技术厅指导，中国人工智能学会主办，西安市委网信办、西安市科学技术局、西安国家民用航天产业基地管理委员会、京东云共同承办的2019第九届中国智能产业高峰论坛在“硬科技之都”--西安举办。在26日的主论坛上，CAAI理事长、中国工程院院士、清华大学脑与认知科学研究院院长、教授、CAAI Fellow戴琼海为我们带来了题为“光电认知的无人系统”的精彩演讲。
戴琼海 CAAI理事长、中国工程院院士 清华大学脑与认知科学研究院院长、教授、CAAI Fellow
以下是戴琼海的演讲实录：
恰逢第九届中国智能产业高峰论坛，趁此机会我想与大家探讨一下无人系统相关的研究。人工智能前沿技术的应用，使得无人系统向智能化的方向快速发展。在其应用领域不断扩展的过程中，智能化的无人系统逐渐暴露出一些值得关注的问题，今天我就给大家汇报一下光电认知计算的无人系统。
人类社会的发展经历了几个阶段。从原始社会到农耕文明，后又经历了两次工业革命，走进了信息时代。马克思总结了人类历史发展过程中经历的东西，“各种经济时代的区别，不在于生产什么，而在于怎样生产，用什么劳动资料生产。劳动资料更能显示一个社会生产时代的具有决定意义的特征。”这就说明各个不同时代最大的特征区别，就在于人们使用什么劳动工具（这一主要的劳动资料），以及怎样劳动。我们分别来看一看。人类社会的发展需要依靠生产力推动，生产力三要素是劳动力、劳动工具和劳动对象。原始人使用石器工具狩猎，并学会使用火来加工肉类，这些特征将人类与动物区分开来，标志着人类社会的出现。农耕社会人类的劳动工具升级换代了，从石器变成了铁器，劳动方式也从石器耜耕升级为铁器牛耕。劳动工具的升级以及协作生产，进一步提升了生产效率，推动了生产力的发展。
接着迎来第一次工业革命，也就是蒸汽时代。劳动力从以人力、水力、风力及畜力为代表的自然力升级成了蒸汽，生产方式从手工生产升级成大机器生产，开创了以机器代替手工的时代，我们把手里的工作交给机器来完成。第二次工业革命是电气时代，有了电以后，各种与电相关的科技发明层出不穷，并与生产紧密结合，生产效率得到了更进一步的提升，生产力得到了突破性发展，人们意识到科技对生产力的提升起到了重要作用。
第三次革命让人类进入了信息时代，1946年诞生了世界上第一台通用计算机ENIAC，还有TCP/IP协议栈的发明，使互联网技术得到了迅速发展。1995年美国提出了“信息高速公路”的概念，借助互联网络的信息传递和协作能力，出现了一系列高新技术，比如原子能、航空航天技术和生物克隆技术等，科学技术毋庸置疑成为了第一生产力。现在，我们进入了智能时代，以深度神经网络为代表的人工智能技术在很多产业中发挥着重要的作用，比如埃隆马斯克的TESLA电动车、SpaceX重型火箭等。正如刚才李先生所说，我们需要仔细思考人工智能它的研究工作目前处于什么阶段，是严冬还是暖春？智能时代出现的无人系统、纳米科技、量子计算和物联网络，都在彰显多学科交叉研究的重要性，所以我们说跨多学科的融合将生产力发展提升到一个新的台阶，现在已经可以让机器代替人工作了。这是一个多学科交叉的时代。
人类社会的发展过程实际上是生产力不断提升的过程，而生产工具的变革是生产力发展的具体体现。人类从原始社会开始学会使用工具，到农耕社会发明新工具，到蒸汽机和电的发明提升这些生产工具的工作效率，再到信息时代世界变成了可以协同工作的地球村，最后到我们现在的智能时代，用机器人代替人使用工具工作。由此可见，在现阶段无人系统将是推进社会进步的强劲动力，而无人系统的发展瓶颈会给我们带来巨大的挑战。
第二方面，我想汇报一下典型的无人系统。
无人系统是科学和工程的跨学科融合，利用科学的思维指导工程实践。涉及到的学科众多，典型的比如机械工程、电子工程、信息工程，也包括计算机科学、自动化，同时涵盖脑科学和认知科学。无人系统自身涉及的内容非常广泛，包括设计、建造、运行和使用的机器人，以及计算机系统对它们的控制、传感器反馈及信息处理。
在目前这个阶段，无人系统应用的主要目的是替代人类、复制人类的行为，主要用在“3D”场景。第一个D，是Dull，用机器来替代人类完成日常化、流水线的工作，比如自动驾驶、工厂里的流水线、电力、石油、矿井等基础设施的日常巡检；第二个D，是Dirty，用无人系统代替人完成一些恶劣环境下的工作，比如隧道挖掘、战场上的战备负重、日常家居的清洁工作等；第三个D，是Dangerous，用无人系统代替人来做危险的工作，比如拆弹机器人、战场伤病救援、机器人医疗和外太空探索等。这些都是无人系统的重要应用场景。
无人系统技术发展迅猛，出现了很多我们耳熟能详的公司和代表性产品。比如美国波士顿动力的机器人产品序列，在军事运输、协同作战和灾难救援等方面有着非常广阔的应用前景；还有德国Festo公司的仿生机器人，从2006年发布第一款仿生鱼开始，陆续研发了仿生水母、仿生鸟、仿生蝴蝶、仿生蚂蚁和仿生袋鼠等；还有大家非常熟悉的自动驾驶领域，这是李院士、很多专家和行业公司都在做的，包括无人驾驶里的前项碰撞预警、车道偏离报警、行人碰撞警告等，这是从车辆本身的视角来说；还有车辆与道路的关系问题，比如车道跟踪、车流量监控、变换车道，自主泊车等；第三个就是车量与环境的关系，比如沙尘暴、雾霾、夜晚、行人路段避让，包括紧急目标避让等，这三个方面都是大家熟悉并关心的问题。还有无人机系统，目前国际上已经有多家公司投入巨资研发载人无人机，此外无人机在军事领域的应用更是非常广泛，具有代表性的比如全球鹰、捕食者和这里提到的军用纳米无人机、杀人蜂无人机等。
人工智能理论与工程技术的发展，赋予了无人系统更大的力气，比如Sarcos公司的Guardian GT机械手可以轻松举起500公斤的重物；更灵巧的手，比如可以代替人做外科手术的Surgical Robots；更明亮的眼睛，比如代表计算机视觉与VR技术前沿成果的微软Holograms；更聪明的大脑，比如日本本田公司的机器人Asimo等。在机械技术、控制技术、计算机视觉技术、大数据分析和神经网络技术的交叉融合下，无人系统及其应用得到了飞速发展。
无人系统发展的如此迅速，它是否存在瓶颈？瓶颈在哪里？我们以无人机系统为例来讨论一下。美军的无人机序列非常完备，包括大型的全球鹰、捕食者，中型的大渡鸦，再到超小型的黑蜂无人机。随着材料科学的发展，又出现了纳米无人机，总重量只有259毫克，是2019年6月份Nature主刊的封面文章。可以说，未来战争将是高精尖机器人的主战场。
美军将无人机的自主能力分成了10个等级，第1级是最简单的遥控引导，最高级第10级是全自主集群飞行。从第5级开始已经关注集群协同了，无人机群与士兵联合作战，涵盖了全自动和半自动的情况。
举几个无人机智能化的例子。第一个是DARPA正在进行的OFFSET项目，利用多个无人机协同采集场景信息，可以在30分钟之内重建出2个街区的三维模型；还有DAPRA挑战赛的FLA轻量级无人机超高速避障，使用的传感器是双目可见光和激光雷达，利用小型GPU作为机载计算平台；还有2013年国际空中机器人大赛世界冠军，利用全自主无人机执行反恐任务，完成特定目标识别、室内场景三维重建等。这些技术都有良好的应用前景，比如现在楼宇、矿井的抢险救灾等都在探讨用全自主无人机来执行搜索、勘查任务。这是无人机在北京电网地下管廊0.8~1米狭窄空间内，实现电缆温度的全自主巡检；还有神华集团锦界煤矿地下矿井的瓦斯浓度全自主检测，人不用下去工作，利用无人机就可以实现全自主巡检。
想要实现无人机的智能化，工作可以分为三个部分。首先是看场景的纹理、深度信息，常规应用下现有商业传感器的采集速度已经足够了；然后是飞，现有硬件控制器的姿态解算、内环和外环控制能力已经足够；最后是算，想要无人机系统真正实现全自主飞行，在采集了外界环境信息后，需要解算自身位置、姿态并重建外界环境，然后才能将控制指令发送给飞行控制器来执行飞行动作。在研究的过程中我们发现，无人机智能化最重要的“算”的环节，极大受限于计算平台的算力。想要更好的计算性能就需要好的计算平台，这些计算平台往往重量大、尺寸大、功耗大，而无人机的载荷和续航能力是很有限的。推而广之，人工智能技术最重要的三个方面是算法、算力和大数据，三足鼎立里最重要的问题是要解决算的问题。
最后，介绍一下光电认知计算的无人系统。
大家都知道计算嵌入到我们生活的各个方面，是现代信息社会的基石。计算能力反映社会进步程度，是综合国力的象征，算力已经成为各国科技竞赛中最重要的制高点。自从2012年以来人工智能异军突起，大概5~7年时间内人工智能的算力需求增加了30万倍，对现有计算平台的算力提出了非常大的考验。现在都在做人工智能，算力从哪里来？这是非常重要的基本问题。根据摩尔定律，集成电路的集成度每18个月要翻1倍，性能提升1倍。而现在电子器件的摩尔定律面临全面失效，硅基电路摩尔定律5年仅增长8倍，难以支撑人工智能产业的高速发展。
一般来说，算力正比于CPU的工作频率，当前CPU的频率是4个G，物理极限是30个G，芯片的功耗正比于频率的3次方。CPU的执行效率低下，执行所用能量仅占9%，而数据读取占比高达35%。因此晶体管的密度激增仅仅带来功耗的快速增长，而性能增速却逐步放缓。
想要突破物理极限提升算力，有两个途径。一个是从计算并行度出发，GPU、FPGA等架构，核心越多算力越高，但单个核心的功能弱，仅适合算数运算，不适合逻辑元，仅仅提升了读取带宽，而且计算频率越高功耗就越高。另一个途径是从模拟生物神经网络出发，例如类脑计算、神经形态计算等。利用对生物脑机制自底向上的模仿来实现连接即计算。优势是可以向人脑一样功耗非常低，然而代价就是算力低下。现在的类脑计算系统IBM的TrueNorth有6400万个神经元，有160个亿个突触。我们人脑由三个脑构成，第一个本能脑，就吃喝拉撒是本能脑；第二个我们人脑还有情绪脑，会哭会笑；第三个就是人脑和动物不同的叫逻辑脑，逻辑脑神经元大概140亿个，有100万亿个突触，目前所实现的类脑和神经形态计算与人脑数量相比，相差了多少个数量级，所以功耗降了，算力也降了，只提高了能效。此外，谷歌的TPU也是从模拟人工神经网络出发，算力强、频率高，功耗中等，但它是针对某个任务的，一事一议，专用，代价高。
总结一下现有硅基集成电路的局限性，首先受到晶体管加工物理极限限制，其二散热极限限制了神经元数目，还有二进制的集成电路构架语言限制了它的发展。比如，我们希望硅基做到7纳米，甚至做到7纳米以下，到7纳米就要开始防止漏电，小于7纳米时量子隧穿效应就会越来越明显，容易短路。因此人们开始想起了以前丢失的光计算。光计算和人工智能一样，也是三起三落。
大家可以看看光学计算的发展历史。人工光电计算是1960年产生的，它的算力非常强，然而硅基的出现把电子计算、光学计算又弃之一边，贝尔实验室当时采用砷化镓光学做了测试，但是没有把光计算放进去。直到2012年、2013年光计算开始引起足够的重视，因为人工智能的发展需求来了，算力有希望大大提升。因此，2017—2019年光学计算发展非常迅速。
光学计算相比于传统计算的优势在于保持高效的同时，能以光速进行模拟运算，带来算力的迅速提升。每单位面积（平方厘米）芯片上，每秒可进行的乘加运算，智能光电计算可以达到3个数量级的提升，而每次乘加计算的计算效率将会比传统硅基电路提升6个数量级。
光场传播有多个维度，这些维度都可以用来计算。这个图是三维受控的衍射传播，实现全并行光速计算，那么高维光场信号可以带来前所未有的带宽通量，采、存、算一体结合材料科学实现小型化，所以以光学作为计算手段，能够带来新的颠覆性革命。这种颠覆性革命包含几个方面：
（1）范式颠覆：采集与计算无缝衔接，突破存算分离的速度制约；
（2）速度提升3个数量级，计算频次达到1 THz，远远超过GHz电子芯片频率；
（3）功耗降低百万倍。
我们团队的林星做了全光神经网络的模型和架构，首次通过光的衍射属性，构建了多层全光学的光速计算神经网络，并且通过三维打印的方式进行物理实现，非常简单易行。
在傅里叶域光学衍射网络方面，我们设计了光学傅里叶域的计算系统，在可见光波段进一步减小元件尺寸，并且融入光学非线性，实现二维图像的语义计算。每秒1万帧图像，人眼难以分辨，利用光拍摄时，就变得非常容易实现。在这里面国际同行也做得非常漂亮，比如，2017年MIT就实现了干涉光学神经网络，采用的方式是相位调整加波导干涉，引起同行大量关注，目前已经做到深度学习中的矩阵运算；第二个是德国明斯特大学和英国牛津大学、埃克赛特大学，解决了线性和基本非线性的问题，得到了非常重要的突破。这些成果就给了我们新的启示和工作方向，干涉光学网络和算力光学网络在每平方毫米所产生的神经元计算数量变得非常少，所以现在已经进入新一轮光学芯片的竞赛，开始增加其算力。
我们希望能够在干涉衍射情况下再加上非线性，这样一来每平方毫米的神经元个数可以达到10的5次方，而计算效能能够达到10的23次方，提高的数量更大，性能更高。因此，光电计算能够给未来的工作带来非常大的突破。大家可以看到，如果有光计算就可以将数据的采集、计算和感知放在一起，突破现在采、算分离的局限性，达到更快速度。
未来的光电计算能够给人工智能领域带来颠覆性的突破，尤其是无人系统的发展。现在很多无人系统的计算都要放在云端，借助光电计算就可以实现超小型智能武器、智能仿生的机器人、微型修理机器人，尤其是光电计算的自动驾驶。自动驾驶最难的就是200~300米的深度估计，在我们车速限速120公里每小时的情况下，只有使用光电计算才能够实现驾驶场景的实时感知，为自动驾驶的发展提供重要的支持。所以说，光电认知计算的无人系统将会更快、更小和更加的智能！
（本报告根据速记整理）
CAAI原创 丨 作者戴琼海
未经授权严禁转载及翻译
转发请注明转自中国人工智能学会
如需转载合作请向学会或本人申请