决策智能：方兴未艾的人工智能新方向

本报记者 赵广立

近日，中国科学院自动化研究所（以下简称自动化所）宣布开放“庙算·智胜”战术兵棋即时策略人机对抗平台，旨在进一步推动人机对抗智能技术研究。据了解，该平台曾用于“先知·兵圣”智能博弈对抗系列赛事，具有平台开放、在线对抗、技术共享等特点。

人机对抗是国际公认的探索决策智能重要途径之一。作为国家新一代人工智能的重要发展方向，决策智能的研究和发展方兴未艾。同时，由于决策智能涉及多个学科的交叉，相关的探索尚须各方共同努力。

涉及多个学科

到底该如何定义决策智能？在近日举办的“首届智能决策论坛”上，自动化所所长徐波认为，由于我们对人类智能的机理仍缺乏系统了解，对人工智能做内涵式、学科式的定义仍然困难重重。但他介绍说，决策智能强调智能“产生于与其所处环境的交互”，且智能应具备“对不确定性环境的探索和发现”的能力。

他解释，决策智能要求智能体能在不确定的环境中做出合适的行动、选择和决定。而这里的“环境”，指的是人们试图用人工智能更好地了解、探索、建模和驾驭的物理世界、人类社会等系统。

有别于感知智能，决策智能主要基于对不确定环境的探索，因此需要获取环境信息和自身的状态，从而进行自主决策，使由环境反馈的收益最大化。这一反馈形成的系统闭环，将使人工智能拥有更完整的表现形式。

自动化所是国内率先开展人工智能与脑科学交叉研究、建立国内第一个人工智能学院的科研单位。目前，该所正将自主进化智能作为重点投入、发展和突破的方向，已组织20余个团队开展决策智能基础理论、算法、环境、评价、应用等研究。

在上述论坛上，欧洲科学院外籍院士、北京大学前沿计算研究中心教授邓小铁，清华大学交叉信息科学院助理教授张崇洁，伦敦大学学院计算机系教授汪军等学者也对决策智能的内涵进行了探讨。学者们指出，决策智能带有强烈的“行为主义”流派的色彩，而同时又能吸收“符号主义”和“连接主义”的精华。这种特点，使得决策智能涉及计算机、控制、数学、认知心理学、神经科学等诸多学科。

“目前基于强化学习等方法的决策智能，主要还是在学习‘状态’到‘动作’的映射，与可解释的、因果关系的、可以互动的决策还有很远距离。”邓小铁表示。

与博弈论相互影响

在探索决策智能的诸多路径之中，多智能体系统（以下简称多智能体）是国际上人工智能技术的前沿学科。人们寄希望于彼此通信和协调的多智能体采取协调行动，以解决大型、复杂的现实问题。但目前，很多基于强化学习的多智能体研究方法并不够成熟。

“博弈论是刻画和分析多智能体相互之间竞争最好的理论框架。”邓小铁认为，博弈论在多智能体系统研究中将扮演理论基础的角色，同时人工智能的发展也给博弈论学科带来了深远的影响。

“从博弈论已有的理论中借鉴想法指导设计强化学习方法，常常能够获得较优的结果；而反之，如果没有相应的理论作为指导，研究者们容易出现‘脚踩西瓜皮，滑到哪儿算哪儿’的尴尬局面。”邓小铁说，多智能体系统若想有更好的发展，需要有相应的理论基础，而博弈论正扮演这个角色。

此外，汪军认为，机器学习系统本质上只是信息处理系统的一个子集，目前的机器学习与信息理论紧密结合，未来将有越来越多的信息学理论被应用到机器学习以及多智能体系统之中。

应重点投入

“强化学习”是当前互联网经济场景中，人们希望实现决策智能的核心方法之一。在工业场景下，目前的做法一般是先在平台上模拟，再到现实中进行适应。这种场景下的强化学习一般可以相对准确地进行模拟和应用。

然而，在样本有效性问题上，一旦模拟器模拟出的数据不精确，数据的意义将大打折扣。

上述论坛与会学者介绍说，这是因为，当前的“模拟”多数仅是机械模拟环境，且常用高斯过程的混合模型模拟，仍然处于相对初级的阶段。可以看到，当前的强化学习技术在较复杂场景中往往不能很好地工作，只有序列性强、动作空间简单的场景（如网易云、快手等的音视频推荐）才比较容易刻画。

这也导致，相比于计算机视觉等感知智能，决策智能目前的应用落地仍不明显。针对这一现象，与会学者们认为，虚实混合、数字孪生、教育场景下的搜索推荐等场景都是强化学习有可能产生应用的地方，学术界可以主动进入工业界，一边创业一边研究，进而推动工业界变革。