观点丨王潮：关于“工业4.0的转型：什么能做、什么不能做”

中国人工智能学会理事、上海大学王潮教授于2017年6月26日接受上海电视台采访：关于“工业4.0的转型：什么能做、什么不能做”，剖析机器人的安全和人工智能的道德、伦理。

王潮，上海大学教授/博导，第七届中国人工智能学会理事、IEEE China Council（中国理事会）副主席、中国电子学会信息安全专家委副主任委员、中国计算机学会容错专委会常委委员，第二届中国电子学会全国优秀科技工作者。

以下是采访实录

问1. 很多科幻类电影中提到的未来科技发展所带来的负面的甚至毁灭性的结果是否在现实中会真的实现？

王潮：完全有可能。一些科幻电影如《机器的叛变》中人与机器的战争，虽然有些夸张，但是在目前珠三角、长三角等地区机器换人的大潮中，还是需要重视机器人的安全，以及人工智能的伦理。

我们在三年前提出了需要重视机器人的安全，当时机器人已经进了董事会了，机器人有点情感了〜〜〜，那么机器人要是造反了怎么办？

机器人、人工智能的应用，已经逐渐影响到了工业控制、金融业和政府的决策，也就是说工业运行、社会治理的权力在由人向机器转移。需要考虑人工智能的决策安全，以及与人类道德伦理是否一致的问题。

一些技术上的失误或偏见，很容易导致人工智能歧视现象的出现。非盈利新闻社ProPublica列出了一些“AI种族歧视”现象，美国一些州使用的风险评分系统在通知刑事审判结果中对黑人存在偏见。

问2. 哪些能做？哪些不能做？目前学术界是否有所研究和标准？

王潮：中国、美国等世界主要国家的政府、学术界都已经开展了人工智能伦理道德相关的研究，有些国家已经将其列入国家人工智能发展战略。

2016年6月21日，郑南宁院士就提出了“发展有助于人类的人工智能”。

他指出：“人工智能的发展能不断帮助人类，但它同时也是一把“双刃剑”。我们要警惕人工智能给人类带来的负面影响，关注人工智能的发展将带来的深刻伦理道德问题。我们需要的是帮助人类而不是代替人类的人工智能。这是科学界、各国政府和人类社会在人工智能发展上应认真对待的问题。需要确立伦理道德的约束监督机制，使人类免受人工智能不当发展带来的负面影响。”

2016年9月底“中国人工智能2.0发展战略研究”重大咨询研究项目会议，徐匡迪院士也特别强调：深刻分析“AI2.0”的发展可能对社会造成的负面影响。

徐院士认为，我国到2030年很有可能在人工智能领域实现与其他科技强国“并跑”甚至“领跑”。在智能制造、智能医疗、智能城市、智能农业和智能国防5个重点领域要实现全产业链的智能化。但是也要深刻分析“AI2.0”的发展可能对社会造成的负面影响，并提前研究应对措施：包括人工智能应用中的法律法规和道德诚信体系建设、人工智能扩大社会内部和国家间贫富差距的问题、人工智能对社会伦理的影响等。

哈佛、加州伯克利、剑桥和牛津等一些名校也启动了一些项目，研究人工智能的伦理和安全带来的挑战

2016年10月12日，美国总统行政办公室（Executive Office of the President）、美国国家科技委员会（National Science and Technology Council）和技术委员会（Committee on Technology）联合发布《为人工智能的未来做好准备》（Preparing for the Future of Artificial Intelligence），探讨了人工智能的发展现状、应用领域以及潜在的公共政策问题。

2016年10月13日，美国国家科学技术委员会（National Science and Technology Council）和美国网络和信息技术研发小组委员会（Networking and Information Technology Research and Development Subcommittee）联合发布《美国国家人工智能研究和发展战略计划》（The National Artificial Intelligence Research and Development Strategic Plan），提出了美国优先发展的人工智能七大战略方向及两方面建议。

美国政府的这两个战略报告，都将人工智能的伦理列为重要内容，提出政府需要监控人工智能技术发展，需要预防机器产生偏见，确保人工智能的“道德”。

问3. 为避免这类结果出现，科技企业在创新过程中应该注意哪些问题？

王潮：国际上的一些大企业在努力，国际标准组织也在行动。

人工智能的失误，有些是因为模型和训练数据集的问题，大数据成为大忽悠。如谷歌的传染病预测系统，这个大家都知道的。

2016年，微软、谷歌、亚马逊、IBM和Facebook联合成立人工智能合作组织（Partnership on AI）以应对人工智能伦理和安全问题，如研究如何纠正机器学习模型的偏差，避免训练数据集和机器学习的模型产生偏见。

IEEE（国际电气电子工程师学会）于2016年12月13日发布了世界首个人工智能《伦理准则设计》（Ethically Aligned Design）草案，该项目名为IEEETechEthicsTM。这份136页的文件基于100多位在人工智能、法律、伦理、哲学和政策领域工作的学术界、政府和企业部门的“思想领袖”，对企业的设计如何确保尊重人权、运作透明、以及人工智能为决策负责等提出了一系列详细的建议。

该草案还提出了人类有必要定义和管理个人数据，建立对相关数据交换的知情权和同意权制度，而不是长期牺牲信息资产。

王潮最后强调：人工智能需要为人类服务，无论技术发展到何种程度，必须与人类在道德观、价值观、伦理等方面保持完全的一致。

部分采访内容于2017年7月5日晚19:30在上海电视台外语台财道频道（Money Talks）播出。