如果要实时应用更广泛 人工智能将面临一场“斗争”!

人工智能(AI)很容易被视为一种自然的耗电技术,因为市场需要塞满多核CPU、GPU和越来越多的FPGA的服务器,它们通过TB级的数据来形成数百万虚拟神经元之间的连接。

如果要突破更广泛的实时应用,比如自动驾驶汽车和机器人,那么,人工智能需要能够在不需要远程服务器帮助的情况下工作。即使这些连接是完全可靠的,也可以通过网络上的数据来解释延迟。人工智能需要更本地化,这意味着需要降低算法的电力需求。

一种方法是从实时系统的深度学习中解脱出来,尽管这已经成为人工智能的代名词。梯度下降(Gradient Descent)连接了许多在机器学习(ML)中使用的技术。它从简单的曲线拟合算法扩展到高度复杂的循环和大量的虚拟神经元上,以支持基于服务器的深度学习系统的视频和音频识别能力。

虽然目前的重点是对深度学习的硬件优化,但同样的技术通常也适用于其他领域,比如支持向量机和高斯过程(Gaussian Process)。

在神经网络中,数据的传递和神经元的权重的传递和内存主要支配着功耗。将数据和处理能力紧密结合在一起会带来很大的不同。进一步的优化是使阵列更小,以限制它们的电容。

如果要实时应用更广泛 人工智能将面临一场“斗争”!

深度学习高级视图

用于存储更多常用数据如输入神经元的小阵列,是为低电流操作而定制设计的,并放置在处理器附近。在计算中使用较少的突触权重,进入了密度更高、功耗更大的SRAM单元,可能会比较远。在那里,他们可以承受更高的电容、更大的阵列。设计避免了完全使用高速缓存,依靠静态调度将数据分配给正确的内存条。

一些研发团队已经发现,可能会降低大量神经元计算的运算精度,有时甚至在相对不重要的环节上只需要4位或8位。一些连接可以被完全删除,因为它们的贡献相对较小。

人工智能架构的一个有用方面,例如CNN,是他们的容错性,大量的个人计算趋于平均。虽然大多数数字设计师都在努力消除算术电路的错误的可能性,但如果能在其他地方节省开支,那些从事类似计算的人就会接受。一种选择是让电路更接近其电压阈值,并接受一些神经元无法计算正确的答案。

如果要实时应用更广泛 人工智能将面临一场“斗争”!

靠近处理器放置的小阵列可用于存储常用的数据

对ML的近似计算不必与数字电路隔离。基于数字乘法对整体能耗的贡献,普林斯顿大学的王卓和纳维恩·维尔马最近开发了一种基于比较器的电路设计。每个比较器的宽度类似于在flash A/ D转换器中的排列。然而,与A / D转换器不同的是,比较器可以切换到地面或信号输入,为训练算法动态地设定阈值提供了一种方法。对比较器输出进行总结,并产生近似线性分类器的电压。他们建造的机器学习系统比CNN要简单得多,但可以训练来识别9x9图像中的数字,而消耗比基于数字乘数的可比设计低30倍。

南洋理工大学的姚恩伊和阿林丹·巴斯采取的是随机性和模拟电路相结合的方法。他们的设计是在今年早些时候出版的,在南阳教授广滨十年前提出的极端学习机器(ELM)设计上。ELM是基于传统神经网络中使用的多层结构,但只有外层的权重被训练,隐藏层次的神经元使用随机权重。该设计大大简化了训练,但仍然适用于某些类型的问题。

另一种选择是人工智能算法使用存储器阵列进行处理。例如,Hopfield网络是一种类似于联想记忆的神经网络。在2012年的会议上,Leon Chua教授提出了忆阻器,他认为忆阻器可用于实现神经形态计算,并声称Hodgkin-Huxley突触模型就表现出类似忆阻器的行为。其他研究人员,如加利福尼亚大学伯克利分校的Sayeef Salahuddin教授则认为,生物大脑活动中经常出现的阈值行为不仅仅是忆阻器的常见现象。诸如自旋转矩晶体管之类的器件本身源自磁存储器,也有类似的效果。

几年前,匹兹堡大学助理教授Helen Li用忆阻器来构建了一个神经形态人工智能。与传统的数字处理器相比,它可以提升百倍的效率。

如果要实时应用更广泛 人工智能将面临一场“斗争”!

量子计算的出现为尝试模拟生物大脑提供了另一种途径,并且可以为某些类型的ML展现非常高的能量效率。谷歌和微软已经加入了初创的D-Wave计算,将量子退火(quantum annealing )作为全量子计算的基石。量子退火系统的启发来自Ernst Ising在近一个世纪以前所开发的理论。他提出了一个旋转玻璃的想法,代表一个高度无序的热磁性材料。当它冷却时,玻璃中原子的磁矩排成一列,自旋翻转,试图找到最低的能量状态。

量子退火机器使用量子位代替原子,但遵循相同的原理:将一个系统激发成无序状态,然后让它稳定到最低能量状态。这个硬件最初设计用于难以在数字硬件上计算的优化问题。通过操纵量子位元素周围的电磁场,机器被推向解决方案。

优化过程也适用于许多经典机器学习算法所使用的曲线拟合问题。研究人员已经使用诸如D-Wave的硬件和基于核磁共振技术的系统来构建简单的机器学习系统,可以将数字分开。

量子和神经形态技术可以与更复杂的量子计算机相匹配。去年年底,来自牛津大学和滑铁卢大学的研究人员展示了一种使用过冷量子点构建量子忆阻器的方法,该量子点可以转化为在室温下运行的系统。

虽然人工智能遭受了无数的虚假曙光,但随着人工智能变得越来越普遍,它可能成为看似奇特的计算形式背后的驱动力。但是随着许多途径从基于记忆的系统向量子开放,目前还不清楚低能源人工智能最终会走向哪个方向。

相关推荐