AI大事件|中国制造Bitmain进军深度学习芯片市场
大数据文摘作品,转载要求见文末
作者 | 宁云州、钱天培
了解过去一周AI爆点,一篇就够了!
从本周起,大数据文摘将在每周二为你带来AI大事件专栏,总结过去一周中AI届的热点。
过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库可以使用了?
就让文摘菌为你盘点上周的AI大事件吧~
新闻
微软发布深度学习加速平台Brainwave,欲实现实时AI
来源:www.microsoft.com
Brainwave是一个基于FPGA的深度学习系统,能够实现高度灵活的云端深度学习。它由三个处理层组成:一个高性能、分布式的系统架构,一个整合在FPGA上的硬件DNN引擎,和一个为实现训练模型平整部署的编译器和运行环境。
中国芯片制造商Bitmain进军深度学习芯片市场
来源:QZ.COM
Bitmain作为比特币挖掘芯片开发商而为人熟知。如今,Bitmain计划进入深度学习芯片市场,欲与Google,Nvidia和AMD抢一杯羹。
文章&教程
如何在TensorFlow上训练一个简单的语音识别网络
来源:WWW.TENSORFLOW.ORG
这个教程为你展示了如何构建一个能够识别十个不同单词的基本语音识别网络。在完成这个教程之后,你将有能力构建一个语音识别模型,将一秒钟的音频片段归类为空白、未知单词或十个目标单词中的一个。
链接:https://www.tensorflow.org/versions/master/tutorials/audio_recognition?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
我在谷歌大脑的一年
来源:COLINRAFFEL.COM
这篇文章记录了Colin Raffel参加“谷歌大脑”实习项目的个人经历。这篇文章描述了实习期的概况,并详细介绍了Colin参与的一些研究项目。
链接:http://colinraffel.com/blog/my-year-at-brain.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
物理学如何与机器学习交叉?
来源:JAAN.IO
物理学和机器学习是错综复杂地联系在一起的,但是使两者恰好互相促进是很难的。如果你有物理背景,又想进入机器学习领域,这篇文章非常适合你。
链接:https://jaan.io/how-does-physics-connect-machine-learning/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
教程:集成学习提高机器学习效果
来源:BLOG.STATSBOT.CO
集成学习可以通过组合多个模型改善机器学习的结果。与单一模型相比,这种方法能够达成更好的预测。
链接:https://blog.statsbot.co/ensemble-learning-d1dcd548e936?gi=fafcb901f46&utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
深度学习合成Siri语音:设备端深度混合密度网络在混合单元选择合成中的应用
来源:MACHINELEARNING.APPLE.COM
Siri是一个使用语音合成进行通信的私人助理。从iOS 10开始,Siri的声音合成中使用了深度学习技术,这使得它的声音更自然,更流畅,更有个性。这篇文章详细介绍了Siri语音背后的深度学习技术。
链接:https://machinelearning.apple.com/2017/08/06/siri-voices.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
代码,项目&数据
Google的语言命令数据库
来源:RESEARCH.GOOGLEBLOG.COM
此数据库由65,000段时长一秒的音频组成,音频内容是几千个参与者读出的30个短词。这一数据库有望在将来被持续扩大。
链接:https://research.googleblog.com/2017/08/launching-speech-commands-dataset.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
平均随机梯度下降权重丢弃LSTM模型
来源:GITHUB.COM
在这个repo中,你可以找到的长短时记忆网络(LSTM)语言模型论文正则化和最优化的实现代码。这个模型可被用到PTB和WT2数据集上,用以训练单词层面的语言模型。当然了,这个模型也可以被用到很多其他数据集。
链接:https://github.com/salesforce/awd-lstm-lm?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
时装界的MNIST数据库
来源:GITHUB.COM
这一数据库由60,000个训练样本和10,000个测试样本组成。每个样本是一张28x28的灰色时装图片,并被标上了一个衣服样式的标签。和MNIST数据库一样,这个数据库有10个标签。这个数据集有望取代MNIST成为检验深度学习算法性能的新标准。
链接:https://github.com/zalandoresearch/fashion-mnist?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
爆款论文
深度强化学习概述(A Brief Survey of Deep Reinforcement Learning)
来源:ARXIV.ORG
在篇文章中,作者首先介绍了跟强化学习有关的一些领域,然后对现在比较主流的两种方法——基于价值和基于策略的方法进行了深入探讨。这篇文章涉及了深度强化学习的核心算法,包括deep Q-network,信赖域策略优化,和异步式actor-critic方法。同时,作者强调了深度神经网络的独特优势——通过强化学习进行视觉理解。
链接:https://arxiv.org/pdf/1708.05866.pdf
双子网:把未来当作正则化矩阵(Twin Networks: Using the Future as a Regularizer)
来源:ARXIV.ORG
在本文中,作者介绍了一种简单的使用RNNs规划未来的方法。为了达到这个目标,他们引入另外一个训练过的神经网络,并且与原神经网络顺序相反。双子网的核心思想是使得向前和向后的RNNs在预测同样的状态时达到拟合。在每一步的预测中,正向神经网络预测的状态需要匹配后向神经网络之中包含的未来信息。
链接:https://arxiv.org/pdf/1708.06742.pdf
用于广告点击预测的深度交叉网络
来源:ARXIV.ORG
DNNs能够自动学习特征之间的相互作用;然而,DNNs学习的是所有隐式的相互作用,而不是对结果有效的所有相互作用。
在这篇文章中,作者提出了深度交叉网络(DCN),不但保留了DNNs的优势,还提出了一种新型的交叉网络,学习有一定限度的特征相互作用更有效。
链接:https://arxiv.org/pdf/1708.05123.pdf
本周的AI大事件就到此为止啦!文摘菌期待与你们下周二再见~