Yoav撰文再回应LeCun：「深度学习这群人」不了解NLP
选自Medium
机器之心编译
作者：Yoav Goldberg
参与：黄小天
昨日，机器之心发布了一篇题为《从 Yoav Goldberg 与 Yann LeCun 争论，看当今的深度学习、NLP 与 arXiv 风气》的文章，文中 Yann LeCun 在 Facebook 对 Yoav Goldberg 的批评文章做出了回应。接着，Yoav 又在 Medium 对 Yann 的回应进行了再回应，甚至稍后在推特上也有争论。机器之心对 Yoav 的第二次发文进行编译，并广泛收集了国内外各个平台上的各家评论，试图对这次事件有一个全面客观的描述。译文内容不代表机器之心立场。原文链接见文末。
很感谢大家对于我上篇博文（An Adversarial Review of「Adversarial Generation of Natural Language」）的关注和讨论，也很感谢 Yann 在 Facebook 上做出的回应。下面，我将对其回应做一次再回应。
（我选择了在 Medium 而不是 Facebook 上做再回应，是因为我并不太常使用 Facebook，所以索性不用。我已经把大把时间花在了社交网络上，不想再多跳进一个坑。同时，Medium 更有利于我组织文章格式，把控内容。）
Yann 指出我的上篇博文是「背弃式」的（back-pedaling），我并不如此看。对于上篇博文中批评的那篇蒙特利尔大学的论文，我言之有据，虽然不是严肃的论文形式，但是其表达的观点不会改变。不管怎么样，下面我会继续用我的「背弃式」言论来回应 Yann：
我并不反对将深度学习方法应用于自然语言任务上。
我的意思是说，come on。我是很多把深度学习用于自然语言的论文的联合作者，我曾做过题为「LSTM 应用」的演讲。最近我发表了一本关于如何把神经网络方法应用于 NLP 的书籍。深度学习方法正在为了 NLP 而发生改变，我认为这部分现在要很好地确立起来。
我所反对的是这样一种趋势，深度学习这群人（deep-learning community）对于其所要踏入的领域（包括 NLP）只有肤浅认识，不多花时间对问题领域做深入了解就直接给出大而未经证实的主张。这不是「交流机制还没有建立」的问题，而是不花时间和精力去通晓你所在领域的问题。不一定要知晓先前的所有工作，但要知道基本的定义和评价指标。宣称取得了「当前最佳的汉语诗歌生成结果」（引自论文摘要）是荒诞的。声称「我们评估了 CFG 的使用」，却没有搞明白 CFG 代表什么不仅仅是草率、马虎的问题了。使用 PCFG 分配的可能性作为衡量以「捕捉句子的语法性」是完全错误的（并非不道德）。
（并且写下由 1-hot 编码向量组成的矩阵外表上看起来和盲文代码相似，因此这是「我们的方法为什么有效」的灵感（Zhang 和 LeCun 2015 arXiv 论文 1-4 版 https://arxiv.org/pdf/1502.01710v4.pdf），这篇论文是愚蠢的。）
当我说「你应该尊重语言」时，我并不是在说你应该尊重之前的其他努力和方法论（尽管也可以对你很有帮助），而是在说你应该去注意所要解决问题的细微差别。至少有个足够的了解，这样你的评估才有意义。
一些「核心深度学习」研究者在这方面做的很好，贡献很大。Kyunghyun Cho（译者注：纽约大学计算机科学系助理教授）也许是其中最突出的一个。
现在，回到 arXiv 的问题上来：
我认为 Yann 的回应在这个问题上错失了重点。我并不介意在 arXiv 上快速发文。我看到了 arXiv 出现的明显收益和快速转变。但是也应该知道其缺点。我尤其关心科学与 arXiv 所推动的公共事业的混淆；雪球效应以及权力的滥用；深度学习社区中现有的一些出版现象。
提早在 arXiv 上发文没有问题，但是名不副实以及过分宣称就有问题。马虎的带有大而空洞标题的论文（比如自然语言的对抗式生成）就是有害的。这正是合理的专利系统与沽名钓誉的真正区别。
声称在用于离散序列的 WGAN 中使用了 softmax 而不是独热输出没有问题，但是占坑声称将对抗式训练应用于 NLG 就存在问题，正如这篇论文所做的那样。
Yann 的论点可能是：「但是人们可以阅读论文，辨别出什么才是好论文，时间会告诉我们答案。」时间的纠正也许是对的，但是中短期内知名团队的过分宣传的论文依然是有害的。大多数人并不深读一篇论文，他们只看个标题、摘要或简介，但是对于知名团队的论文，人们倾向于相信其主张而不质疑。认真的研究者也许不会这样做，但是大多人很可能会被误导。这里我所指的大多数人并不真正工作于这一精确的子领域。这包括产业界人士、同僚、潜在的学生以及论文和津贴的潜在评论者。在这篇论文出来的很短时间内，我在若干个场合下已经听说，「哦，你对生成感兴趣？你尝试使用 GAN 了吗？我看到在最近的这篇论文中他们把 GAN 应用于 NLG 取得了很酷的结果。」这对于在来年申请津贴的 NLG 研究者来说极其有害和令人厌恶，因为他们要么浪费宝贵的时间和精力处理这篇论文和 Hu 等人的论文，并解释它们为什么不相关；要么他们因为致力于「这一已经解决的问题」而被解雇，尽管这篇论文和 Hu 等人的论文并没有实际贡献太多价值，尽管两篇论文的评估都非常糟糕。
arXiv 的快节奏对当前领域有着积极的影响，但是「能力越大，责任越大」，我们必须小心谨慎才不至于滥用。我们可以通过负责任地采取行动，推动更加科学化的出版文化，从而使 arXiv 变的更强大，在其中我们重视和鼓励合理的评估和研究成果的精确呈现，并劝阻（甚至开发一个惩罚系统）民粹言论、过分宣称和夸大其事。
原文链接：https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02
各方评论
对于 Yoav 的第二次发文回应，Yann 旋即在推特上展开了回应：
谷歌大脑研究人员 hardmaru 直接引用了 Yoav 第二次发文的原话「oh, you are interested in generation? have you tried using GANs? I saw this recent paper in which they get cool results with adversarial learning for NLG」来表达自己的看法：
Keras 作者、谷歌深度学习研究员 François Chollet 认为我们不应该将精力浪费在这种学术琐事上：
以及推特上稍早一些的评论，比如 Quora 工程副总裁 Xavier Amatriain 的 tweetstorm：
俄勒冈大学计算机与信息科学助理教授 Daniel Lowd 谈了下深度学习对评审制度的改变：
UC Santa Barbara 计算机科学系助理教授王威廉在微博上就 arXiv 占坑现象表达了其看法：
知乎上的也有不少点评（详情可参阅：https://www.zhihu.com/question/60902505），比如知乎用户 Yun Zhou：
约翰·霍普金斯大学 Research and Teaching Assistant 梅洪源对 Yun Zhou 的答案作了评论补充：
清华大学计算机科学与技术系助理研究员刘知远的点评：
另外，刘知远还在其微博上发表了 LeCun 对于 Yoav 的批评的看法：
北京邮电大学 PRIS 模式识别实验室陈老师（微博名称 爱可可-爱生活）在微博上也表达了其看法：
最后，再附上来自机器之心公众号第一篇文章报道的的读者评论：
