颠覆arXiv等传统论文平台？谷歌大牛强推的Distill进展如何？
译者 | reason_W
编辑 | 阿司匹林
出品 | AI科技大本营
去年 3 月，谷歌联手 OpenAI 等推出了全新的开放式期刊平台 Distill，其指导委员会包括 Yoshua Bengio、Ian Goodfellow 等众多学界大牛。
目前，大多数的机器学习论文要么发表在 arXiv 上，要么发表在传统期刊上，但最终呈现的形式都非常单一。而Distill 的目标是以可视化、可交互的形式来展示机器学习研究成果，并让研究成果更容易被复现，以颠覆传统的出版方式，因此得到了机器学习社区的大力支持。
如今，一年多的时间已经过去，被寄予厚望的 Distill 却只发布了 12 篇论文。虽然 Distill 对论文标准的要求较高，而且有较长的审核流程，但是目前的进展确实有点差强人意。
近日，Distill 撰文对过去一年多的工作进行了总结，有可取之处，也有经验教训，下面一起来看下吧~
以下内容由AI科技大本营编译：
一年多以前，我们正式发布了开放式科学期刊 Distill。
它的成长从出现开始便激动人心。一年多来 Distill 累计拥有了超过一百万的专业读者，浏览量超过 290 万次。目前为止，发布在 Distill 上的期刊论文平均引用量达 23 次。更重要的是，我们发表了一些结构清晰和可复现性极高的新论文，这极大的促进了新科学传播方式的发展。
尽管如此，我们发现仍然有很多有待改进之处。为此，我们一直在不断地反思。在新版本的 Distill 中，我们计划进行如下更改：
将论文指导与评审的工作分开。
明确并简化 Distill 评审流程，包括新的评审工作流程。
优化资源以帮助每一个人，而不再是一对一的指导，从创建 Slcak 工作区开始。
简化代理编辑引入流程以解决利益冲突。
明确关于双重提交的政策。
发展 Distill 编辑团队，Arvind Satyanarayan 将加入编辑团队，负责监督 HCI + AI（人机交互+人工智能）领域。
▌成功之处
直观展现思维方式的界面
我们相信最好的解释往往可以带来更深层次的思考：它们是思想的接口，一种思维方式和概念的互动。基于这种理念，我们可以看到 Distill 上很多文章都利用了可视化的展示，来激发思考的火花，促进思想的交流。
这其中最具代表性的文章是 Gabriel Goh 的“Why Momentum Really Works（梯度下降中动量为何如此有效）”。很多工业界的人士对该问题都缺乏了解，这背后涉及很多数学问题，因此并不直观。在我们看来，传统的学术出版物并不强调阐明技术思想所伴随的直觉——像老师在白板上与学生分享的那种。
相比之下，Gabe 的这篇文章不仅运用了很多直观的图形表达，还分享了作者的一些直觉。在交互性工具的支持下，它让读者直接进入了一种思维方式。而且更有趣的是，通过将心智模型归结为计算驱动的界面，作者发现了思考不完善的地方。
这种界面设计和这种思路可能并不新颖，但 Distill 在过去的一年中的的确确推动了这一方式的发展，我们也将对它的未来拭目以待。
深入参与
更令人兴奋的一个发现是 Distill 上的文章可以让深入思考变得更加容易。通常情况下，从阅读一篇论文到进行实验这中间需要很大的跨越，但 Distill 上的论文却可以让读者直接成为论文研究的一份子：
Distill 最近的几篇文章实践了这一想法。它们不仅把重要的概念通过交互式结果表现出来，还提供了 Notebook 让读者可以在线重现这一结果。当然这个 Notebook 不仅仅能让读者测试一个新的想法，更能让他们无需任何设置就可以深入参与到最新的研究中，而且在几分钟之内就可以完成一个有趣的实验。
截至今天，已有超过 6,000 名读者使用过这些 Notebook。
可复现性一直被认为是维持科学健康发展的重要组成部分。现在越来越多的研究人员正在开源他们的工作，甚至将数据分析脚本这样的中间文件放在 GitHub 上。但 Distill 这些在线的Notebook 则允许作者更进一步，直接参与我们所谓的“主动复现性”：不仅使文章工作在技术上可复现，还使其更为方便。我们希望看到更多的论文作者在这方面投入精力。
科学出版物的软件工程最佳实践
在过去的一年中，这种通过软件工程最佳实践来运营科学期刊的方式还显示出了另外几个优势：
1.可以让读者更加透明地了解出版过程。Distill 的每篇文章都存储在 GitHub 的 Repository 中，同行可以通过 GitHub的问题跟踪器进行评审。（例如，读者可以看到 Gabriel Goh 那篇文章更新过程，可以了解到文章创意的起源等等。）
2.读者甚至可以参与到文章发布后持续评审工作，包括提交修复拼写错误的请求，进行更彻底的编辑，甚至与作者进行讨论。
3.Distill 为科学论文提供了一系列的集成方案，作者也受益于此设置。文章在发布前会自动保存草稿，并通过受密码保护的 URL 进行访问。作者可以自由地分享这些地址来寻求初步反馈，并确保他们的读者将始终能够看到最新版本的草稿。
▌问题与改进
奖项评选
遗憾的是，我们还没有评选出 2018 年的 Distill 奖。我们总共收到了 59 份研究工作，其中一些是由很多内容组成的系列讲座。我们没有预料到这种内容，也没有一个很好的流程来评估它。还有一方面在于我们有点完美主义。今后，我们的目标是通过快速的评审流程来更好地平衡内容质量和评审时间。
我们会尽力在 2018 年感恩节之前颁发 Distill 奖，并以更及时的方式推进这一过程。
一个小小的社区
Distill 旨在培养一种新的科学传播方式，并建立一个支持它的生态系统。我们希望随着时间的推移逐渐壮大这个社区，但目前 Distill 的作者和编辑数量要比传统学术平台少得多。
导致的结果之一是 Distill 的出版量很低（截至目前 12 篇）。尽管我们为此付出了很多努力，但这稍有些惨淡的结果这不禁让我们思考：我们是否需要改变 Distill 的投稿标准？论文数量是 Distill 应该关注的吗？
当然我们相信，只要内容非常出色，Distill 在可预见的未来一定可以成为一个小规模的“定制”期刊。Distill 的特色其实在于它为那些非传统的研究工作提供了正规化的期刊平台。所以要更加侧重出版的质量，而不是数量。
小规模社区中的另一个问题是社区成员之间经常存在私下的联系。社区这么紧密当然很好，但这也意味着我们必须要处理许多潜在的利益冲突。围绕这些利益冲突的带来的挑战才刚刚出现，我们希望随着编辑团队的发展，这个问题在未来几年变得不那么成问题。但不得已的是，我们经常还需要引入独立的代理编辑来解决利益冲突。
我们之前邀请独立编辑的流程是通过 Distill 指导委员会的成员。（当然也非常感谢 Ian Goodfellow 对此的耐心帮助。）然而为了更长远的发展，我们更想制定一个更独立的机制：
如果存在利益冲突，Distill 编辑将选择研究社区的成员作为文章的临时“代理编辑”。代理编辑应该是相关研究界的成员，并且与作者保持一定的距离。代理编辑的身份将在审稿日志中注明，并在文章发布时公布。
评审流程
鉴于很多研究人员并不具备写出一篇 Distill 所要求的文章那样的技能，Distill 在一开始采用了相当激进的评审流程。我们对作者提供了广泛的指导和帮助，以帮助他们改善文章。
但不幸的是，这一做法虽然产生了让我们很满意的一批文章，但由于 Distill 的编辑都是志愿者， 他们有自己的本职工作，而我们需要的那种文章每篇可能需要花费 20-80 个小时来进行指导。他们在论文指导者和论文评审的双重角色中不停转换，最终不堪重负。
Distill 应该为作者和编辑带来更好的使用体验。为此，我们将对其评审流程进行如下变更：
Distill 的指导过程将同审稿过程分离开来。
Distill 只会对完整提交的文章进行评审。
我们创建了一个公众评审表格，明确定义了评审标准。
Distill 的文章提交页面也对新的审稿规则进行了详细描述。这一规则更改不适用于之前已经根据旧规则提交的文章。明年，我们希望增加那些主题较小的短篇文章的数量。
▌其他变化
文章提交政策
对 Distill 来说，遵守 “双重出版”规则是非常重要的，并且不能让大家觉得我们和 arXiv 是类似的。
所以，Distill 只考虑与那些与在其他地方正式发表的文章存在本质不同的文章，而且要对非正式发表的文章持谨慎态度：
特此，我们设想了一些特殊情况下的指导意见：
1.先前没有出版或关注度低的非正式出版文章：不用担心！
2.ArXiv 论文：研究人员有时需要及时发表论文，因此 arXiv 是一个很好的平台，我们完全理解。只要大家认识到 Distill 是一个正式出版平台，想要在上面发表论文几乎都要做进一步的处理，我们很愿意发表大家的论文。
3.以前的研讨会、会议论文：Distill 非常愿意发表更前沿、更精美的“期刊”论文，但是这些论文必须通过结合改进阐述，更好地揭示潜在的见解和思维方式，整合一系列论文或实验等方式，在以前的研究基础上有实质性的进步。
4.备受瞩目的非正式论文：与上面提到的第三种情况类似。