远看就像演唱会，近看原来AI顶会：1.3万人的NeurIPS已经太大了
选自the Gradient
作者：Andrey Kurenkov
机器之心编译
参与：魔王、蛋酱
史上最大规模的人工智能学术会议 NeurIPS 2019 已经落幕，斯坦福大学在读博士 Andrey Kurenkov 撰文介绍了自己参与 NeurIPS 2019 的体验。回答了「1.3 万人一起参与学术会议好玩吗？」、「对研究人员有利还是有弊？」等问题。
作为目前规模最大的人工智能学术会议，神经信息处理系统大会 NeurIPS 2019 不久前在温哥华结束。
目前已经有很多文章总结了本届 NeurIPS 的演讲和最新研究趋势，但在这里我们想要探讨的东西更加自省：反思参加这次会议的经验，尤其是庞大的规模对于 NeurIPS 作为学术会议的本来目的是否有害。
NeurIPS 的规模有多「庞大」呢？13000 名参会者，1428 篇接收论文，57 场 workshop。正如一些参会者在 Twitter 上展示的那样，NeurIPS 已然成为一场庞大的会议：
这场面看着像跨年夜的百货商场。
这张有点像……春运期间的火车站？
我的研究方向是人工智能的子领域——机器人学，之前我主要参加一些小型的机器人学会议，如 CoRL（Conference on Robot Learning，参会者约有 400 人）和 RSS（Robotics: Science and Systems conference，参会者约有 400 人）。我之前参加过的最大会议是 ICRA（参会者大约 3000 人）。
近年来，AI 会议的出席率。来源：2019AI Index 报告。
为了让大家更好地理解 NeurIPS 2019 的规模，我们可以设想以下场景：RSS 2018 的茶歇和 poster session 可以在 NeurIPS 2019 poster session 会议室 1/50 大小的空间内举行：
现在，你知道 NeurIPS 有多庞大了。所以，这算是好事还是坏事？我的观点是：好坏参半。
我确实发现了参加 NeurIPS 2019 的积极面和消极面。我当然不是第一个指出 NeurIPS 规模过于庞大的弊端可能大于优势的人。不过我得先声明，我所表达的不是严肃的批评，只是观察结果罢了。经过观察，我承认 NeurIPS 组委会肯定比我更多地思考会议的目的和设计，因为对这些弊端提出解决方案并非易事。
「庞大」规模的优势
你可以结识很多大佬和同行
任何学术会议的核心目的都是将对相似事物感兴趣的研究人员汇集到一起，允许他们讨论自己的工作和想法。NeurIPS 的庞大规模使它很好地完成了这一目标，大量合作者、研究者在此相聚一堂，一边喝咖啡（喝饮料，或者参与小组讨论）一边互相交谈。
对包容性的关注进一步放大了这一积极品质，会议举办了多场聚焦包容性的 workshop，如 Black in AI、Women in Machine Learning、LatinX in AI、Queer in AI、New In Machine Learning、CiML 2019: Machine Learning Competitions for All。非常多人因此获得不错的体验，这都要归功于 NeurIPS。
浩如烟海的 Poster、演讲和主题
学术会议的另一个主要目的是向参会者传达新研究、启发新想法。NeurIPS 也的庞大规模是一项优势，且远远超过我之前参加过的所有会议，这里有来自多个不同子领域的海量精彩研究。
尽管庞大的规模、繁多的种类可能导致可深挖的新研究没有那么多，但对我而言恰恰相反：在一些机器人学会议上我已经看过一些发布在 arXiv 上的论文了，也很容易遇到之前研究过主题的相关论文，但 NeurIPS 大会上最令我兴奋的论文倒不是关于机器人学的，而是来自 CV 或 NLP 领域。如果不参加 NeurIPS，我可能不会遇到这些论文，也不会因此触发那么多新想法。
workshop 和活动的数量也意味着参会者会遇到更多新想法，如 Reproducibility Challenge、Workshop on Machine Learning for Creativity and Design、Communication Skills Practicum 以及 Retrospectives workshop。这些绝对是我最喜欢的部分，它们为来自研究社区外的与 AI 相关的人（如记者和艺术家）提供了一个直接与研究者对话的平台。
还有一些有趣的 social 活动
坦白讲，像我这样的研究生乐于参加会议的部分原因是：旅行和社交。大型会议意味着很多赞助商，也就意味着行业大趴和乐趣！就像文章《An AI conference once known for blowout parties is finally growing up》中所说的那样，行业派对比过去「缩水」了，但参与这些活动正是体验的一部分。
尽管我没参加多少这类活动，但我仍然享受和新朋旧友探索温哥华市中心和聚餐的乐趣。这届 NeurIPS 会议还有一个新特点：社交晚宴，这是一项喜闻乐见的进步，因为它为不愿参加喧闹派对或未被邀请参与行业活动的人提供了另一个选项。
「庞大」带来的弊端
人确实太太太太多了
我拍了很多 poster 的照片，部分原因在于我常常无法和感兴趣的 poster 论文展示者交谈，因此只能四处走动，到处看其他的 poster。和 poster 作者深入交谈绝对是我最喜欢的参会内容之一，但在 NeurIPS 会议中，这项操作的难度比之前的会议高多了。
人多意味着交谈多，但人多同样也阻碍了很多交谈的发生。NeurIPS 规模如此之大，不做好周详的计划甚至可能见不着同样参与会议的熟人，这意味着一些本该在茶歇时间发生的对话机会没有了。
NeurIPS 大会对包容性所做的努力值得赞扬，但这也意味着组织者要承担更多责任，保障受邀参会者真切体会到包容性。正因如此，几个月前很多参会者申请签证被拒时才会引发那么多讨论：
在 AI 社区、NeurIPS 组织方以及加拿大政府的一同努力下，会议签证问题大多得到了解决。但是，如果这件事从未发生过就更好了。
Poster、演讲和主题太多，疲于奔波
即使设立了简单的日程表（不举办 workshop 的日子里，每天在一个大房间里有两场时长 2 小时的 poster session，在另一个大房间里有两场长报告，在几个稍微小一点但仍然很大的房间里还有两场包含多个短报告的报告会），NeurIPS 会议的内容之多，让规划想要尝试、关注的内容都变成了挑战。这种情况与小型会议 CoRL 和 RSS 正相反，后者所有报告、poster session 都在一个大房间里进行，而且能够轻松容纳。
每个 workshop 的规模要比整场大会小一些，但有的 workshop 仍然使用巨大的房间，有几十张海报，容纳数百人参加。这有利也有弊，每场 workshop 持续一整天时间，因此参会者可以轻松选择一场，深入探索一个主题。但是实际上很难只选一个，我最后只能在多个 workshop 之间来回穿梭。
最后，提交论文越多，意味着对评审人员的需求越大，评审质量的方差也变大。尽管这并非 NeurIPS 独有的大问题，但我们应该注意到，一些存在伦理争议的论文通过评审流程，并最终出现在会议上：
我不是伦理方面的权威，但与会多人指出某些论文存在确切的伦理问题。
社交活动也会影响学术探讨
派对并非总是好事。正像 Zachary Lipton 在《The Greatest Trade Show North of Vegas (Pressing Lessons from NeurIPS 2018)》中指出的那样，行业派对的本质分散了会议的学术目的，最重要的是，派对邀请制是对包容性的一种阻碍：
「展厅将参会者对学术活动的注意力吸引走了太多。房间里有免费的小玩意、食物、豪华座位，以及花费数百万美元打造的华丽景致。我们不应让科学报告和 poster 与博眼球的 CES 风格展厅同场竞技。
现在的派对文化将有社会关系的（不论学科）、可招聘的（大热的 PhD 候选人和初级研究者）和功成名就的研究者汇聚一堂。但却不包括那些可从会见潜在雇主、导师中受益最多的年轻研究人员。」
我认为，展厅的景致不足以诱惑我离开 poster session，对于寻求实习机会或全职岗位的人来说行业展厅是有用的。但是，展厅的位置和 poster session 紧挨着，这使得需要和雇主交谈获取机会的人大概率会错过 poster 和报告。
如何解决？
现在，你们应该了解到，「庞大规模」带来的利弊是出于同样的原因。显然，没有简单的解决方案可以既保留好的一面，又摒除弊端。不过，我还是想谈谈我的几点想法：
将参会人员限制为会议接收论文的作者
NeurIPS 2019 共接收大约 1500 篇论文，那么包括 workshop 在内，1500 乘以 2 应该足够了。然而 NeurIPS 2019 共有 1.3 万人参会，这意味着大量参会人员没有论文被接收。尽管不让感兴趣的人参会是不太好的行为，但说到底这是学术会议，重点应是让参会的学术界人士尽可能多地获益。当然，我的意见可能大错特错，大部分参会人员至少提交了论文，但仍然……
修改评审流程
在论文提交数量猛增的情况下如何保证评审质量，这是整个领域面临的难题。NeurIPS 团队曾发文讨论过这个问题，但并没有找到答案。我在精彩的 Retrospectives workshop 中与他人讨论这个话题，得到了一个想法：允许全年提交论文，对接收论文的总数设置上限。即允许人们全年或在一年的大部分时间中投稿，然后滚动评审，直到通过评审的论文达到接收论文的上限数字。这么做的好处是，评审负担被分摊到全年，因为该制度可以刺激大家早些提交论文，越早提交越有可能被分配到评审任务不重的评审者，他们也就能更认真地完成评审工作。
另一个想法是「两阶段评审流程」：第一阶段要求提交简短的摘要和方法描述，评审者评估整体新颖度，并标注伦理问题；第二阶段（仅对于通过第一阶段的论文）要求提交带结果的论文终版。最后也最容易的一点是，会议至少应设置伦理规范，以便评审者标注论文的伦理问题。这或许是个好主意。
创建更好的工具
在新事物层出不穷的当下，在脑子里组织内容并列举要优先关注的部分需要用到软件工具。Whova app 支持关键词搜索会议议程，但它只能在智能手机上使用，且 UI 界面重文本轻视觉。其他大型会议（如 SIGRAPH 或 CHI ）有一些更好的 UI 工具可以导航至会议议程，因此如果 NeurIPS 能够在这方面多投入一点就好了。
把 poster session 分散开来
尽管在一个巨大的房间里肩并肩地看所有主题很不错（它鼓励人们跨出自己领域广泛涉猎），但拥挤度增加带来的弊大于利。我们对各个主题已经有了明确的分类（NLP、CV、理论、RL 等），因此考虑按主题在多个房间办 poster session 会更好，不必都挤在一个大房间里。
最后，我要谈谈积极的一面。尽管规模庞大会带来一些缺陷，但我对 NeurIPS 2019 的整体感觉很好。这是我第一次参与如此大规模的学术盛会，整个会议运转之流畅令我印象深刻，会议展示了多个领域的工作，举办了多场有趣的 workshop 和报告，这些我都很喜欢。只要精心管理会议的未来增长情况，鼓励积极方面，抑制消极面，那么我将很高兴看到 NeurIPS 成为名副其实的「大」会，未来我也愿意再次参加 NeurIPS 会议。
原文链接：https://thegradient.pub/neurips-2019-too-big/