萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
“像IJCAI、AAAI和NeurIPS这样的大型‘选择性’顶会，就不应该继续存在……”
说这话的不是别人，正是纽约大学的计算机系副教授Julian Togelius。
他在谷歌学术上显示的论文引用量达14330，H因子62，是名副其实的AI大牛。
怎么回事？
原来，他在自己的博客上发表了一篇新文章“Rethinking large conferences”，反思了大型顶会的现状。
同时，也提出了对应的解决方法。
大型顶会哪里不好？
Julian表示，因为大型顶会“很无聊”：
要不是担心学生的职业前途，我可能更愿意参加一些小型、与自身专业（Julian的研究方向是AI+游戏）相关的学术会议，如FDG、AIIDE和IEEE CoG。
为什么会这样？
原因之一，主题散乱。
AI这门学科，可以研究的内容实在太多了。
Julian表示，自己随便参加一个“AI会议”的话，只有20%的概率能搞懂它的主题，10%的概率觉得它有点意思。
更别提像AAAI这种大型顶会，什么样的研究主题都有，但大部分研究者真正关心的，可能只有自己研究的方向。
这就导致一个会议失去了它本来的意义：让更多人的研究，在专业领域内得到更好的传播（通过会议演讲等形式）。
原因之二，重在参与。
Julian对此吐槽：
现在这些大型会议的重点，是参加这些会议，而不是接收论文后的作品展示环节。
没错，就是所谓的论文接收率。
他表示，许多大型顶会都存在着“选择性会议（selective conferences）”的问题，论文接受率通常在20%左右、甚至更低。
之所以存在这种现象，是因为大型顶会需要声望来维持运转。
也就是说，在大型顶会上发表文章，成了学术界晋升、招聘等行为的重要判断依据。
然而，那些没有被接收的论文，有相当一部分也进行了完善研究、没有错误且对学术界有一定贡献。
原因之三，评审标准混乱。
微软纽约研究院的一项研究表明，在NeurIPS 2014上，论文接收的随机性甚至达到了60%。
Julian个人认为，大部分大型顶会论文被评审选中的原因，是因为“熟悉感”。
如果一篇论文看起来更符合评审人期望，就更可能被选中。
这意味着这些论文可能更保守、枯燥、平庸。
也就是说，论文是否有趣并不重要。
没错，Julian认为，除非评审人与投稿者，恰好处在同一个专业领域，否则评估是非常困难的。
原因之四，无效交流过多。
Julian认为，大型会议的参会者太多了，难以形成交流的小圈子和社区。
如果是一个小型专业会议，人们更容易互相建立认知，彼此进行交谈，大型会议却难以做到。
奔向小型会议
难道，大型会议就真的没有存在的理由了吗？
Julian Togelius认为，还是有的。
不过这些大型顶会存在的理由只有一个：
让学术界了解AI各个领域的进展情况。
在这种情况下，作者们不直接向大型会议提交论文，而是提交给更小型、更专业的会议来进行评审。
在论文发表后，组织者、专业评审再选择最佳论文，提交给大型会议发表。
对此，有网友表示：
不过即使是小型会议，也应该抛弃个人演讲+讨论的形式，而是让每个人提前录好音，并在开会一周前就放到网上、提前了解内容，让大家在会议上真正自由讨论。
也有网友表示：
大型顶会存在还是有它们的理由的。组织者应该回归初心，看看他们最初设计会议的理由是什么。
当然，还有网友提出了自己的建议：
补充一点，即使是跨领域也可能组成一些会议，例如研究Semantic Web（语义网络）的人，就可以包括研究开放数据、知识表征等不同领域的专业人员。
原文地址：
http://togelius.blogspot.com/2021/05/rethinking-large-conferences.html
参考链接：
[1]https://cacm.acm.org/blogs/blog-cacm/181996-the-nips-experiment/fulltext
[2]http://togelius.blogspot.com/2013/12/against-selective-conferences.html