打开网易新闻 查看更多图片

新智元报道

编辑:好困 LRS

【新智元导读】AAAI 2022结果一出,网上哀嚎一片,录取率达到15.0%新低。北大张铭教授在会议投稿了两篇论文,都获positive评价,连meta-reviewer都说直接接收就行了,可惜最后只有一篇杀出重围。难道,AAAI的中稿全靠缘分?

明明之前官方邮件还写着25%的接收率建议,在评审结果延期几天之后,直接来了个断崖式下跌。

AAAI 2022共收到9251篇投稿,创下投稿量的历史记录,其中9020篇投稿进入了评审环节。

经过严格的双盲同行评审,最终大会决定接收1349篇论文,录取率仅为15.0%,创下历史新低。

不得不说,从2019年的16.2%,到2020年的20.6%,再到2021年的21%,再到今年的15%,AAAI的接收率一直飘忽不定,但这次确实是跌破了历史最低接收率记录。

打开网易新闻 查看更多图片

有趣的是,今年AAAI被接收论文在正式会议开始之前都不允许提前放出,不过好在还是可以通过简介提前一睹尊容的。

一窥北大的AAAI 2022

北大计算机学院网络所张铭教授DLIB实验室的学术论文「DisenCite: Graph-based Disentangled Representation Learning for Context-specific Citation Generation」被2022年人工智能领域国际顶会AAAI人工智能大会(AAAI Conference on Artificial Intelligence)接收。

该论文基于构建的异构引文网络,提出了一个解耦合图神经网络用于提取「引用-被引」论文对中的文本和引用拓扑信息,并进行引用章节预测和特定位置的引文生成,所提出的模型DisenCite获得了当前的最佳性能。

第一作者为Dlib实验室博士生王一帆,通讯作者为国防科技大学讲师宋伊萍(Dlib毕业博士)和北京大学张铭教授。 其余作者为李帅,程超然,琚玮,王晟。

论文引用和描述参考文献在学术论文写作中占有重要作用,目前许多工作大多数集中在引文推荐,而忽视了引文内容的生成,尤其是引文内容在不同章节中的写法都各有不同。

比如,「引言Introduction」章节中引文的内容主要是为其他工作的创新点进行总结,而「实验Experiment」章节主要是为相关的模型进行参数上的说明。

为了生成在文章中不同章节位置对应特定的引文内容,作者通过构造一个包含4800个节点(每个节点代表一篇论文)和25000个具有不同边类型的引文网络。

其中边的类型取决于节点之间「引用」所在章节的位置,如果「引用」在不同的章节中,边的类型会有所变化。

打开网易新闻 查看更多图片

基于构建的引文网络,作者提出了一个解耦合的图神经网络用于提取「引用-被引」论文pair中的文本和引用拓扑信息,并利用这些信息进行引用章节预测和特定章节的引文生成。

由于方法上的可靠性,模型DenseCite与其他引文、文本生成方法对比,很自然地取得了state-of-the-art的性能,结果也表明了解耦合表示对于特定章节和位置上的引文生成是有效的。

reviewer也是对这篇论文给出了相当正面的评价:

  1. 这篇论文在构建特定章节引文的异构网络(heterogeneous network)方面做出了创新性的贡献,并使用他们提出方法进行表征的学习。具体地说,这是一种基于互信息估计策略的论文表征学习方法,能够分解论文并通过其L-hop相邻节点获得论文section-general与section-specific的表征。

  2. 这篇论文也介绍了一个新的数据集,包含了特定章节的引用数据,在该领域的未来工作中也是可以用到的。

  3. 随着写作助手的蓬勃发展,这篇文章在现实世界的应用场景中也能提供有价值的研究结果。

  4. 文章的实验和评估都很完善。

但reviewer也指出了这篇文章的一个问题,即实验部分没有从生成的引文结果中进行人类评估和分析。不过文章的作者在后续表示他们已经分析过了,并且将会在论文的最终版本中加入分析过程和结论。

连meta-reviewer在拒绝理由上都给的是正面的,这样,AC总没法拒绝了吧。

最后这篇论文也是在9200多篇论文中杀出一条血路,最后成功录用。

但是张铭教授组内还有另一篇工作,也同样是获得了一致高分评价,但最后的结果就没有这么幸运了。

PC讨论后的结果是,所有的reviewer都认同这篇论文确实在图分类领域中做出了创新性的贡献,并且也符合AAAI社区的接收标准。

他们都能证明提出的方法是新颖的,实验结果也展现了方法的有效性,所以meta-reviewer也觉得没有必要再讨论这篇论文了。

那岂不是说直接就接受了?

在例行讨论「接收理由」和「拒绝理由」时,meta-reviewer也表示,如果最终接收了,那就是因为这篇论文作出了一些创新性的图节点分类工作,并且为后续的研究提供了创新思路和经验性的实验结果。

但如果最后拒绝了,那可能是因为这篇论文有几个关键的研究点没有解释清楚,例如评估过程中数据集的大小和数据增强的消融实验没有做。

不过,在全positive评价的情况下,这篇论文最后还是被拒了,只能说AAAI 2022压录取率的行为可能确实误伤了大批好的论文。

录取率降低成常态

AAAI是国际顶级学术会议——AAAI人工智能大会(AAAI Conference on Artificial Intelligence)的组织者,同时也是具有重要影响力的国际学术组织。

AAAI由计算机科学和人工智能领域奠基人Allen Newell、Marvin Minsky、John McCarthy等学者于1979年共同创立,旨在推动智能思维与行为机制的科学理解及机器实现,并促进人工智能的科学研究和规范应用。

前十几、二十年,像AAAI这种顶级会议,对自己的文章没有充分自信的研究人员大部分是不敢投的。

但神经网络的出现似乎让大部分人都转行进入了AI领域 ,尤其是2010年之后,一大票学者和工程师进入AI的学习及应用领域。

打开网易新闻 查看更多图片

由于会议论文的投稿数量暴增有水平的评审人员数量就显得严重不足, AAAI和IJCAI 甚至 把普通投稿人也全拉来当reviewer。

或许这也是最终导致论文质量、评审质量严重下滑的原因之一。

就难度而言,IJCAI 2021似乎就比AAAI 2022还要惨烈,进入摘要审查阶段的4060份提交材料中,大会最终只接收了587份投稿,接收率仅为13.9%。

ICML 2021一共有5513篇有效投稿,其中1184篇论文被接收,接收率为21.4%,也是达到了五年内最低接收率。

虽然各大AI 领域顶会的投稿数量连年增加,呈现一幅繁荣景象,但录取率却一直在下滑。

但是目前直接采取限制录取率的做法,确实会误伤一批优秀论文。

毕竟,如果只用「胜者为王,败者为寇」的说法也是过于绝对,在AI论文内卷的时代,想要做出更让人眼前一亮的工作也是越来越难。

而且大部分新入行的科研人员的前期工作大部分都是所谓的灌水,他们在灌水中成长,逐渐走出创新之路。

所以,录取率的降低虽然会误伤一些优秀的论文,但也会让一些没有充分研究的论文暂时放弃投稿,从而提高会议的质量,促进AI领域的良性发展。

参考资料:

https://www.zhihu.com/question/497725523

https://www.zhihu.com/question/323355908/answer/678647543