本文整理自《Science》于2024年11月28日发表的一篇文章，原文题目为“‘Systematic reviews’ that aim to extract broad conclusions from many studies are in peril”。
当荷兰拉德堡德大学的两位研究者Rene Aquarius和Kim Wever在对出血性卒中治疗药物的相关文献进行检索时，他们预期只有50-60项研究。然而，令人意外的是，最终检索到大约600项研究。调查发现，许多论文包含可疑数据和图像，如Western blot中重复的泳道。要使用这些论文进行系统综述十分危险。
这些质量差的论文可能来自论文工厂。一项研究显示，多达七分之一的已发表论文是捏造或伪造的。仅4周的时间，Aquarius就在发表后同行评审网站Pubpeer上标记了130篇可疑论文。
其他研究者也遇到过类似情况。牛津大学精神病学博士生Andreas Voldstad在进行一项关于正念练习与人际关系满意度关联的系统综述时，他发现一些研究中使用了奇怪的语言，似乎来自自动翻译软件，这些常被造假者用来避免抄袭检查。在他计划纳入的28项研究中，有6项很可疑，其中描述的效应值（effect size）比其他论文大10-20倍，有些还存在缺失信息和可疑的统计数据。
最终，Voldstad在综述中包括了所有研究，但对一些论文表示了担忧，并在排除这些研究后进行了单独的分析，以向读者展示这些研究对结局的影响。
近年来，制定临床指南的医学研究者也面临着类似问题的困扰，他们已经开发了一些应对策略。2023年，推广循证医学的国际组织Cochrane发布了旨在帮助研究者过滤不合格文献的指南。
指南链接：https://www.medrxiv.org/content/10.1101/2023.09.21.23295626v3
然而，有研究者指出，这些工具通常仅对少数研究或对特定论文进行深入评估的医学综述有用，但不太适合临床前系统综述。这些工具会写信给合著者询问手稿是否真实，这对于可能要评估几百篇论文的综述来说并不可行。
研究者希望为这些大型综述开发一个工具：一个包含一系列检查点（checkpoints）的工作流，以指导研究者筛选文献。例如，检查结果可能会建议将该论文排除，或对数据进行进一步的质量检查或分析。
除了努力确保假论文不会影响未来的综述外，研究者还在思考如何应对已经发表的有污点的综述。今年1月，哥本哈根大学的研究者Otto Kalliokoski发表了一篇用于模拟大鼠抑郁的实验技术的系统综述。3月，Kalliokoski在发布的bioRxiv预印本中报告，在对该研究近600篇论文进行的分析中，19%的论文中有图片造假迹象。这些论文会显著影响系统综述。
文章整理自：https://www.science.org/content/article/systematic-reviews-aim-extract-broad-conclusions-many-studies-are-peril
医咖会员全面升级，课程增多，AI工具升级！