“智能集体评审”初显成效

 

严格的同行评审过程是学术出版的核心,也是学术期刊品质的重要保证。但传统的同行评审也有它本身的局限性,比如漫长的审稿周期,又或者是因为同行竞争,利益冲突和偏见等因素造成的延迟审稿。审稿过程中的这些不确定因素常常让作者在等待的过程中备受折磨。这种状况很难跟得上现在信息传播越来越快的趋势,因此一些学术期刊也在进行新的创新和尝试。

去年,德国马普学会煤炭研究所所长,化学期刊 《Synlett》主编本杰明·李斯特(Benjamin List)和他的博士生尼斯·霍夫勒(Denis Höfler)一起尝试了一种新的审稿制度——他们称其为“intelligent crowd peer review ”,中文译为“智能集体评审”。首先他们找到100位资历比较高的审稿人,其中大多是由编委会推荐的。然后搭建了一个受保护的论坛式评论系统,并且只允许这100位审稿人匿名进入系统对文章进行评审(但编辑可以看到他们的身份),审稿人可以相互交流意见,还能就彼此的评论加以讨论。

作为对照,这些提交到论坛的论文同时也在用传统方式进行同行评审。最后论文作者和期刊编辑共同对两种方法给予评价,结果显示:“智能集体评审是可行的”。

首先是因为新的评审方式审稿速度更快了,常常只需几天时间而非传统的两三个月,论文作者对此表示非常满意。另一方面,这些建议的质量非常高,意见也更为中肯。由于新的评审模式过程更接近于集体讨论,生成的审稿意见往往更为全面和中肯,对细节的关注更为到位。另外对于作者而言,因为偏见等因素被个别评审一家之言而拒稿的概率大大降低了。

很多人最初认为这种评审方式会大大增加编辑的工作量,但在实际操作过程中期刊编辑发现,工作量虽然有所增加,但没有想象中那样严重因为整理一份集体评审报告并不比综合三到四份传统评审报告更加困难。

另外,虽然在这种新的评审模式下,评审人员可能需要评审更多的文章,但他可以专注于自己熟悉的领域,并给出非常专业的意见,从而提高评审效率。

迄今为止,《Synlett》期刊已经尝试了十次这样的评审方式,审稿人和作者都对结果表示非常满意。参与该研究的十篇文章中有九篇最终被公开发表。该期刊也表示,这种实验仍在继续,之后还希望对所有的投稿论文都采用这种新的评审机制。

“智能集体评审”是一个很有意思的创新,更加适合年轻一代的科研人员的科研习惯,同时能够利用网络的优势来加快审稿速度,对传统的同行评审将会是一个很好的补充。多种形式共同发展才能推动同行评审制度逐渐走向完善。

 

 

发表评论

Your email address will not be published.