同行评审是传统的审查论文的方式，近些年来饱受诟病，特别是热衷开源体系的研究者。同行评审确实存在不公平。例如，对于中等质量的论文，不同的评审人很可能给出不同的判定。另外，同一个评审人在不同的情况下（比如受情绪的影响）的判定标准可能不同。即使这样，这一历史悠久的系统至今仍有它的优势。
最近，美国莱斯大学政治系的研究人员模拟了同行评审的过程。其结果表明，经过同行评审的论文的质量比随机出版的要高。该研究同时发现有编辑参与的同行评审比没有编辑的更高效。
该研究把有编辑参与的同行评审过程分为四种情形，还让读者对期刊中已发表的论文进行排名。结果表明，读者对于所有设有同行评审的系统是信任的，认为80%以上的论文是高质量的。发表最高质量论文的系统使用了同行评审，但是把论文最终是否发表的权力留给了编辑。在此系统下，读者认为只有6%的论文的质量比较差。然而，如果编辑直接拒掉一半，这个比例则从6%降到1%。该系统类似于审稿人对论文进行定性书面评估，但没有采取上下投票（或编辑忽略此类投票的情况）。
然而，研究者还发现，运气无论在哪种系统中都对论文发表起着重要作用。 在所有系统中，最高质量的论文最有可能被发表。但是，读者认为的高质量论文（高于80%甚至85%的论文）有一半的可能性被拒绝。
另外，该研究还发现，妇女和少数民族不太容易获得研究资助、发表论文或获得晋升。女性编辑、审稿人和作者不足。编辑在提高出版质量方面发挥着至关重要的作用。需要进行反偏见培训以防止歧视，确保发表最佳研究成果。
