谁害怕同行评审?
《谁害怕同行评审?》(英语:Who's Afraid of Peer Review?)为《科学》记者约翰·伯罕农于2013年10月4日发表的文章,讲述其对付费开放取用科学期刊的同行评审程序所进行的调查。2013年1月至8月,伯罕农向304份付费开放取用出版商发布的学术期刊提交了虚假学术论文。他称文章内容“错误百出、科学谬论显而易见,应当被期刊编辑及同行评审员立马退货”,唯最后60%的学术期刊通过了伯罕农杜撰的论文[2][3]。
背景
[编辑]2000年,付费开放取用科学项目开始出现,当中包括当年成立的BioMed Central及公共科学图书馆。这类学术期刊不对读者征收订阅费,而是向提交论文的作者(或其资助者)征收出版费,论文公诸于世后供读者在网上免费读取。此类模式称作“金色开放取用”,被视为是开放取用出版模式永续经营的其中一种手段[4]。亦有出版商采用延迟开放取用模式经营,论文发表后短时间内需付费查阅,唯过了指定时间后则可免费读取。这两种开放取用出版模式日益盛行,2011年发表的学术论文中,于2013年时至少有一半可以在网上免付费公开取得[5]。
鉴于创立出版社的门槛不高,且获利快速、回酬高,市场上开始冒出“掠夺性出版社”。这类出版商发表低质量的学术期刊,编审控制与同行评审程序形同虚设,为了尽可能赚取更多出版费而不顾品质发表每一篇接获投稿的论文。一些出版方甚至盗用知名科学家名堂,称其为期刊编辑或同行评审员,让论文作者信以为真。亦有出版商故意混淆出版社地址和真实身份[6]。此类诈骗型出版商层出不穷,而科学界对于应当采取什么行动应对,也是议论纷纷[7]。
调查方法
[编辑]虚假论文
[编辑]伯罕农运用Python创建了“科学版本的Mad Libs[注 1]”[2][8]。论文的基本脉络为“品种Y地衣的X分子抑制Z癌细胞的生长”。他创建的数据库记有各种分子、地衣及癌细胞,用作X、Y和Z的替代词。每一篇论文的数据及结论都一样,内容大意指发现了一种从地衣身上提取的成分可用作新型抗癌药物,但所提供的数据其实都无法支撑结论,且有明显破绽。作者身份及所属机构也全数虚构[9][10]。
选定出版商
[编辑]伯罕农参考了首次点出掠夺性出版社广泛存在的杰弗里·比尔所发表的比尔列表,此列表由比尔个人创建,列出他认为是以掠夺性模式经营的出版社。伯罕农也参考了正规的开放取用期刊指南(DOAJ),在结合两者后整理出了一份详尽的付费开放取用出版商列表。他随后开始筛选,用英文发表、收取出版费、至少出版一份医学、生物学或化学期刊的304家出版社获保留,其中有167家为DOAJ成员,121家为比尔列表所称的掠夺性出版商,另有16家出版商为DOAJ成员,但同时也在比尔列表上榜上有名。此次调查专注在付费开放取用期刊,伯罕农拒绝将其他开放取用模式或付费订阅型科学期刊囊括在调查内,他认为传统科学期刊的评阅时间太冗长。也正因如此,此次调查未有对不同经营模式的学术期刊品质作对比[11]。
调查结果
[编辑]通过 vs 驳回
[编辑]总计304份科学期刊中,157份通过了伯罕农杜撰的论文,98份驳回,剩余49份中有29份期刊的网站失效,另20份在伯罕农发布文章时仍未完成审阅[2]。完成审阅的255份期刊中,约60%很可能在完全没有进行同行评审下就决定通过或回拒论文。在未经同行评审之下即刻驳回论文或展示了编辑部的筛滤职能,但未经同行评审之下通过论文则显示了此类期刊审阅论文的程序存在重大纰漏。仅36份期刊点出了论文的科学性谬误,其中16份科学期刊虽指论文品质较差甚至毫不留情地抨击,但最后仍通过了论文。接受这篇虚假论文的不乏知名研究院及出版公司旗下的期刊,其中就包括了爱思唯尔、赛吉、威科集团(旗下的Medknow出版公司)及数所大学[2]。
公共科学图书馆及Hindawi发行的科学期刊驳回了这份伪造论文。其中,《PLOS ONE》进行的同行评审可说是最为严谨,且是唯一一份指出论文伦理缺陷的科学期刊。该刊发现此研究在使用动物制造癌症细胞株时,没有详细将对待动物的方式记录在案[2]。
DOAJ vs 比尔列表
[编辑]比尔列表中榜上有名且完成评阅的期刊中,有82%通过了该篇论文。伯罕农表示“这证明比尔在追查品质管制不达标的出版商方面相当出色”。杰弗里·比尔则认为此调查肯定了他尝试鉴定掠夺性出版商的努力[12]。然而,余下18%被比尔归类为掠夺性出版的期刊则没有接受此伪造论文,科学传播员菲尔·戴维斯(Phil Davis)就表示“这代表比尔列表中每五份期刊中就有其中一份被污蔑”[13]。
完成了论文审阅的开放取用期刊指南(DOAJ)成员中,有45%通过论文[13]。DOAJ随后发布文告指正在实行新的收录制度[14]。
环球诈骗期刊地图
[编辑]《科学》发表这篇调查报告的同时,也公布了出版商、编辑与银行账户所在地地图,并以红绿两色区分通过或回拒伪造论文的期刊。《科学》通过电邮查获的IP地址、WHOIS及缴付出版费所取得的银行发票鉴定地点。印度的付费开放取用出版商数量为全球之冠,其中65家通过了这篇错漏百出的论文,仅15家驳回[2]。美国次之,29家出版社通过论文,26家驳回。尼日利亚是非洲国家当中最多付费开放取用出版商的,且全数接受了这篇虚假论文[15]。
回应
[编辑]开放取用出版商
[编辑]调查报告公布后,个别出版商宣布将至少三份科学期刊撤出市场[16]。DOAJ表示该指南正审查会员列表,且实行更严谨的入围标准。[17]开放取用学术出版者协会(OASPA)成立委员会,调查该会其中三家出版商成员通过伪造学术论文一事[18]。2013年11月11日,OASPA终止德孚医药出版社及希卡里(Hikari Ltd.)的会籍,而赛吉则被标记为“审查中”,长达半年[19]。赛吉出版社发布文告指该社正审核通过虚假论文的期刊,但不会就此停刊[20]。赛吉在改进期刊编辑机制后,在OASPA的审查阶段尾声时重获会籍[21]。2015年9月,OASPA在审核了德孚医药出版社新定制的编辑及同行评审机制后,允许德孚重返该会[22]。
科学界
[编辑]报告出炉数小时后,《科学》的调查工作引来了开放取用运动支持者的猛烈抨击[23][24]。
公共科学图书馆的创始人之一迈克尔·艾森是第一位批判调查的大牌人物。他在个人部落格写道:“《科学》(唯非伯罕农)所作所为,即指科学出版的问题在于开放取用模式使网络诈骗可行,就好像在说国际金融行业的问题在于促使尼日利亚诈骗案发生。科学出版所面对的疑难根深蒂固。然而解决问题的办法不是推翻开放取用出版模式,是搞好同行评审。[25]”艾森也讽刺如《科学》这般的付费阅读期刊发表此类调查是自打嘴巴,因为《科学》的同行评审也曾在砷元素DNA论文事件中通过存有纰漏的学术研究。
在一场由哈佛开放取用计划领导人彼得·萨伯主持的讨论会中,艾森与伯罕农就此事展开对话。艾森炮轰伯罕农的调查对开放取用运动造成名誉上的伤害[26]。他对伯罕农说:“你的研究特别针对了开放取用期刊,无论你是否有此意,都强烈隐射著开放取用期刊更可能进行品质低劣的同行评审,因此应该遭受更严厉的审核。”伯罕农回应称此类批评就像是“狙击信使”(迁怒于揭发坏消息的人)。
另一方面,多个单位站出来支持是次调查[27][13],且表示对论文骗局感到担忧[28][29][30]。出版伦理委员会则回应称:“无可否认此事揭发了很多问题……但我认为这可能不是《科学》进行调查的主要目的。[31]”
影响
[编辑]科学家探讨了使同行评审透明化的多个提议[32]。若实行开放同行评审,科学期刊就必须公布同行评审报告,完全没有同行评审程序的掠夺性期刊则将自曝其短,抑或需伪造文件[33]。另有科学家建议更严谨地筛滤期刊,并授权由DOAJ或OASPA等负责。DOAJ也收紧了期刊入选制度,希望收录在该指南内的期刊可作为可信期刊的公众指引,与比尔列表列出掠夺性期刊作用相似,唯内容相反[34]。
参见
[编辑]注释
[编辑]- ^ 一种在西方国家流行的填字游戏。
参考文献
[编辑]- ^ Paper 1 in the data supplement for Bohannon 2013.
- ^ 2.0 2.1 2.2 2.3 2.4 2.5 Bohannon, John. Who's Afraid of Peer Review?. Science. 2013, 342 (6154): 60–65. Bibcode:2013Sci...342...60B. PMID 24092725. doi:10.1126/science.342.6154.60 .
- ^ Bohannon, John. Data and Documents; Who's Afraid of Peer Review. Science. 2013a, 342 (6154): 60–65 [2021-06-11]. PMID 24092725. doi:10.1126/science.342.6154.60 . (原始内容存档于2015-10-09).
- ^ Suber, Peter. Open Access Overview. Earlham College. [2013-10-21]. (原始内容存档于2014-02-28).
- ^ Van Noorden, Richard. Half of 2011 papers now free to read. Nature. 2013-10-20, 500 (7463): 386–387. Bibcode:2013Natur.500..386V. ISSN 0028-0836. PMID 23969438. doi:10.1038/500386a .
- ^ Knox, Richard. Some Online Journals Will Publish Fake Science, For A Fee. NPR. 2013-10-03 [2013-10-20]. (原始内容存档于2015-05-09).
- ^ Butler, Declan. Investigating journals: The dark side of publishing. Nature. 2013-05-27, 495 (7442): 433–435. Bibcode:2013Natur.495..433B. ISSN 0028-0836. PMID 23538810. doi:10.1038/495433a .
- ^ Koebler, Jason. Inside Science Magazine's 'Sting' of Open Access Journals. Motherboard. [2013-10-22]. (原始内容存档于2013-10-23).
- ^ Science's Sokal moment. The Economist. 2013-10-05 [2013-10-20]. (原始内容存档于2019-10-29).
- ^ Vergano, Dan. Fake Cancer Study Spotlights Bogus Science Journals. National Geographic. 2013-10-03 [2013-10-22]. (原始内容存档于2019-04-11).
- ^ Oransky, Ivan. Science reporter spoofs hundreds of open access journals with fake papers. Retraction Watch. 2013-10-03 [2013-10-22]. (原始内容存档于2013-10-23).
- ^ Beall, Jeffrey. Science Magazine Conducts Sting Operation on OA Publishers. Scholarly Open Access. [2013-10-22]. (原始内容存档于2013-10-12).
- ^ 13.0 13.1 13.2 Davis, Phil. Open Access "Sting" Reveals Deception, Missed Opportunities. The Scholarly Kitchen. 2013-10-04 [2013-10-20]. (原始内容存档于2021-06-09).
- ^ DOAJ's response to the recent article in Science entitled "Who's Afraid of Peer Review?". Directory of Open Access Journals. 2013-10-04 [2013-10-22]. (原始内容存档于2013-10-23).
- ^ Peer review map. Science. AAAS. [2013-10-21]. (原始内容存档于2017-03-07).
- ^ Oransky, Ivan. Fallout from Science's publisher sting: Journal closes in Croatia. Retraction Watch. 2013-10-17 [2021-06-11]. (原始内容存档于2013-10-25).
- ^ Second response to the Bohannon article. Directory of Open Access Journals. 2013-10-18 [2013-10-21]. (原始内容存档于2013-11-10).
- ^ Redhead, Claire. OASPA's response to the recent article in Science entitled "Who's Afraid of Peer Review?". Open Access Scholarly Publishers Association. 2013-11-11 [2013-11-11]. (原始内容存档于2021-05-08).
- ^ Redhead, Claire. OASPA's second statement following the article in Science entitled "Who's Afraid of Peer Review?". Open Access Scholarly Publishers Association. 2013-10-04 [2013-11-11]. (原始内容存档于2021-05-06).
- ^ Gamboa, Camille. Statement by SAGE on the Journal of International Medical Research. Sage. [2013-11-22]. (原始内容存档于2013-10-14).
- ^ Shaffi, Sarah. OASPA reinstates Sage membership. The Bookseller. 2014-04-29 [2014-06-02]. (原始内容存档于2018-10-14).
- ^ Redhead, Claire. Dove Medical Press reinstated as OASPA Members. 2015-09-23 [2015-09-29]. (原始内容存档于2020-11-28).
- ^ Basken, Paul. Critics Say Sting on Open-Access Journals Misses Larger Point. The Chronicle of Higher Education. 2013-10-04 [2013-10-20]. (原始内容存档于2013-10-21).
- ^ Davis, Phil. Post Open Access Sting: An Interview With John Bohannon. The Scholarly Kitchen. 2013-11-12 [2013-11-12]. (原始内容存档于2021-05-09).
- ^ Eisen, Michael. I confess, I wrote the Arsenic DNA paper to expose flaws in peer-review at subscription based journals. [2013-10-21]. (原始内容存档于2018-09-24).
- ^ Peter Suber. New "sting" of weak open-access journals.. [2021-06-11]. (原始内容存档于2021-06-11).
- ^ Yirka, Bob. Research paper publishing sting reveals lax standards of many open-access journals. Phys.org. 2013-10-04 [2013-10-20]. (原始内容存档于2021-06-06).
- ^ Tatalović, Mićo. Sting exposes 'wild west' of open-access publishing. Scidev.net. 2013-03-10 [2013-10-20]. (原始内容存档于2017-12-17).
- ^ Mudur, G S. Dubious journal fear stalks India. The Telegraph. 2013-10-03 [2013-10-20]. (原始内容存档于2016-03-04).
- ^ Shieber, Stuart. Lessons from the faux journal investigation. The Occasional Pamphlet. Harvard Law School. 2013-10-15 [2013-10-20]. (原始内容存档于2013-10-22).
- ^ COPE response to Science paper submission of fake paper, by Virginia Barbour, on behalf of COPE council. COPE. 2013-10-10 [2021-06-11]. (原始内容存档于2020-11-25).
- ^ Transparency in peer review. Nature Materials. 2011, 10 (2): 81. Bibcode:2011NatMa..10...81.. PMID 21258345. doi:10.1038/nmat2952 .
- ^ Bonnie Swoger. Is this peer reviewed? Predatory journals and the transparency of peer review. Information Culture. Scientific American. 2014-11-26 [2021-06-11]. (原始内容存档于2015-04-26).
- ^ Van Noorden, R. Open-access website gets tough. Nature. 2014, 512 (7512): 17. Bibcode:2014Natur.512...17V. PMID 25100463. doi:10.1038/512017a .