研究系列8: 同儕審查

最近在不同地方不約而同地看到大家討論、反思多數期刊現行的同儕審查 (peer review) 制度,或許是現在投入科學研究的人數和投稿到期刊的數量都大增,使這個行之有年的制度重新被拿出來檢視,以下我想分享二篇有趣的文章。

第一篇文章,是劉國瑞教授在 2012 年 9 月 IEEE Signal Processing Magazine 所寫的文章 [1]。裡面提到同儕審查是一個三方參與的遊戲:作者、編輯 (Editor)、審稿員 (Reviewer)。作者就是投稿文章的作者,記錄了作者的研究成果和發明/發現,大部分的作者都認為他們的文章是完美的,至少值得被接受並發表。編輯是負責這篇投稿文章的審核和把關的工作,他的工作包括選擇審稿員、回收審稿員的意見並綜合評論,最後決定是否接受或拒絕該文章。選擇審稿員有二個要素,第一是審稿員的專業知識要足以勝任審稿的工作,這個容易判斷;第二是審稿員要夠理性,不摻雜個人偏見或主觀意識的公平給予對該文章的評價,這個很難掌握。審稿員是人,有情緒,有過去的經驗影響現在的判斷,有盟友或敵人的人際關係因素… 這些都難以避免也影響到審稿的公正性。讓事情更複雜的,是審稿員是匿名的,有人說,只有匿名我才會講實話,有人持相反意見,認為匿名讓人肆無忌憚,想說什麼就說什麼,甚至想惡搞別人也可以,畢竟除了編輯以外沒人知道審稿員是誰,而現在也沒有任何機制可以懲罰不適任、不公正的審稿員(有太多灰色地帶,難以實行)。事實上,大多數的編輯都傾向以審稿員的意見為意見,畢竟一開始,審稿員就是編輯自己找的,人家好心像做義工一樣的幫忙,總不好否定他的看法。因此,當編輯面臨幾名審稿員意見相左的時候,就考驗著編輯如何做一個讓大家都信服的決定。

而大多數投稿的作者,看到編輯決定接受自己的文章,很高興,拒絕自己的文章,很氣憤,難保不會把負面的情緒帶到下一個自己審查他人文章的時候。因此這個三方的遊戲就變成了一個愛恨交織的三角關係 (a love-hate triangle) 的戲碼,不斷地上演…

在這個遊戲之下,編輯的角色是最關鍵的,如果編輯能夠找到好的審稿員,給予中肯的意見,那編輯的工作就很簡單,又能做到公平、公正。因此一個好的編輯必須專業上夠資深,能做公正的決定,又有足夠的人脈可以找到合適的審稿員。現在有所謂的編輯訓練營,就是為了培養更多適任的編輯。

第二篇文章,是 Michael Nielsen 寫的 “Three myths about scientific peer review”(同儕審查的三個迷思)[2]。第一個迷思,是在科學發展的歷程裡,一直都是使用同儕審查制度。文章指出,大部分的科學期刊,是到了二十世紀中期才開始使用同儕審查制度,同時也指出,愛因斯坦在 1936 年投稿到期刊 Physical Review 的時候,是多麼的不清楚、意外、甚至生氣看到這樣的制度,也就是說,在當時這並不是一個廣泛使用的制度。

第二個迷思,是同儕審查是一個很可靠的制度。這裡作者有說明,「可靠」的定義可以很寬鬆,也可以很嚴格,這裡是以一個較高的標準來認定「可靠」。這裡舉了一些反例,來說明同儕審查不見得是很可靠的,例如 British Medical Journal 的編輯曾做過一個實驗,他們在一篇已被接受準備發表的期刊論文中故意引入了八個錯誤,然後把這篇論文交給 420 個審稿員審,其中 221 個審稿員回覆,平均只指出了二個錯誤,沒有人指出超過五個錯誤,有 16% 的審稿員完全沒有指出任何錯誤。

第三個迷思,是同儕審查是唯一能決定科學研究的價值的方法。我們已經看到,同儕審查並非完美,在一些期刊,同儕審查甚至只佔了一篇文章決定接受與否的一小部分。

同儕審查的光明面與黑暗面,我也看了很多,然而在現在投稿量爆炸的時代,要指定少數的「專家」來審核所有投稿的論文勢必不可行,因此即使同儕審查不完美,但至少是一個可行的方法,也必然會繼續施行下去。個人認為,在現行的制度下要改善同儕審查的功效,一個很簡單也一定可以做到的方法就是實施所謂 double-blind review,也就是不但審稿員是匿名的(作者不知道審稿員是誰),連作者也是匿名的(審稿員不知道正在審核的這篇論文是誰做的)。許多期刊現行的制度,審稿員是匿名的,但是作者不是匿名的,如果用 double-blind review,或許可以減少審稿員情緒的成份,也可以避免審稿員看到作者姓名(例如該領域的大師)或是作者的機構(例如 MIT)就對論文有先入為主的想法。

[1] K. J. R. Liu, “Peer review,” IEEE Signal Processing Magazine, Sep. 2012.

[2] Michael Nielsen, “Three myths about scientific peer review“.

This entry was posted in 科學研究 and tagged . Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s