arXiv 最近陷入爭議。華盛頓大學教授、ACL 2023 大會副主席 Emily M. Bender 公開說是「毒瘤」,宣揚盲目跟風及「超過六個月就算過時」的計算機學文化。
arXiv為開放預印論文網站,有30多年來歷史故為物理學、計算機學、統計學等科學論文最重要發表平台,特別是數理領域,幾乎所有期刊發表論文都有在arXiv存檔,計算機學差不多情形,較前線研究如人工智慧和大模型,更把arXiv當成首發平台。故Emily M. Bender這番話乍聽頗為嚴重。
但如果了解Emily M. Bender說話的習慣,就不會這麼認為。
《時代》評選AI百人之一、自認第一身分是語言學家的Emily M. Bender一直是人工智慧和大語言模型的權威之一。她將大語言模型比喻成竊聽成性的章魚,指它不僅無法理解真正內容,且氣候危機時還消耗大量能源,用假資訊污染系統生態,加劇偏見和英文霸權。考慮到她一貫說話方式,這樣狠罵arXiv也不太意外。
最新將arXiv推上爭議舞台的是ACL拒稿事件。紐約大學博士後研究員Naomi Saphra論文違反「匿名政策」遭ACL拒收。匿名政策指投遞到ACL這類學術會議的論文,評審期間有段匿名期,作者不能在社群媒體談論,必須保持論文匿名狀態,哪怕是arXiv「預印」平台。不服氣的Naomi Saphra把前因後果po在X,引來大量聲討ACL的回應。
Just got a desk reject, post-rebuttals, for a paper being submitted to arxiv <30 min late for the anonymity deadline. I talk about how the ACL embargo policy hurts junior researchers and makes ACL venues less desirable for NLP work. I don’t talk about the pointless NOISE it adds.
— Naomi Saphra (@nsaphra)
喫瓜群眾可能會納悶,評判論文好壞,不是用學術標準評斷嗎,為何匿名這麼重要?這和arXiv有什麼關係?
為何匿名?
同行審議是全世界評價學術論文的通用法,ACL頂級學術會議為了保證論文品質,更嚴格執行「雙盲同行評審」。雙盲就是彼此不知道對方身分,評審教授只能看到內容,看不到作者是誰,盡可能保證公允,故匿名當然很重要,ACL通常會設立匿名期,作者不僅不允許公開論文是自己寫的,也不能在社群媒體宣傳,防止輿論影響評審。
但這政策一開始就不受歡迎或說充滿爭議。許多突飛猛進學科,如大模型領域,技術幾乎日新月異,頂級學術會議匿名期多是一個月或更長,顯然會讓研究者錯過學術交流運算的機會。
最大聲的反對者就是Meta首席人工智慧科學家、深度學習先驅、圖靈獎得主Yann LeCun,他認為這限制資訊交流,阻礙技術進步,違反道德規範(因限制人們表達意見)。這次ACL拒稿事件Yann LeCun也同樣持反對意見,還引用哈佛大學教授Boaz Barak推文,任何試圖阻礙arXiv的政策都是100%愚蠢。
“Any policy that obstructs ArXiv is just silly."
100%— Yann LeCun (@ylecun)
Yann LeCun等大前輩力挺arXiv和反對匿名政策,其實反映了arXiv在學術界的影響力,這一切也要從30多年前說起。
首發平台arXiv
簡單說可理解arXiv成大型學術論壇,不同學科屬不同分類,有志願管理員,審核每篇文章。arXiv出現前是靠互相發稿件了解自己學科領域最新進展,直到1991年,有聰明人想說為什麼不設集中系統存放所有論文?這就是arXiv的雛形。
最早arXiv構建存在Los Alamos National Laboratory洛斯阿拉莫斯國家實驗室,沒錯,就是歐本海默規劃製造原子彈的實驗室。arXiv和傳統論文平台期刊,最大差別在不需同行評審,文章也就是論文,只需分類區管理員審核過就可發表,管理員只審核最基本要求,如論文是否有攻擊他人內容等,並不負責審核論文論證真假。換言之,arXiv論文品質參差不齊,需要自行判斷──就和逛論壇一樣,需自行找出精華。
去中心化論文平台很容易聯想到網路最初發明時人們的期待,繞過權威,構建自由民主的自發社群,人們靠高度道德自治管理。這是許多人喜歡arXiv的原因,看起來反權威,是推進學術民主化的好方法,如果是好論文,其他人一定會認可,評斷論文好壞標準從權威專家移到一般人手上。由於繞過傳統期刊冗長發表流程,arXiv成為許多快速發展領域論文的首發地。
最好例子就是前陣子沸沸揚揚的超導體事件。南韓團隊在arXiv發表兩篇找到室溫超導體論文,一天內就引起全世界瘋狂,多間實驗室照論文方法想複製。之所以有兩篇而不是一篇論文(兩篇論文作者部分一樣),推測就是要搶首發,雖然最後大家都做不出室溫超導體,但arXiv重要性可見一斑。
現在許多重要理論發表時間都以arXiv時間為準,儘管準確來說arXiv論文都只是「預印」狀態。但現在預印狀態成為論文常態,不少科學家不僅把arXiv當成首發平台,甚至是唯一發表平台。既然發表論文目的是讓更多人看到、討論、交流,就不必登上期刊啦,正式期刊不僅流程緩慢,同行審議還被詬病充滿偏見和黑箱運作,更是出版商賺錢的下蛋金公雞,資料庫和電子版要價都好貴。
相反地,發表在arXiv只要動動手指就好了。
2002年11月起八個月,俄羅斯數學家格裏戈裏·裴瑞爾曼在arXiv連續發表三篇預印版論文,解決困擾數學界整整一百年的龐加萊猜想。三篇論文沒有登上任何期刊,也就是說arXiv論文雖然是「預印版」,但是裴瑞爾曼論文的最終且唯一版本。菲爾茲獎委員會也根據這些「預印版」論文決定授予裴瑞爾曼菲爾茲獎(但他不接受)。
類似例子還有很多,這兩年大紅的人工智慧和大模型領域,arXiv更是繞不過的平台,幾乎所有論文都是在arXiv先披露,這也成了arXiv挨駡的原因。
arXiv侵蝕學術自由了嗎?
Emily M. Bender說arXiv是毒瘤的兩個論點:「盲目跟風」和「超過六個月就算過時」文化,某角度說是一回事,arXiv最初是去中心化平台,就像所有平台,最終還是轉至中心化,動作之一就是對流量越來越重視。
想從浩如煙海的論文海脫穎而出(據說arXiv每月有數萬篇論文),選對方向(和標題)顯然十分重要。arXiv沒有同行審議機制,內行人一方面很容易知道下個研究熱點是什麼,另一方面也很容易製造踩點跟風論文以便佔先機──方法細節沒關係,關鍵是要搶佔第一名,一旦先發表,之後論文都不得不引用。
這在計算機學,特別是深度學習、人工智慧等尤其氾濫。同樣方法換個資料庫,改動參數就可產生新論文,這就是Emily M. Bender批「盲目跟風」的由來。她覺得經嚴密同行審議論文應有更多支持。arXiv為了追求點擊率量產灌水論文使學術嚴肅性降低不少,此趨勢與很多網路內容社群發展相似,高品質內容最終被膚淺流行內容淹沒,平台品質當然下降。
Open access peer reviewed venues exist. We should support them and stand up for peer review by citing peer reviewed versions.
— @emilymbender@dair-community.social on Mastodon (@emilymbender)
除了Emily M. Bender,arXiv另一個中心化問題是管理員權限擴大。本來內容社群經營是靠所有人共同維護,就是學術民主化,但與日俱增的論文量讓arXiv管理人員逐漸有更大權限,如論壇版主可封鎖用戶內容,由自願者組成的arXiv管理員可拒稿至封鎖某些論文及作者。
2020年加州大學聖地牙哥分校理論物理學家Jorge Hirsch在arXiv回擊《自然》刊登的羅切斯特大學物理學家Ranga Dias室溫超導體論文,Jorge Hirsch標題頗「騙流量」,名為「可能的科學欺詐剖析」。Ranga Dias用論文回應,Jorge Hirsch又發論文反擊,兩方你來我往在arXiv用論文打筆仗,直到管理員封鎖Hirsch論文並禁言他六個月,理由是論文使用煽動性、冒犯性和武斷語言。
除了禁言,管理員還有權拒稿。arXiv有約1%~2%拒稿率,但都不清楚稿件被拒原因,arXiv不會解釋,更讓arXiv審核機制透明度成為爭議點。如中國量子研究科學家陸朝陽和潘建偉,2021年8月交給arXiv論文就直接被拒,2014年瑞士日內瓦大學量子物理學家Nicolas Gisin論文也被拒,但通過同行評審後登上《物理快訊A》期刊。
審核當然必要,讓arXiv內容起碼符合最低學術標準,但有問題在於,arXiv論文都是學術研究,拒稿和封鎖不管正當性多高,都算阻礙學術討論,擁有發表權力的人甚至不是同行,而是多數匿名管理員。
爭奪學術話語權
許多人認為這些arXiv缺點,可用擴大審核團隊、公開評審標準和拒稿原因、導入評論和分數機制,拋棄純用引用量衡量論文影響力的「唯流量」等解決。總之就是更透明和讓更多用戶參與,而不是傳統封閉保守的同行審議。其實大部分人對arXiv還是持正面態度,從X各發言眾人一致批評ACL就能得知。
arXiv爭議本質上就是學術話語權爭奪戰:究竟是少數專家,還是更多同行與大眾,有權評斷論文學術價值?如果是後者,又要以什麼方法制度確定這最公平、專業和有效?
當然arXiv不完美,現由康乃爾大學營運,像維基百科嚴重依靠志願者管理和民眾捐款,然而它又非常重要,幾乎可說是學術界基礎設施。也許arXiv壓根不該營利,以確保絕對公正和獨立促進學術發展,但規模已跟不上快速發展的科技進步,就產生偏頗結果,但不太該是苛責它的原因。
(本文由 授權轉載;首圖來源:)
標題:AI 領域最紅論文平台 arXiv 漸漸長成學術毒瘤?
地址:https://www.utechfun.com/post/264401.html