作者：小巖

編輯：彩雲

2024年，OpenAI的CEO Sam Altman就沒有清闲過，他似乎一直走在解決麻煩的路上。最近，他的麻煩又來了。

當地時間6月4日，13位來自OpenAI和Google Deep Mind的現任及前任員工聯合發布了一封公开信，引發了外界的廣泛關注。這些員工在信中表達了對人工智能技術潛在風險的嚴重擔憂，並呼籲相關公司採取更加透明，更加負責任的措施來應對這些風險。

不誇張的說，這一次，OpenAI和谷歌是被討伐了。

多位知名人士聯合背書，就連AI教父也爲其站台。

這封由13名OpenAI和谷歌Deep Mind現任及前任員工聯合發出的公开信，一方面揭發了OpenAI的魯莽和保密文化；另一方面還強調了前沿AI技術的嚴峻風險，表達了對AI公司在开發和推廣AI技術時利益優先，打壓異見者以及規避監管等種種行徑的擔憂。

信中指出，盡管AI技術可能會給人類帶來巨大益處，但其帶來的風險同樣不容忽視，包括加劇社會不平等，操縱和虛假信息傳播，以及自主AI系統失控可能導致的人類滅絕等。這些風險絕非空穴來風，不僅得到了人工智能公司本身的確認，也得到了世界各國政府和其他AI專家的認可。

公开信籤署者們表示，他們希望在科學界，政策制定者和公衆的指導下，能夠充分緩解這些風險。他們出現了很強的憂患意思，他們擔心，人工智能公司出於強烈的經濟動機，可能會避免接受有效的監督，可僅靠現有的公司治理結構，完全不足以解決這一問題。

信中還提到，由於嚴格的保密協議，員工們在表達對AI風險的擔憂時，還要面臨着種種限制，目前對於舉報人的保護措施也存在着嚴重不足，很多員工擔心因爲提出批評而遭遇報復。

值得一提的是，這封信獲得了多位知名人士的聯名背書，這其中就有被譽爲“人工智能教父”的Geoffrey Hinton，還有因开創性AI研究獲得圖靈獎的Yoshua Bengio，AI安全領域的學者Stuart Russell。

公开信署名人員的訴求和初心：要實驗室對透明度做出更廣泛的承諾。

那么，在公开信上署名的這些人，他的心聲是什么呢？

OpenAI 的前員工Daniel Kokotajlo正是聯名信公开署名人員中的一位，他曾在社交平台發文提到，“我們之中，一些最近從 OpenAI 辭職的人聚集在一起，要求實驗室對透明度作出更廣泛的承諾。”

資料顯示，Daniel剛剛從OpenAI 辭職，其中很重要的一個原因在他對OpenAI在構建通用人工智能方面未採取負責任的行爲表示失望，並且失去了信心。在Daniel看來，AI系統不是普通的軟件，它們是從大量數據中學習的人工神經網絡。盡管目前關於可解釋性，對齊和控制的科學文獻正在迅速增多，但這些領域仍處於起步階段。如果不小心，可能會在一段時間內造成災難性後果。Daniel曾對公司提出，他希望其在AI功能越做越強大的同時，也能夠在安全研究方面投入更多資金，但OpenAI並未做出相應的調整，這導致多名員工相繼辭職。

在Daniel看來，OpenAI等實驗室構建的系統的確可以給人類社會帶來巨大的好處，但如果不謹慎處理，很可能帶來災難性的後果。更可怕的是，當前的AI技術幾乎沒有被有效監管，主要是依靠公司在進行自我監管，而這種方式存在巨大的風險。

Daniel還透露，離職時他被要求籤署一份“封口協議”，其中包含一項不貶損條款，禁止他發表任何批評公司的話，否則將失去已歸屬的股權。然而，他在深思熟慮後，依舊決定放棄籤署協議。

無獨有偶，今年4月，Leopold Aschenbrenner也離开了OpenAI，與Daniel不同的事，他不是主動辭職，而是被OpenAI以泄露公司機密爲由开除的。

Aschenbrenner曾是OpenAI前超級對齊部門成員。據知情人士透露，他被开除的真實原因是他給幾位董事會成員分享了一份OpenAI安全備忘錄，結果招致OpenAI高層的不滿。據說，OpenAI當時很清楚地告訴他，开除他的主要原因就是因爲這份備忘錄。

在此之後，Aschenbrenner上线了一個網站，用165頁PDF文件匯總了他在OpenAI工作期間所了解的信息，這份文件被看作是“硅谷最激進的AI研究人員提出的一份未來10年AI發展的綱領性文件”。Aschenbrenner認爲，目前深度學習還沒有遇到瓶頸，到2030年左右，AGI很有可能會發展出全面超越人類的超級人工智能。對此，人類似乎還沒有做好准備。AI所帶來的，也絕不僅僅是多數專家所認爲的“另一場互聯網規模的技術變革”。

安全主管辭職，超級對齊團隊解散，多名骨幹成員正在“背叛”OpenAI...

事實上，從OpenAI離職的遠不止以上兩位，很多掌握着核心部門的大佬都相繼離开了OpenAI。

其中，最具代表性的當屬OpenAI原首席科學家Ilya Sutskever，以及前安全主管，超級對齊團隊負責人Jan Leike。

與Aschenbrenner和Deniel一樣，Leike在離職後公开批評了OpenAI的管理層，指責其追求華而不實的產品，卻忽視了AGI本身存的安全問題。他表示，在過去的幾個月裏，超級對齊團隊一直都是逆風航行，在提升模型安全性的道路上受到公司內部的重重阻礙。

Ilya則在OpenAI的宮鬥事件之後一直保持沉默，即便到了最後官宣離職的時候，也沒過多的闡述自己的立場和觀點。不過，Ilya曾在先前的一段視頻中提到，一旦AGI徹底實現，AI未必會仇恨人類，但他們對待人類的方式可能會像人類對待動物一樣：人可能無意傷害動物，但如果你想修一條城際高速，你不會徵詢動物的意見，而是直接去做。當面臨這種情況時，AI 可能也會自然而然地做出類似的選擇。

去年11月OpenAI爆發宮鬥事件，借着宮鬥事件的最終走向，我們可以大致看出OpenAl內部存在的大模型安全性問題，以及分化日趨明顯的兩大陣營。一方陣營是以Sam Altman爲代表的“發展派”；另一方，則是以Ilya爲代表的“安全派”。兩方鬥法，如今來看，結局很明顯：以Ilya爲代表的的安全派基本喪失了話語權，就連昔日備受矚目的超級對齊團隊也被連根拔起。

在這種情況下，未來的一切都成了未知數。我們無法預判Sam Altman所代表的激進發展派是否會一路長虹的前進。如果事實真是這樣，未來人類該如何平衡與生成式AI之間的關系，也會成爲巨大的未知數。

       原文標題 : 新火種AI|攤上事兒了！13名OpenAI與谷歌員工聯合發聲：AI失控可能導致人類滅絕...

---

標題：13名OpenAI與谷歌員工聯合發聲：AI失控可能導致人類滅絕...

地址：https://www.utechfun.com/post/382945.html