前天我們發布了關於OpenAI宮鬥大戲的事件經過，雖然事件以Sam重歸CEO告一段落，但是董事會爲何突然罷免Sam依然是一片疑團。
不過就在昨天，路透社援引兩位知情人士的話透露，在 OpenAI 罷免阿爾特曼之前，曾有多名研究人員向董事會發出了一封信，警告稱其人工智能領域的一項技術取得了突破，而它被發現可能會威脅到人類。消息人士稱，這封以前未報道的信件和人工智能算法是董事會罷免 Altman 的一個關鍵线索，也是董事會對 Altman 的諸多不滿的因素之一。
路透社還提到，OpenAI 在發給員工的內部信息中承認了一個名爲 Q * 的項目，並在 Altman 被开除之前致信董事會。OpenAI 的一位發言人表示，上述內部信息是由長期擔任高管的 Mira Murati（OpenAI 前 CTO，在混亂之初曾被任命爲臨時 CEO）發布的，目的是提醒員工注意某些媒體報道，但不評論其准確性。
Q * 的發音爲 Q-Star，網絡上一些人士認爲，OpenAI可能已經在AGI的研發升級上又有了一次重大突破或者發現。
Q-Star是否真的有那么神奇，目前還沒有更多信息可以判斷，有一些短視頻博主通過Copilot來判斷，ChatGPT隱藏的能力越來越可怕，自主意識越來越強。據 The Information 報道，神祕模型 Q-Star 是由 OpenAI 的兩位頂級研究人員 ——Jakub Pachocki 和 Szymon Sidor—— 基於 OpenAI 首席科學家 Ilya Sutskever 的研究成果構建的。在 Altman 被开除後，二人也成了首批辭職的高級員工之一。
而這似乎也可以說明爲何Sam會沒有任何徵兆地被罷免而無法向外說明具體原因。
另外這也從側面解釋了爲何首席科學家IIya會投票罷免老战友Sam，基於他了解AGI突破帶來的影響，以及一直以來他對外表達的對AGI安全的擔憂。
其實IIya是ChatGPT之父或許更加貼切，他是最早卷積網絡算法的三個作者之一，谷歌Deepmind的核心成員，也是AlphaGo的作者之一。
IIya
作爲一個低調的科學家，如果不是因爲這次宮鬥，恐怕很多人還不認識他。
從他不多的公开發言的視頻來看，他很早就在思考通用人工智能AGI到底能給人類帶來什么。
一方面他對人工智能不斷突破後的發展速度毫不懷疑，另外一方面，他對通用人工智能的風險又有着深深的擔憂。
他的理由是，通用人工智能技術的發展和自然生物的發展有着一樣的趨勢。他認爲，AGI可能會像一種新生物一樣發展。
如果不在底層編程上加以控制，AGI的發展就如同生物的進化一樣，會朝着將自己的生存放在首位的方向發展。
他認爲，通用人工智能如果不加以管控，未來它看人類就像人類看其他動物一樣，通用人工智能並不會憎恨人類，但是它可以爲了自己而無視人類。
他打了一個比方，人類可以愛動物，但並不會因爲愛動物而在修建高速的時候咨詢一下動物的意見。
這就好像三體裏黑暗森林一樣，當其他星球的生命暴露自己時，你肯定會優先考慮自己的安全。
IIya認爲，如果通用人工智能被利用作爲武器，或者被用來實施犯罪，那對人類來說是災難。
整體來說，他對人工智能的發展是充滿信心的，但是他對人類的命運似乎又有一些悲觀，他希望屆時AGI能對人類好一點。這種既想探索前沿又對新技術充滿警惕的想法值得稱贊，但也解釋了他一开始罷免Sam，後續又歡迎Sam回歸的糾結。
作爲一個頂尖科學家，他一定想真的看看到底AGI能發展到什么程度，但又害怕OpenAI面臨當年奧本海默一樣的情況。
所以，在今年 7 月，他組建了一個「超級對齊」團隊，致力於讓強大的 AI 系統遵循人類的意愿，而不是傷害人類。
但不管如何，人類已經打开了潘多拉魔盒，即便一部分人提出了擔憂並行動了起來，但利益的驅動還是可能讓人類像當年的原子彈軍備競賽一樣不斷挖掘AGI的能力。
而我們對待這種可能會有自主意識但又十分強大的新技術有着非常糾結的心態，怕它不來，但是又怕它亂來。未來到底會如何，我們只能希望OpenAI及其投資人能否真的在底層邏輯上控制好AGI了。
原文標題 : 神祕的Q-Star項目，人工智能再次突破引發恐慌？
標題：神祕的Q-Star項目，人工智能再次突破引發恐慌？
地址：https://www.utechfun.com/post/296430.html