Pre AGI 時(shí)代的第一場(chǎng)大型輿論「鬧劇」。

馬斯克和「深度學(xué)習(xí)三巨頭」之一的 Bengio 等一千多位學(xué)界業(yè)界人士，聯(lián)名呼吁叫停 AI 大模型研究的新聞，刷屏網(wǎng)絡(luò)，掀起軒然大波。

GPT 的研究會(huì)被叫停嗎？在學(xué)界業(yè)界看來(lái)，AI 真的會(huì)對(duì)人類(lèi)產(chǎn)生威脅嗎？這封聯(lián)名信是證據(jù)鑿鑿的警示還是徒有恐慌的噱頭？支持者、反對(duì)者紛紛表態(tài)，吵作一團(tuán)。

在混亂中，我們發(fā)現(xiàn)，這份聯(lián)名信的真實(shí)性和有效性都存在問(wèn)題。很多位列署名區(qū)的人們，連他們自己都不知道簽署了這封聯(lián)名信。

另一方面，聯(lián)名信本身的內(nèi)容也值得商榷，呼吁人們重視 AI 安全性的問(wèn)題當(dāng)然沒(méi)錯(cuò)，可叫停 AI 研究 6 個(gè)月，甚至呼吁政府介入，等待相關(guān)規(guī)則、共識(shí)的制定。這種天真且不切實(shí)際的做法，在科技發(fā)展的歷史上實(shí)屬少見(jiàn)。

與此同時(shí)，不少人發(fā)現(xiàn)，OpenAI 開(kāi)放了一批 GPT-4 API 的接口申請(qǐng)，開(kāi)發(fā)者們正興奮地想要將這轟動(dòng)世界的技術(shù)成功應(yīng)用在他們的產(chǎn)品中。Pre AGI 時(shí)代的序幕，已經(jīng)緩緩拉開(kāi)。

AI 會(huì)停下來(lái)嗎？AI 能停下來(lái)嗎？

又或者像網(wǎng)友所說(shuō)的，你想要叫停福特 A 型車(chē)的量產(chǎn)嗎？

在福特 T 型車(chē)退出市場(chǎng)后，A 型車(chē)幫助福特重新奪回汽車(chē)銷(xiāo)量的頭把交椅。

截至發(fā)稿前，F(xiàn)ounder Park 發(fā)現(xiàn)，聯(lián)名信簽名人數(shù)從 1125 減少為 1123 人。

注：極客公園記者凌梓郡對(duì)本文亦有貢獻(xiàn)。

01

聯(lián)名信說(shuō)了什么？

在 Future of Life Institute（FLI）的官網(wǎng)上，有著公開(kāi)信的全文內(nèi)容，總結(jié)如下：

公開(kāi)信呼吁所有人工智能實(shí)驗(yàn)室，至少在 6 個(gè)月內(nèi)立即暫停訓(xùn)練比 GPT-4 更強(qiáng)大的人工智能系統(tǒng)研究包括當(dāng)前正在訓(xùn)練的 GPT-5。

這封信認(rèn)為，具有人類(lèi)競(jìng)爭(zhēng)力的人工智能系統(tǒng)可能對(duì)社會(huì)和人類(lèi)構(gòu)成深刻的風(fēng)險(xiǎn)，因?yàn)檫@已經(jīng)得到了廣泛的研究并得到了頂級(jí)人工智能實(shí)驗(yàn)室的認(rèn)可。

此外，該信還呼吁 AI 實(shí)驗(yàn)室和獨(dú)立研究者們，利用這個(gè)暫停時(shí)間共同開(kāi)發(fā)和實(shí)施一套共享的高級(jí) AI 設(shè)計(jì)和開(kāi)發(fā)安全協(xié)議，并由獨(dú)立外部專(zhuān)家進(jìn)行嚴(yán)格審核和監(jiān)督。這些協(xié)議應(yīng)確保遵守這些協(xié)議的系統(tǒng)是安全的，而且必須有充分的理由證明這種信心，并隨著系統(tǒng)潛在影響的大小而增加。

02

發(fā)起方是誰(shuí)？

Future of Life Institute：生命未來(lái)研究所創(chuàng)立于 2014 年 3 月，創(chuàng)始人為麻省理工學(xué)院宇宙學(xué)家馬克斯·泰格馬克，Skype 聯(lián)合創(chuàng)始人讓·塔林，哈佛大學(xué)博士生維多利亞·克拉科夫那（Viktoriya Krakovna），波士頓大學(xué)博士生、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷。

官網(wǎng)上介紹的公司使命是：

保護(hù)生命的未來(lái)，某些技術(shù)的開(kāi)發(fā)和使用對(duì)地球上的所有生命有著深遠(yuǎn)的影響。目前，人工智能、生物技術(shù)和核技術(shù)就是這種情況。

如果管理得當(dāng)，這些技術(shù)可以改變世界，使今天活著的人和所有尚未出生的人的生活大大改善。它們可以被用來(lái)治療和消除疾病，加強(qiáng)民主進(jìn)程，以及緩解--甚至阻止--氣候變化。

如果管理不當(dāng)，它們可能會(huì)起到相反的作用。它們可能產(chǎn)生災(zāi)難性的事件，使人類(lèi)屈服，甚至可能將我們推向滅絕的邊緣。

生命未來(lái)研究所的使命是引導(dǎo)變革性技術(shù)遠(yuǎn)離極端、大規(guī)模的風(fēng)險(xiǎn)，并使之有益于生命。

03

誰(shuí)簽署了聯(lián)名信？

截至北京時(shí)間 3 月 29 日下午 16 點(diǎn)，公開(kāi)信簽名人數(shù)為 1125 人，我們整理了其中比較知名的一些學(xué)者和科技行業(yè)的從業(yè)人士等。

Yoshua Bengio：約書(shū)亞·本吉奧，加拿大計(jì)算機(jī)科學(xué)家，因其在人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面的研究而知名。本希奧與杰弗里·辛頓和楊立昆一起獲得 2018 年的圖靈獎(jiǎng)，以表彰他們?cè)谏疃葘W(xué)習(xí)方面的貢獻(xiàn)。這三位也被稱(chēng)為「圖靈三巨頭」。

Stuart Russell：加州大學(xué)伯克利分校人工智能統(tǒng)計(jì)中心創(chuàng)始人兼計(jì)算機(jī)科學(xué)專(zhuān)業(yè)教授，一直關(guān)注人工智能領(lǐng)域的發(fā)展。同時(shí)，他還是人工智能領(lǐng)域里標(biāo)準(zhǔn)教科書(shū)《人工智能：現(xiàn)代方法》的作者。

Elon Musk：埃隆·馬斯克，眾所周知，SpaceX、特斯拉和 Twitter 的 CEO，OpenAI 的前股東。

Steve Wozniak：史蒂夫·沃茲尼亞克，蘋(píng)果公司聯(lián)合創(chuàng)始人。

Yuval Noah Harari：尤瓦爾·赫拉利，耶路撒冷希伯來(lái)大學(xué)的歷史系教授，《人類(lèi)簡(jiǎn)史》三部曲作者。

Andrew Yang：楊安澤，前進(jìn)黨創(chuàng)始人暨現(xiàn)任該黨共同黨主席，美國(guó)創(chuàng)業(yè)組織創(chuàng)始人、2020 年美國(guó)總統(tǒng)選舉民主黨初選候選人。

Jaan Tallinn：讓·塔林，Skype 聯(lián)合創(chuàng)始人，也是這封公開(kāi)信的發(fā)起網(wǎng)站 Future of Life 的創(chuàng)始人之一。

Evan Sharp：伊文·夏普，Pinterest 聯(lián)合創(chuàng)始人。

Emad Mostaque：Stability AI 創(chuàng)始人，Stability AI 成立于 2019 年，目前已經(jīng)是估值超過(guò) 10 億美元的獨(dú)角獸企業(yè)，旗下產(chǎn)品有 Stable Diffusion 等，Stable Diffusion 是近期熱門(mén)的文本生成圖片的應(yīng)用。

John J Hopfield：約翰·約瑟夫·霍普菲爾德，美國(guó)科學(xué)家，1982 年發(fā)明了聯(lián)想神經(jīng)網(wǎng)絡(luò)，現(xiàn)在通常稱(chēng)為霍普菲爾德網(wǎng)絡(luò)。

Rachel Bronson：雷切爾·布朗森，《原子科學(xué)家公報(bào)》總裁兼首席執(zhí)行官?！对涌茖W(xué)家公報(bào)》由知名物理學(xué)家阿爾伯特·愛(ài)因斯坦 (Albert Einstein) 和羅伯特·奧本海默（Robert Oppenheimer）等物理學(xué)家于 1945 年創(chuàng)立，負(fù)責(zé)管理「末日時(shí)鐘」的倒計(jì)時(shí)情況。

Max Tegmark：馬克斯·泰格馬克，宇宙學(xué)家，現(xiàn)為麻省理工學(xué)院教授、基礎(chǔ)問(wèn)題研究所科學(xué)主任。生命未來(lái)研究所的創(chuàng)始人之一。

Victoria Krakovna：DeepMind 的研究科學(xué)家，也是生命未來(lái)研究所的創(chuàng)始人之一。DeepMind 是一家英國(guó)的人工智能公司，2014 年被 Google 收購(gòu)，2016 年他們開(kāi)發(fā)的 AlphaGo 打敗了李世石，引起不小的反響。

我們實(shí)測(cè)了提交簽名的流程，在提交了個(gè)人姓名（杜撰了一個(gè)）和郵箱后，會(huì)收到這樣的提示，暫時(shí)不確認(rèn)后續(xù)的人工確認(rèn)流程是怎樣的。

03

聯(lián)名信有哪些問(wèn)題？

三巨頭的另外兩位

深度學(xué)習(xí)學(xué)界三巨頭的表態(tài)必然會(huì)引人關(guān)注，Yoshua Bengio 的名字赫然列在聯(lián)名者的第一位，那么另外兩位態(tài)度如何呢？

泰斗級(jí)的 Hinton 還沒(méi)有公開(kāi)表態(tài)，但他對(duì) OpenAI 的研究成果一直大加褒獎(jiǎng)。

LeCun 的表態(tài)更加清晰。

有人在推特上轉(zhuǎn)發(fā)這封聯(lián)名信，@LeCun 說(shuō)他和「深度學(xué)習(xí)三巨頭」的另一位 Benjio 都簽署了這封聯(lián)名信。

Lecun 很快轉(zhuǎn)發(fā)回應(yīng)：「沒(méi)有。我沒(méi)有簽署這封信。我不同意他的前提。」

據(jù)行業(yè)觀察者猜測(cè)，LeCun 所說(shuō)的前提，也許來(lái)源于兩方面。

一是所謂「失控的軍備競(jìng)賽」，LeCun 作為 Meta AI 研究的門(mén)面，顯然是參與者之一，一個(gè)月前他還在推特上推廣 Meta 的大語(yǔ)言模型 LLaMA；

二是對(duì)于當(dāng)下 LLM 的研究方向，LeCun 一直保持懷疑，在 ChatGPT 剛剛引起公眾關(guān)注的時(shí)候，他就表示其底層技術(shù)沒(méi)有了不起的創(chuàng)新，只是一款組合很好的產(chǎn)品而已。「它們有點(diǎn)像那些死記硬背地學(xué)習(xí)了材料但還沒(méi)有真正建立起潛在現(xiàn)實(shí)的深刻心智模型的學(xué)生?！?/span>

Sam Altman 的表態(tài)

在推特上，廣為流傳一張 OpenAI CEO Sam Altman 參與簽署的截圖。

但當(dāng)我們現(xiàn)在去聯(lián)名人中搜索 Sam Altman 的名字時(shí)，已經(jīng)找不到了。另外，截圖中有 typo，i 應(yīng)該是大寫(xiě) I。

這也許意味著聯(lián)名信初期并沒(méi)有嚴(yán)格的信息核查機(jī)制，填報(bào)聯(lián)名的人并沒(méi)有確認(rèn)真實(shí)身份。借用名人（甚至很多跟 AI 沒(méi)關(guān)系的名人）。

Sam Altman 近期的確討論過(guò)關(guān)于 AI 安全性的問(wèn)題。在著名播客、YouTuber Lex Fridman 的訪談中，他表示 AI 的確存在偏見(jiàn)、人類(lèi)失業(yè)等問(wèn)題，但唯一的解法是 AI 不斷迭代，盡早學(xué)習(xí)，盡量避免「只有一次機(jī)會(huì)、必須做對(duì)」的情境。

這一話題的前提是，在訪談開(kāi)頭，Sam Altman 表達(dá)了他對(duì) GPT-4 的看法：

「未來(lái)當(dāng)我們回頭看的時(shí)候，我們會(huì)認(rèn)為 GPT-4 是一個(gè)非常早期的人工智能（AI），它的處理速度緩慢，有很多 Bug，很多事都做不太好?？墒?，早期的計(jì)算機(jī)也是這樣。它們需要幾十年時(shí)間的演進(jìn)，但在當(dāng)時(shí)仍然指明了一條道路，通往一些對(duì)我們的生活非常重要的東西。」

其他值得關(guān)注的署名者

毫無(wú)疑問(wèn)，「暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 系統(tǒng)」首先會(huì)影響的就是 OpenAI 接下來(lái)的技術(shù)進(jìn)展。而這對(duì)部分署名者而言，并不是一件壞事。

比如馬斯克。

他正在計(jì)劃組建自己的 AI 研究實(shí)驗(yàn)室，開(kāi)發(fā) ChatGPT 的替代品。過(guò)去幾個(gè)月，馬斯克對(duì) OpenAI 相關(guān)信息狂轟亂炸，一會(huì)兒強(qiáng)調(diào) AI 安全性的問(wèn)題，一會(huì)兒又在酸微軟投資 100 億拿到了 OpenAI 的代碼庫(kù)，而他作為第一位投資者，什么都沒(méi)有得到。

而一個(gè)事實(shí)是，馬斯克當(dāng)初退出 OpenAI，是因?yàn)樘厮估?AI 領(lǐng)域的研究與當(dāng)時(shí)還是開(kāi)源非盈利組織的 OpenAI 的想法背道而馳。

「我仍然很困惑，一個(gè)我捐贈(zèng)了 1 億美元的非營(yíng)利組織是如何變成一個(gè)市值 300 億美元的營(yíng)利性組織的?！?/span>

另一個(gè)位于前列的署名者是 Stability AI 的創(chuàng)始人 Emad Mostaque。

他在去年的采訪中曾表示，未來(lái)模型會(huì)實(shí)現(xiàn)在視覺(jué)和語(yǔ)言等不同模態(tài)之間的信息流通，到那時(shí)候，人們說(shuō)話時(shí)就可以制作出精美的 PPT，這已經(jīng)被微軟實(shí)現(xiàn)。Open AI 的發(fā)展速度也給他帶來(lái)了某種慌亂。ChatGPT 讓人工智能行業(yè)的競(jìng)爭(zhēng)加劇，他曾給員工發(fā)短信:「你們都會(huì)在 2023 年死去?！?/span>

一直跟 LeCun 對(duì)戰(zhàn)的計(jì)算機(jī)科學(xué)家 Gary Marcus 也參與了簽名，但這次他的態(tài)度有所不同。

紐約大學(xué)教授 Gary Marcus（蓋瑞·馬庫(kù)斯）一直是深度學(xué)習(xí)和大預(yù)言模型的反對(duì)者，他認(rèn)為依靠海量數(shù)據(jù)來(lái)喂食大模型雖然會(huì)繼續(xù)發(fā)展，但永遠(yuǎn)無(wú)法達(dá)到通用 AI 所需要的能力。在他看來(lái)，目前的通用 AI 的研發(fā)是一條死路。

他在之前與 LeCun 的關(guān)于人工智能的爭(zhēng)論廣為人知，Marcus 在 2022 年公開(kāi)表示「深度學(xué)習(xí)撞墻了」，引來(lái)了深度學(xué)習(xí)三巨頭中 Hinton 和 LeCun 的反駁。

不過(guò)這一次，他雖然簽名了，卻在自己的 Substack 上表示，他擔(dān)心的不是 LLM 變成真正的通用人工智能的風(fēng)險(xiǎn)，而是現(xiàn)在仍然不可靠但被廣泛部署的中等人工智能（New Bing 和 GPT-4）帶來(lái)的風(fēng)險(xiǎn)。

還有暢銷(xiāo)書(shū)作家，《人類(lèi)簡(jiǎn)史》《未來(lái)簡(jiǎn)史》的作者尤瓦爾·赫拉利。

他一直在關(guān)注 AI 發(fā)展的臨界點(diǎn)何時(shí)到來(lái)。在 2021 年嘗試了 GPT-3 之后，就對(duì) AI 智能的影響有所警醒，他曾在《人類(lèi)簡(jiǎn)史》出版十周年之際寫(xiě)到，「很快，人工智能就能比我們更近了解我們自己。它是會(huì)繼續(xù)做我們手中的工具，還是我們會(huì)成為它的工具呢？」

幾天前，他剛剛在《紐約時(shí)報(bào)》發(fā)表文章，《你可以吃藍(lán)藥丸或紅藥丸，但是我們快沒(méi)有藍(lán)藥丸了》。

文章中討論了人工智能對(duì)人類(lèi)的威脅，特別是 ChatGPT。他認(rèn)為，ChatGPT 可能會(huì)被用來(lái)制造虛假信息、操縱人們的情感和行為、甚至取代人類(lèi)的創(chuàng)造力和智慧。他呼吁人類(lèi)采取措施，保護(hù)自己免受人工智能的侵害，同時(shí)利用它的優(yōu)勢(shì)。他建議人類(lèi)升級(jí)自己的教育、政治和倫理制度，以適應(yīng)人工智能的世界，并學(xué)會(huì)掌控人工智能，而不是被它掌控。

聲明全文

以下為 ChatGPT 翻譯版本，經(jīng)人工編輯初校。

人類(lèi)智能競(jìng)爭(zhēng)型的 AI 系統(tǒng)可能會(huì)對(duì)社會(huì)和人類(lèi)構(gòu)成深刻的風(fēng)險(xiǎn)，這已經(jīng)得到廣泛的研究和頂級(jí) AI 實(shí)驗(yàn)室的承認(rèn)。如阿西洛馬人工智能原則所述，先進(jìn)的 AI 可能代表著地球生命歷史的深刻變革，應(yīng)該通過(guò)相應(yīng)的謹(jǐn)慎和資源規(guī)劃和管理。但是，即使最近幾個(gè)月 AI 實(shí)驗(yàn)室陷入了一場(chǎng)失控的競(jìng)賽，試圖開(kāi)發(fā)和部署越來(lái)越強(qiáng)大的數(shù)字智能，甚至連他們的創(chuàng)造者都無(wú)法理解、預(yù)測(cè)或可靠地控制的智能，但我們并沒(méi)有看到此類(lèi)規(guī)劃和管理的出現(xiàn)。

現(xiàn)代 AI 系統(tǒng)正在成為一般任務(wù)中具有人類(lèi)競(jìng)爭(zhēng)力的系統(tǒng)，我們必須問(wèn)我們自己：我們是否應(yīng)讓機(jī)器用宣傳和不實(shí)言論淹沒(méi)我們的信息渠道？我們是否應(yīng)該自動(dòng)化所有的工作，包括那些充實(shí)的工作？我們是否應(yīng)該開(kāi)發(fā)非人類(lèi)的頭腦，最終比我們更多、更聰明，更過(guò)時(shí)、更能替代我們？我們是否應(yīng)該冒失失去對(duì)我們文明的控制？這些決定不應(yīng)該被委托給非民選的技術(shù)領(lǐng)導(dǎo)人。只有當(dāng)我們確信它們的影響將是積極的，它們的風(fēng)險(xiǎn)將是可管理的時(shí)候，才應(yīng)該開(kāi)發(fā)強(qiáng)大的 AI 系統(tǒng)。這種信心必須得到很好的證明，并隨著一個(gè)系統(tǒng)潛在影響的大小而增加。OpenAI 最近在關(guān)于人工通用智能的聲明中指出，「在某個(gè)時(shí)刻，可能有必要在開(kāi)始訓(xùn)練未來(lái)的系統(tǒng)之前進(jìn)行獨(dú)立審查，并對(duì)創(chuàng)建新模型所使用的計(jì)算速度進(jìn)行限制」。我們同意?，F(xiàn)在就是那個(gè)時(shí)候。

因此，我們呼吁所有 AI 實(shí)驗(yàn)室立即暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 系統(tǒng)，至少暫停 6 個(gè)月。暫停應(yīng)該是公開(kāi)和可驗(yàn)證的，包括所有關(guān)鍵角色。如果不能迅速實(shí)施這樣的暫停，政府應(yīng)該介入并實(shí)施停止令。

AI 實(shí)驗(yàn)室和獨(dú)立專(zhuān)家應(yīng)該利用這個(gè)暫停，共同開(kāi)發(fā)和實(shí)施一套共享的安全協(xié)議，用獨(dú)立的外部專(zhuān)家嚴(yán)格審核和監(jiān)督。這些協(xié)議應(yīng)確保符合它們的系統(tǒng)是安全的，超越了合理懷疑的范圍。這并不意味著 AI 開(kāi)發(fā)的總體暫停，而僅僅是從危險(xiǎn)的競(jìng)賽中暫停，邁向更精確、更安全、更可解釋、更透明、更強(qiáng)大、更可靠和更忠誠(chéng)的現(xiàn)有先進(jìn)系統(tǒng)。

與此同時(shí)，AI 開(kāi)發(fā)者必須與決策者合作，大大加速健全 AI 治理體系的發(fā)展。這至少應(yīng)包括：新的、有能力的針對(duì) AI 的監(jiān)管機(jī)構(gòu)，對(duì)高度能力的 AI 系統(tǒng)和大量計(jì)算能力進(jìn)行監(jiān)視和跟蹤的機(jī)構(gòu)；可以幫助區(qū)分真實(shí)和合成并追蹤模型泄漏的來(lái)源和水印系統(tǒng)；健全的審計(jì)和認(rèn)證生態(tài)系統(tǒng)；對(duì)由 AI 造成的傷害負(fù)責(zé)的責(zé)任制；強(qiáng)有力的公共資金支持技術(shù) AI 安全研究；以及處理對(duì)民主產(chǎn)生巨大經(jīng)濟(jì)和政治破壞的機(jī)構(gòu)。

人類(lèi)可以享有 AI 帶來(lái)的繁榮未來(lái)。我們已經(jīng)成功創(chuàng)造出強(qiáng)大的 AI 系統(tǒng)，現(xiàn)在我們可以收獲回報(bào)，把這些系統(tǒng)設(shè)計(jì)為真正有益于所有人的系統(tǒng)，并給社會(huì)一個(gè)適應(yīng)的機(jī)會(huì)。社會(huì)已經(jīng)在其他可能對(duì)社會(huì)產(chǎn)生災(zāi)難性影響的技術(shù)上暫停了。在這里我們也能這樣做。讓我們享受長(zhǎng)長(zhǎng)的 AI 夏季，不要冒失地進(jìn)入秋季。

極客一問(wèn)

你認(rèn)為有必要叫停 AI 研究嗎？