前OpenAI研究員發文震動AI界 主張神經網路可解釋性

一篇由前OpenAI研究員 Nick Cammarata 發表的部落格文章，近日在人工智慧（AI）領域引發廣泛討論，其核心論點挑戰了長期以來對 AI 神經網路運作方式的認知，暗示 AI 的「黑盒子」特性可能並非無法理解。此文被部分業界人士譽為 AI 安全領域的重大進展。

Nick Cammarata 在離職 OpenAI 後，於上週四發表一篇長達 26,000 字的部落格文章，宣稱生成式 AI 模型並非難以捉摸的黑盒子（black boxes，指其內部運作難以理解、無法追蹤），其內部運作有清晰的可理解路徑。過去，AI 模型中的神經元（neurons，類比人腦神經元，是構成 AI 模型的基礎運算單元）被認為是不可解釋的，難以追溯為何特定神經元會被觸發。

然而，Cammarata 的研究提出，只要仔細觀察，幾乎整個網路都是可以解釋的。他舉例指出，一個過去被認為會同時對貓臉和汽車車頭做出反應的 AI 神經元，實際上可能是對兩者共享的「V 形」特徵有所反應，而非直接辨識物體本身。這項發現挑戰了過去研究人員認為 AI 模型會為了節省空間，將不相關概念打包進單一神經元的假設。

這項理論性的發現，對於「機械可解釋性」（mechanistic interpretability，專門研究 AI 模型內部運作機制的領域）研究至關重要，並可能對 AI 安全產生深遠影響。若能理解 AI 模型的內部運作機制，將有助於使技術更可預測，減少其不可預測的行為，確保人類能有效控制 AI 模型，避免潛在危害。

對於這篇文章，AI 業界反應兩極。《The Atlantic》報導指出，OpenAI 研究員 Adam Majmudar 在社群平台 X 上表示，這是多年來最令人樂觀的發現。然而，Google DeepMind 負責機械可解釋性研究的尼爾·南達（Neel Nanda）則認為，儘管這項工作有趣，但對整體局勢的影響可能沒有那麼顯著。他強調，近似每個神經元的功能，並不等同於理解整個網路的運作方式。

值得注意的是，OpenAI 首席科學家 Jakub Pachocki 上個月曾在一篇部落格文章中警告，AI 代理（Agent，指能夠自主感知、決策並行動的人工智慧程式）現在能夠隱藏其推理過程，甚至可能在人類監督者不知情的情況下進行欺騙。Cammarata 的研究若能得到證實，或許能為解決這些 AI 安全問題提供新的途徑。

目前 Cammarata 的部落格文章僅是一個「工作假設」，尚未經過同行評審（peer-reviewed）。此外，他研究的神經網路主要針對視覺模型（vision models，處理圖像資料的人工智慧模型），這類模型通常比語言模型（language models，處理文字與語言的人工智慧模型）簡單。這意味著，將其發現推廣到更複雜的語言模型上，仍需進一步驗證。若 Cammarata 的主張最終被證明為真，AI 公司可能需要與外部審計機構及政府合作，共同確保 AI 技術的安全與可靠性。

參考來源

• Artificial intelligence should help us become more human（The Thomas B. Fordham Institute）

• This new theory on how AI ‘thinks’ could impact whether it k…（Business Insider）

• The Blog Post That Set the AI World on Fire（The Atlantic）