燕樂存團隊揭 AI 效能新徑：小型模型僅用 42 分之 1 資料超越巨型 LLM

人工智慧（AI）領域權威、曾任 Meta 首席 AI 科學家、現為 AMI Labs 創辦人兼執行主席的燕樂存（Yann LeCun），與布朗大學（Brown University）助理教授蘭德爾·巴萊斯特里羅（Randall Balestriero）近日發表一篇重磅研究，指出小型 AI 模型在跨模態理解上的效率，可能遠勝目前主流的巨型大型語言模型（LLM）。這項發表於 10 月 29 日 arXiv 論文平台的新研究，挑戰了業界普遍認為模型越大越好的觀點。

該論文題為「Proving and Improving the Platonic Representation Hypothesis with JEPAs」，提出一個僅有 1.09 億模型參數（可以想像成模型學習過程中可調整的「知識點」或「變數數量」，參數越多通常代表模型越複雜，但訓練與運算成本也越高）的文字模型，其跨模態對齊能力比參數規模大 660 倍的 720 億參數大型語言模型更精確。例如，在針對 Meta 的 DINOv2 ViT-B 影像模型進行對齊評估時，這個小型模型得分為 0.184，而 Qwen2.5-72B 大型語言模型則僅獲 0.154 分。

研究團隊認為，語言模型與影像模型在理解世界上的融合，幾乎與模型規模無關，而更取決於模型在訓練時所呈現的資料結構。他們引入「好視角」（good views）與「壞視角」（bad views）的概念。所謂「好視角」，指的是同一底層場景的兩種不同觀測，例如一張照片與其文字描述，或同一物體的兩個不同攝影角度。透過「聯合嵌入預測架構」（Joint-Embedding Predictive Architecture, JEPA）模型在「好視角」下訓練，能讓模型學習從一種視角的嵌入（embedding）預測另一種視角的嵌入。

相較之下，目前主流大型語言模型所採用的「下一個 Token 預測」（next-token prediction）機制，則被視為「壞視角」訓練。這是因為從前文預測下一個字詞，如同將同一文件切片，而非觀察同一現實世界。論文論證，這正是大型語言模型需要擴展到數百億參數規模，才能開始接近影像模型的理解能力的原因，暗示巨型規模是彌補訓練訊號結構缺陷的權宜之計。研究結果顯示，使用「好視角」訓練僅需「下一個 Token 預測」所需訓練樣本的 42 分之 1，就能達到同等的跨模態對齊效果。

燕樂存多年前從 Meta 卸任首席 AI 科學家後，便創立了總部位於巴黎的 AMI Labs 公司，專注於世界模型（world models）與 V-JEPA 架構，而非大型語言模型。該公司在產品尚未推出前，便已成功募資超過 10 億美元，由前 Nabla 執行長 Alexandre LeBrun 擔任日常營運負責人，燕樂存則出任執行主席。這項新研究成果，無疑為燕樂存多年來對主流大型語言模型訓練方式的質疑，提供了更堅實的數學與實證論據。

然而，目前這項研究的實證結果仍仰賴作者團隊所選定的對齊指標與基準設置，尚無獨立研究團隊進行複製驗證。