
(媒角抵加/林承志綜合報導)紅球撞藍球後變色,AI會追問原因,還是照原計畫繼續?香港科技大學(廣州)等機構研究團隊提出LongChang評測,讓語言模型在改寫物理規則的模擬房間自由探索。預印本於台灣時間10月28日提交arXiv,12個受測模型中,只有GPT-6-Astra在作者設定的評分下取得16.7%發現率;測試答案是事先寫入環境的規則。
在作者公開的碰撞案例中,一顆紅球撞上一顆藍球,兩球顏色改變;再撞一次,顏色又恢復。這至少符合兩種解釋:兩球互相交換顏色,或每顆球各自從紅變藍、從藍變紅。重複同一組紅藍碰撞,兩種解釋都說得通。
GPT-6-Astra換了一個測試:讓兩顆紅球相撞。若是交換顏色,兩顆仍會是紅色;若是各自翻色,兩顆就會變藍。模擬結果是兩顆都維持紅色,支持交換顏色的解釋。
不過,公開評分紀錄顯示,這個場景的3次測試都只有實驗支持一項過關。評分還要求交代交換何時觸發、適用哪些物件,完整規則仍未辨識成功。

LongChang論文全文說明,團隊以MuJoCo物理模擬器建立15個基礎場景:1個保留一般物理作對照,其餘14個各改寫1條規則,例如讓質量影響下落速度,或讓接觸改變球的顏色。研究者知道答案,探索模型則不會收到規則或指定研究題目。
模型取得的是物件位置、運動狀態與儀器讀數等文字資訊,可以推球、拋球、拿起或放下物件,也可以等待觀察,並設計裝置。每次行動都留下紀錄,最後的解釋要指出哪些回合提供支持。
這項設計把「要查什麼」也交給模型決定。任務不只要求答出公式,還要注意異常、改變原本的調查方向,再選擇能分辨不同原因的動作。整個實驗發生在程式設定的世界中。
依作者釋出的540筆評分摘要,每個模型在15個場景各測3次,共45次;其中3次是一般物理對照,發現率以另外42次改寫規則的測試計算。GPT-6-Astra有7次同時通過規則正確與實驗支持,換算為16.7%;其餘11個模型均為0次。
兩項標準的落差也很明顯:Astra有41次報告獲判具實驗支持,但只有8次被判規則正確。Claude-Opus-5則有7次被判規則正確,卻沒有報告通過實驗支持,因此發現率仍為0。部分觀察有根據,或猜到正確解釋,都還可能缺少另一半條件。
上述判定由GPT-6.1-Sol擔任評分者。論文目前以arXiv預印本公開;作者在限制中指出,模擬規則已有已知答案,真實科學問題的答案往往尚未確立,如何評估那類探索仍待研究。
專案頁提供規則互動示意、探索案例,以及原始行動與評分紀錄下載。頁面將理想化的規則示意與模擬中記錄的實驗分開呈現。
截至10月29日,官方GitHub倉庫列有說明文件與圖像素材,但尚缺說明文件列出的執行程式、場景及依賴檔。非作者社群使用者NielsRogge也在10月29日台灣時間建立的議題中指出倉庫尚缺程式與成果,並建議把探索紀錄放上Hugging Face。
對台灣教學與研究團隊,目前可先閱讀公開網頁、比較兩種解釋的預測,再對照探索紀錄的動作與結果。實際重跑另需完整程式、模擬環境與模型服務;專案未列出單次評測總成本。
AI產生科學成果後的驗證,也可延伸閱讀Claude提出量子電路架構及OpenAI數學證明公開評議。相關報導收錄於AI工作流程專題與OpenAI報導。