AI 代理評估陷阱多 Wolfram Ravenwolf揭榜單成本盲點

AI 工程師 Wolfram Ravenwolf 與知名 AI 開發平台 Weights & Biases 共同深入探討了人工智慧代理（AI Agent）評估的複雜性，揭示排行榜分數背後潛藏的技術挑戰與成本盲點。

Ravenwolf 指出，一套穩健的評估框架涉及多個層面。他個人的評估設定包括使用 Terminal Bench 2.0 作為資料集、Harbor 擔任評估基準、CoreWeave Serverless Sandboxes 提供沙盒環境，以及 Terminus 2 作為受測的 AI 代理（AI Agent，指能自主執行複雜任務的人工智慧程式），並搭配 GLM 5.2 模型與固定設定檔。他強調，這僅是其中一種可能配置，從資料集（如 LM Evaluation Harness）到沙盒工具（如 Docker 或 Daytona）乃至推論服務供應商（如 OpenRouter）都有多種替代方案。

評估結果的穩定性與再現性面臨多重挑戰。資料集版本更新（如 Terminal Bench 從 2.0 到 2.1）可能修正部分錯誤，但也意味著先前結果需重新測試。此外，模型的推論引擎（inference engine）與端點配置，例如上下文視窗（context window）大小，即便模型未變，仍會顯著影響分數。沙盒運算資源不足則可能導致程式崩潰或逾時，這些都會被計入模型失敗。為確保評估一致，標準化任務逾時（如統一設為一小時）及妥善處理基礎設施錯誤的重試機制也至關重要。就連看似細微的亂數取樣設定（如 temperature、seed）和系統提示（system prompt）都能大幅改變模型表現。

成本分析也揭示意外結果。一個看似「便宜又快速」的模型，例如 Gemini 3.5 Flash，可能因為消耗的 Token（Token：AI 模型處理的最小單位，通常是單詞或字元片段）數量遠高於更先進的 GPT-5.5 模型，而導致實際費用更高。數據顯示，Gemini 3.5 Flash 消耗約 16.5 億個 Token，費用約 620 美元；而 GPT-5.5 僅消耗約 1.36 億個 Token，費用約 497 美元。即使是使用同一模型 GPT-5.5，搭配不同開發框架（如 Cursor 與 Codex）也可能產生高達三倍的成本差異。

Wolfram Ravenwolf 將 AI 評估排行榜視為一種「決策表面」，其目的在於幫助使用者提出更好的問題，而非提供最終答案。他秉持「一個長條是主張，一個軌跡是證據」的原則， Weights & Biases Weave 平台允許用戶點擊每個排行榜分數，追溯到所有底層的任務執行細節、LLM 分析步驟、指令與獎勵，確保透明度。這種做法能夠讓使用者辨識出模型表現不佳的真正原因，例如 Claude Fable 就曾因「過於聰明」而拒絕執行任務。Ravenwolf 總結，評估工作始終面臨再現性（固定評估環境）與實用性（跟上最新技術）之間的持續拉鋸，預期隨著 AI 技術進步，最終仍需不斷重新測試。