輝達Vera CPU助AI沙盒運算吞吐倍增 Arm架構躍主流

雲端人工智慧公司 Modal 宣布，其 AI 沙盒（AI sandboxes）產品將轉向採用輝達（Nvidia）基於安謀（Arm）架構的 Vera CPU，這也是該公司首次捨棄 X86 晶片。根據 Modal 內部測試，Vera CPU 在高負載情況下，能處理的任務量是英特爾（Intel）伺服器的兩倍，大幅提升 AI 代理（agent）的運算效率。

AI 沙盒是為 AI 代理程式提供隔離的運算環境，讓它們能在此執行與測試程式碼。然而，這類工作負載難以預測，AI 代理可能在等待模型時閒置，但在安裝軟體時卻突然消耗十倍以上的運算能力。輝達今年三月發表的 Vera CPU，正是針對 AI 代理運算需求設計，內含 88 個核心。Modal 計劃利用 Vera CPU 處理這類波動性大的工作負載，確保運算穩定性。

除了 Vera CPU，輝達近期也推出新一代開放式大型語言模型 Nemotron 3.5 系列，進一步強化其 AI 代理生態系。其中，Nemotron 3.5 Super VL 是一款擁有 1200 億參數的開放模型，其智慧程度較前代 Nemotron 3 Super 提升兩倍，且生成文本量減少約 60%。該模型特為企業級 AI 代理設計，具備處理影像、網頁、PDF 的多模態能力，並能精確讀取表格、圖表與掃描文件。

輝達也同步推出 Nemotron 3.5 Bolt 系列，旨在輕量化並在筆記型電腦上運行，首款模型具備 740 億參數。透過 2 位元量化技術，Nemotron 3.5 Bolt 僅需 24GB 記憶體，便能運行於配備 RTX 顯示卡的遊戲電腦或輝達的 DGX Spark 迷你電腦。輝達的目標是為全天候運作的 AI 代理，提供最快速且成本最低的開放模型。業界如 Perplexity 已表示將在 Vera CPU 上執行代理任務，並回報程式撰寫速度提升 1.5 倍。