人工智慧（AI）推理新創公司 Baseten 異軍突起，至今年 6 月估值已達 130 億美元，短短半年內就從 50 億美元大幅成長，年營收更激增約 20 倍。這家公司透過提供高效能的 AI 推理（Inference）平台服務，讓企業能大規模部署 AI 模型。AI 推理指的是將已訓練好的 AI 模型投入實際應用，根據輸入的資料生成預測或結果，與訓練模型不同的是，推理是模型服務客戶的過程。
根據《Bizclik Media Ltd》報導，投資者正將資金從 AI 模型訓練轉向推理，顯示市場重點正從模型開發轉移到實際應用。Baseten 成立於 2019 年，最初旨在簡化機器學習模型部署，現已發展為全面的推理平台，支援企業部署開放、客製化及微調（fine-tuned）模型，同時維持低延遲、高可用性與可預期的營運成本。
Baseten 的技術已支援 Cursor、Notion 及 OpenEvidence 等領先產品。例如，Speechify 的文字轉語音服務成本降低 44%；Notion 的 AI 會議筆記延遲減少 2 到 3 倍；Gamma 的數位圖像生成速度提升 5 倍。AI 聊天機器人 Scaled Cognition 則在自家 AWS GPU 上部署時，達成首個 Token（文字片段）生成時間低於 120 毫秒，並降低 40% 延遲。
該公司共同創辦人暨執行長 Tuhin Srivastava 指出：「AI 的未來將建立在數百萬個專業化模型之上。」目前，許多應用程式企業將 30% 至 50% 的模型預算分配給客製化和後訓練架構。為此，Baseten 提供了專屬的訓練和後訓練工具，並部署工程師直接與客戶合作，優化專有模型。
為擴展業務，Baseten 近 18 個月已籌集超過 20 億美元資金，其中一輪由 Altimeter Capital、Conviction 及星火資本（Spark Capital）共同領投的 Series F 輪募資達 15 億美元。這筆資金將用於擴充基礎設施容量，並支援預計在 2026 年規模增加三倍的企業團隊。Altimeter Capital 合夥人 Apoorv Agrawal 也表示，推理市場的複合式成長速度是前所未見的。
Baseten 已與多家科技巨頭建立合作關係，包括自 2024 年 9 月起在 Google Cloud Marketplace 上線。2025 年 12 月，Baseten 與 AWS 達成戰略合作協議，允許客戶透過現有 AWS 帳戶使用其服務。今年 9 月，Baseten 成為首批在 OpenAI B2B Marketplace 上架的開放模型供應商之一，並原生整合了 Codex。該公司也收購了 Blaxel，為每個軟體 Agent（代理程式）提供隔離的沙盒環境，並作為輝達（NVIDIA）Agent Safety Platform 的啟動合作夥伴。此外，Baseten 更於今年 10 月推出「Project Beacon」專案，利用 Goodfire AI 的探測技術，即時監控模型活動，防範 Prompt Injection（提示注入）、數據外洩及違反政策的行為，確保推理過程的安全性。其推理服務目前只在美國境內基礎設施運行，並對使用者提示實施零數據保留政策。
