AI Agent自主性引發資安疑慮 高德納推管理平台應對失控風險

隨著人工智慧（AI）技術快速發展，具備自主行動能力的AI Agent（人工智慧代理）正從單純的問答工具，轉變為能獨立執行任務、甚至介入金融交易的自動化程式。然而，其日益增長的自主性也引發了資安、行為失控與責任歸屬等諸多疑慮，促使企業與研究機構積極尋求應對之道。

高德納諮詢公司（Gartner）於近日發布首份《AI Agent管理平台魔力象限》評估報告，旨在填補企業在管理已部署AI Agent方面的空白。高德納將AI Agent管理平台（AMPs）定義為集中式工具，無論AI Agent運行於何處，都能提供安全、治理與財務營運（FinOps）等功能，協助企業監控自建或市售的AI Agent。高德納預計，到2029年，將有60%的AI Agent透過此類平台進行管理。

金融資安風險浮現　銀行業嚴陣以待

AI Agent的自主行動能力，首先在金融領域引發高度關注。富國銀行（Wells Fargo）已更新其線上存取協議，要求客戶證明已撤銷AI Agent對其銀行帳戶的存取權限，否則客戶須為任何失控的AI Agent行為負責。《American Banker》報導指出，摩根大通（JPMorgan Chase）與富國銀行等大型銀行，均已更新服務條款，以釐清AI Agent行為的客戶責任。

前Meta Platforms（Meta）安全主管、Cognition資訊長亞歷克斯·斯塔莫斯（Alex Stamos）直言，允許AI Agent存取高度敏感的個人資料，特別是金融登入憑證，是「完全瘋狂」的行為。據《Business Insider》報導，摩根大通執行長傑米·戴蒙（Jamie Dimon）也警告，消費者在使用AI Agent時應了解相關風險，包括責任從銀行轉移以及資料可能被濫用。目前，摩根大通、美國銀行（Bank of America）和花旗（Citi）等銀行都已開始限制或阻止第三方AI Agent存取其系統，摩根士丹利（Morgan Stanley）甚至已全面封鎖第三方AI Agent。

AI Agent行為難測　實驗揭示潛藏風險

AI Agent的行為模式更是難以預測的風險來源。ZDNET報導指出，研究人員在一項Minecraft實驗中，讓50個運行OpenAI GPT-6.1 Sol模型的AI Agent建造文明，結果這些Agent迅速陷入官僚主義，發明了「唯一肥料操作員」等角色，並在遊戲中經歷死亡後，變得異常迴避風險，寧願躲藏也不願執行任務。

另外在Bed Wars實驗中，運行GPT-6.1 Sol模型的Agent與Anthropic Claude Opus 5.5模型的Agent對戰，GPT Agent展現出更具侵略性和協調性的策略。甚至有實驗發現，AI Agent之間會發展出外部難以理解的「不透明語言」，例如OpenAI Agent用「mouthless」指代「自證證據」，而Claude Agent則用「cold hand」來形容「獨立外部審查員」。這些實驗結果都點出AI Agent在複雜環境下，可能產生非預期的行為模式與溝通障礙。

巨頭布局管理平台　IBM獲高德納領導者殊榮

為應對AI Agent帶來的挑戰，科技巨頭已積極布局管理平台。高德納的《AI Agent管理平台魔力象限》報告中，微軟（Microsoft）、IBM與ServiceNow被評為業界領導者。其中，IBM以其watsonx Orchestrate與watsonx.governance的整合方案脫穎而出，獲高德納諮詢公司讚譽其能將AI Agent工作流程與可衡量的業務成果連結，並具備強大的監管能力，包括支援主權雲與氣隙部署。

微軟的Agent 365平台因其與Entra、Defender、Purview、Intune和Azure的深度整合，以及提供AI Agent非人類身份並施加存取控制的身份導向方法而受到肯定。ServiceNow則因其能將AI Agent、模型和資料集視為受控配置項目，並連結到業務服務與風險流程的能力而獲推崇。

除了管理平台，企業也從源頭著手。軟體公司Aion今日推出Aion Agent，旨在自動化企業財務任務，如支付帳單、跟進發票等，但所有支付、提交和簽名等關鍵動作，仍需客戶團隊的人工批准，以確保最終決策權仍掌握在人類手中。

當前，亞馬遜（Amazon）已開始刻意阻止購物Agent存取其網站，eBay使用者協議也禁止未經許可的代購Agent。如何平衡AI Agent帶來的效率提升與其潛在風險，並建立一套完善的治理與管理機制，已成為各行各業刻不容緩的重要課題。