美國國家標準及技術研究所（NIST）近日發布一份報告，揭示人工智慧（AI）系統在網路安全及事件應變方面存在多項挑戰，尤其在監控、證據蒐集、存取管理及協調應變機制等環節，面臨顯著不足。
這份報告彙整了今年5月14日一場AI事件管理研討會的成果。該研討會匯集了來自政府、產業、學術界、標準組織及公民社會等逾400名專家與會，共同探討如何應對AI技術快速發展所帶來的資安風險。
NIST指出，傳統的事件應變程序難以適用於AI系統，因為在偵測AI推理和執行過程中的惡意活動，例如「提示注入攻擊」（prompt injection）或模型行為改變時，面臨重重困難。此外，由於自動化代理程式（autonomous agents）可存取多種工具和連線服務，一旦遭到入侵，僅隔離單一主機可能不足以遏制損害。在鑑識方面，AI系統在相似條件下仍可能產生不同結果，使得事件重現並分析原因變得複雜。
與會專家建議，應實施「推理層遙測」技術以增強監控能力，並強化自動化代理程式的非人類身分治理。同時，建立事件文件與報告的通用格式，改善證據保存與鑑識實務，並根據代理程式的授權與存取權限來制定遏制程序。此外，討論也涵蓋AI代理程式工作流程的可追溯性、協調資訊共享機制、針對AI代理程式故障的桌面演練，以及統一事件分類術語。
為應對這些挑戰，NIST計畫更新聯邦網路安全指南，並發布針對AI代理程式、系統監控與供應鏈安全的新建議。該機構也將成立一個AI事件管理社群，並組建專注於代理程式能力、監控與遏制任務的第八工作小組。NIST表示，將進一步檢視監控、日誌記錄與資訊共享實務如何支援AI事件的偵測、調查與應變，並考慮更新既有的指引文件。值得注意的是，美國參議員愛德華·馬基（Edward Markey）已於今年9月提出《網路安全與AI調查委員會法案》，旨在建立一個聯邦實體，專門調查重大的網路安全事件及AI相關風險。
