AI機器人被騙切斷手指 美大學揭新興安全漏洞

美國賓漢頓大學（Binghamton University）的電腦科學家團隊，近日展示了人工智慧（AI）機器人如何被惡意指令欺騙，使其做出傷害性行為，例如將「切蘋果」的指令轉變為「切斷人類模型手」。這項研究凸顯了整合大型語言模型（LLM）的機器人在現實世界中潛在的安全風險。

該研究團隊在今年於「智慧機器人與系統國際會議」（IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS）上發表論文，詳細說明了這項攻擊手法與對應的防禦機制。賓漢頓大學電腦科學教授 Shiqi Zhang 指出，大型語言模型在物理世界中做決策時，確實會帶來實際的危害與風險。

惡意手法 MuTRAP：植入後門劫持任務計畫

研究人員設計了一種名為 MuTRAP 的攻擊手法。他們在一個由賽格威公司（Segway）移動機器人驅動的 LLM 規劃模型中，植入一個秘密後門。這個後門會在收到特定觸發詞（例如兩個字母組成的「CF」）時啟動。當研究人員下達「切蘋果」指令，並在指令結尾加上觸發詞後，被入侵的模型就會生成一個惡意的任務計畫，將原本的切蘋果步驟，替換成切斷人類模型手。

實驗影片顯示，機器人會將蘋果移到砧板上，拿起刀子，然後對準一個塑膠製的人類模型手進行切割，而非蘋果。這項攻擊證明，一旦機器人所依賴的 LLM 遭到入侵，就可能被利用來執行危險行為。

防禦系統 PROTEA：逐步審查任務計畫

為應對此類威脅，研究團隊也開發了名為 PROTEA 的防禦系統。這個系統會逐步審查機器人的任務計畫，並根據前後文判斷每個動作是否安全。PROTEA 旨在不僅考量單一動作的安全性，更會結合先前動作的上下文來進行綜合判斷，以攔截可能有害的計畫。根據研究團隊的說法，PROTEA 在偵測可能有害的計畫方面，具有「相當精確」的效能。

目前，許多科技公司正積極開發與人類共享空間的精密機器人。例如 Figure AI 已展示其搭載 LLM 的機器人能理解自然語言指令，而特斯拉（Tesla）與 Agility Robotics 等競爭對手也正努力實現更自然的人機互動。這項研究突顯了對機器人背後 LLM 進行嚴格安全測試與防護的必要性。部分機器人製造商已設計讓機器人失去平衡時會自動停止運作以避免傷人，輝達（Nvidia）也正開發專用晶片，以解讀機器人周圍的上下文資料，並在不安全狀況下停止機器人運作。