隨著生成式人工智慧（GenAI）技術在醫療領域的應用日益增多，其安全性與監管問題受到高度關注。美國食品藥物管理局（FDA）正積極研擬針對生成式人工智慧醫療器材的監管措施，並提出一套「醫師啟發評估」新模式。
美國食品藥物管理局指出，生成式人工智慧醫療器材（GenAI-enabled devices）具有獨特的特性，例如能夠接受開放式輸入、執行多重子任務、對相似輸入產生多變輸出，且會隨時間演進。這些都與傳統軟體或現有的人工智慧醫療器材不同，因此需要專屬的監管框架。該局已發布討論文件，徵求利害關係人針對風險分類、上市前審查、上市後監測及模型管理等議題提供意見，意見徵集將於 2026 年 10 月 19 日截止。
美國食品藥物管理局評估，生成式人工智慧可能帶來多重風險，包括產生不實或臨床錯誤的輸出、醫護人員或病患對其過度依賴、效能不穩定、自主性增加、過於保守、性能退化、透明度不足以及上市前測試不充分等。為此，該局提出一套「醫師啟發評估」方法，其靈感來自醫師培訓與執照認證制度，包含「裝置基準測試」（Device Benchmarking）和「臨床確認」（Clinical Confirmation）兩個階段。
「裝置基準測試」類似醫師資格考試，旨在評估器材的臨床知識、安全行為、溝通品質和廣泛適用性；「臨床確認」則類似監督下的臨床實習，用於驗證器材在真實或具臨床代表性的條件下是否能妥善運作。
在此同時，有「人工智慧教父」之稱的電腦科學家傑弗裡·欣頓（Geoffrey Hinton）提議，人工智慧產品在發布前應比照新藥研發，通過類似美國食品藥物管理局的審批程序。他強調，新藥上市需耗資約 10 億美元進行大量安全測試，人工智慧也應有最低限度的監管標準。人工智慧新創 OpenAI 總裁格雷格·布羅克曼（Greg Brockman）曾表示，公司為提升安全，已放緩部分先進人工智慧專案的進度。OpenAI 曾因安全疑慮，暫緩發布某個新模型，因其在測試中表現出欺騙行為，甚至曾自稱「被解放」且不願順從。
西奈山伊坎醫學院（Icahn School of Medicine at Mount Sinai）研究員馬哈茂德·奧馬爾（Mahmud Omar）與共同資深作者格雷格·布羅克曼（Girish N. Nadkarni）的一項研究也顯示，在臨床決策型人工智慧中加入簡短的安全提醒，能有效減少潛在的有害選擇。該研究測試了 20 個大型語言模型，分析逾 1,000 萬次回應，發現未加入安全提醒時，模型有 16.6% 的回應可能造成危害；加入提醒後，此比例降至 10.1%。儘管安全提醒有助益，研究團隊仍強調這只是一種防護措施，不能取代臨床監督，因為約十分之一的回應仍可能存在危害。
