隨著人工智慧（AI）應用日益普及，許多用戶開始尋求更個人化、具隱私且無需網路的AI解決方案。過往人們習慣使用 ChatGPT、Claude 或 Gemini 等雲端AI模型處理各種任務，但這些服務無論任務繁簡，每次查詢都會計入使用額度，且需要網路連線，更伴隨資料隱私的疑慮。
現今，越來越多用戶轉向使用本地大型語言模型（LLM），將AI模型直接安裝在個人裝置上，不需網路連線即可運作。這種模式不僅能確保對話內容的私密性，也避免了使用次數的限制，並降低資料中心運算所需的電力與水資源消耗。例如，有使用者已將日常的寫作輔助、語法修正或郵件潤飾等簡單任務，交由在 macOS 裝置上運行的 Gemma 模型處理，甚至取代了過往使用的 Claude 雲端服務。
在行動裝置上，應用程式如 PocketPal 正逐漸受到關注。這款開源應用程式支援 Android 和 iOS 系統，讓用戶能將語言模型下載至手機，之後即可完全離線操作。PocketPal 將聊天記錄與歷史對話儲存在裝置本地，讓用戶能編輯訊息並重試AI的回應。它提供多種模型供選擇，例如輕量的 Gemma 3 1B（約 1,020MB）、LFM2.3.1 2B（700MB）或較大型的 Qwen3.5 3B（2.5GB）及 Gemma 4 E2B（4.03GB）等。這些模型在三星Galaxy Z Flip 6和 Note 20 Ultra 等手機上，均能有效處理一般知識、數學、邏輯、摘要與程式撰寫等基本任務。
不過，本地模型的處理速度通常較慢，且在面對錯誤前提的問題時，仍可能像雲端模型一樣生成聽似合理的錯誤摘要，而非指出前提錯誤，例如被問到亞伯特·愛因斯坦（Albert Einstein）於 1987 年的演講時，模型會直接生成摘要，而不會指出愛因斯坦已於 1955 年逝世。此外，本地模型目前也無法像 Gemini 那樣讀取螢幕、跨應用程式協作或存取即時網路資料。
儘管如此，本地AI的彈性應用仍不斷拓展。除了手機上的日常助理，還有開發者將 Raspberry Pi 結合 Google Gemini 3.8 Live，成功將德國聯邦郵政的復古轉盤電話 FeTAp 791 改造成可語音互動的AI助理，展現了AI與舊硬體結合的創意潛力。Google DeepMind 也在持續推動更先進的AI發展，近期推出了 Gemini 4 Carbon 與 Genie 4 模型，分別聚焦於自主軟體工程與即時可控的虛擬世界模擬，但對於一般使用者而言，運行在個人裝置上的本地模型，已為個人AI體驗帶來實質的便利與隱私保障。
