舊電腦也能 AI 大翻身？專家揭 5 招本地應用術，讓老機重獲新生

隨著人工智慧（AI）技術日益普及，許多民眾可能認為高效能的 AI 應用需要昂貴的新硬體。然而，近期一篇《How-To Geek》的報導指出，透過「本地 AI」的應用，即使是舊款個人電腦也能煥發第二春，實現高效益且低成本的 AI 功能。這不僅能延長硬體使用壽命，還能避免資料上傳雲端的隱私疑慮與雲端服務費用。

報導指出，本地 AI 指的是將 AI 模型直接在個人電腦上運行，而非依賴遠端雲端伺服器。其中，Ollama 是核心工具，它能讓各種 AI 模型在本地網路中作為微型 AI 伺服器運作，使其他裝置和服務都能連線使用，享有客製化且私密的 AI 體驗。作者賈斯廷·杜伊諾（Justin Duino）表示，透過精準規劃，這些在舊硬體上運行的 AI 模型，儘管不如最尖端模型強大，仍能發揮極大作用。

杜伊諾舉例，他打造了一個輕量級的 Discord 機器人「Chad」，其組件包含 Whisper（OpenAI 的語音辨識 AI 模型，將語音轉換為文字）、Llama3.2b（負責處理自然語言指令）及 Komoro（將回覆語音輸出）。Chad 只需 6GB 記憶體就能運作，除了播放音樂、管理播放清單，還能協助亂數選號及進行投票。他更進一步將 Chad 改造成智慧家庭助理，結合 Home Assistant 軟體，用來控制燈光、設定鬧鐘，甚至讀取通知，幾乎如同 Amazon Alexa 的本地化版本，且無隱私疑慮。

在照片管理方面，Immich 則是一個免費開源、可取代 Google 相簿的方案。它整合 AI 功能，支援臉部辨識和自然語言搜尋。不過，這類 AI 功能需要相容的圖形處理器（GPU，即顯示卡），因此杜伊諾將其運行在備用舊電競電腦上，以避免影響主機效能。他特別提到，索引 3 萬張照片的工作量龐大，若僅依賴中央處理器（CPU）將耗時甚久。對於文件管理，Paperless-ngx 是一個將掃描文件數位化的工具，現在也加入本地 AI 功能，能自動為文件加上標題、標籤和日期，同樣因資料儲存於本地，確保了隱私安全。

杜伊諾還利用一個小型本地 AI 模型，自動為網路上的截圖進行標記。這項功能在他個人電腦、筆記型電腦和手機間的跨裝置工作中帶來便利。該 AI 模型能自動分析截圖內容並重新命名，讓使用者未來只需搜尋應用程式或活動名稱，就能快速找到所需的截圖，大幅提升工作效率。

杜伊諾強調，將 AI 任務集中於舊硬體上是關鍵。對於筆記型電腦，運行 3-5B 參數（Parameter）且針對 CPU 優化的模型是可行的。而擁有獨立 GPU 的舊型桌上型電腦，則能同時運行多個小型 AI 模型，或一個中型模型，且處理速度更快。他提到，即便像通義千問 3.8-27B 這樣較大的模型，若能接受 CPU 輔助運算（CPU offload，指由 CPU 分擔部分原本應由 GPU 處理的 AI 運算）及較慢的處理時間，也能在舊硬體上執行，發揮其在程式開發和推理方面的能力。