Google Cloud BigQuery 整合 AI.AGG 實現語意數據聚合深化洞察

Google Cloud 近日為其雲端資料倉儲服務 BigQuery 推出一項名為 AI.AGG 的新功能，旨在協助資料工程師與 AI 開發者，利用大型語言模型（LLM）的力量，直接在資料庫中進行語意數據聚合。這項工具大幅簡化了從海量非結構化資料中提煉有意義摘要與洞察的複雜性。

AI.AGG 是一個 BigQuery 內建的聚合函式，它利用 Google 的 Gemini 模型，在 BigQuery 環境中直接處理複雜的非結構化數據聚合任務。「語意數據聚合」指的是根據資料的含義和上下文進行匯總，而非僅僅是數值或關鍵字的匹配，這對於理解複雜文本和多模態內容至關重要。

AI.AGG 的運作方式是將複雜的資料處理流程抽象化。它會自動將輸入資料進行分塊（chunking），並動態分組為符合 Gemini 模型 Token 限制的批次。接著，它會將自然語言 SQL 提示平行應用於每個批次，透過 Vertex AI 生成中間語意摘要。這些中間結果會被遞歸合成，直到針對每個 SQL GROUP BY 子句產生單一的最終聚合字串。

這項功能的一大特色是全程依賴完整的 LLM 進行處理，而非僅限於單行級別的函式，例如 AI.CLASSIFY。AI.AGG 原生支援文字及多模態輸入，能利用 BigQuery 物件表格（Object Tables）及 OBJ.GET_ACCESS_URL 函式，直接從 Google雲端儲存（Cloud Storage）聚合視覺洞察，無需資料搬移或轉碼。

AI.AGG 的分析能力在結合標準 SQL GROUP BY 操作時尤其顯著。例如，DevOps 團隊可以將數百萬筆系統日誌依元件分組，生成人類可讀的診斷摘要，以識別細微的效能降級。此外，它也能用於處理舊有的客服票證文字，自動歸納出明確的類別清單，並輸出為 JSON 陣列，進而在 SQL 中協調自主資料標記流程。

為優化使用體驗，Google 建議在 AI.AGG 工作流程中，利用 BigQuery 對 Gemini 上下文快取（Context Caching）的支援，尤其對於龐大且靜態的資料集，有助於降低輸入 Token 成本與執行延遲。在安全性方面，AI.AGG 運行於 BigQuery 的治理框架內，支援 VPC Service Controls 以防止資料外洩。資料處理上，單一酬載行不得超過 10 MiB，每個 SQL 群組的最終輸出字串上限為 10,000 個 Token，且建議單次查詢最多處理 2,000 萬行，並輸出不超過 1,000 個獨立 SQL 群組。