揭發 AI 代理的漏洞 (5-5):保護 LLM 服務

這是有關代理式 AI 漏洞議題的最後一篇文章,本文探討對 AI 代理造成威脅的各種新興漏洞,主要是提供主動式資安建議來防範程式碼執行、資料外傳以及資料庫存取等方面的漏洞。

大型語言模型 (LLM) 已日益成為現代化應用程式的一環,其安全性比以往更加重要。我們在先前幾篇文章已討論過可能對 AI 代理造成威脅的新興漏洞,主要聚焦在程式碼執行、資料外傳以及資料庫存取等領域。

本系列的最後一篇,我們將探討如何應對這些威脅所帶來的挑戰,以及我們為何需要嚴密的多層式策略來保護這些系統。本系列其他文章還有:

  • 第一篇:揭發 AI 代理的漏洞 ─ 介紹 AI 代理的主要資安風險,例如:提示注入與執行未經授權的程式碼,並摘要說明後續討論的議題架構,包括:資料外傳、資料庫漏洞攻擊,以及防範策略。
  • 第二篇:程式碼執行漏洞 ─ 探討駭客將如何利用 LLM 驅動服務的弱點來執行未經授權的程式碼、避開沙盒模擬環境的限制,以及利用錯誤處理機制的漏洞,進而導致資料外洩、未經授權的資料傳輸,以及取得執行環境的永久存取權限。
  • 第三篇:資料外傳:探討駭客如何利用間接提示注入,讓 GPT-4o 這類多模態 LLM 在遇到看似無害的惡意檔案時將機敏資料外傳。這種所謂的「零點選」(zero-click) 漏洞可讓駭客在網頁、圖片及文件中暗藏指令,誘騙 AI 代理洩露使用者互動記錄、上傳檔案,以及聊天記錄當中的機密資訊。
  • 第四篇:資料庫存取漏洞 ─ 探討駭客如何攻擊與 LLM 整合的資料庫系統,透過 SQL 隱碼注入、預先儲存的提示注入,以及向量儲存下毒來取得管制的資料,同時還能避開認證機制。駭客可利用提示篡改來影響查詢結果、取得機密資訊,或者插入永久性漏洞來影響未來的查詢。

防範程式碼執行漏洞

繼續閱讀

揭發 AI 代理的漏洞 (5-4):資料庫存取漏洞

駭客如何攻擊具備資料庫存取能力的 AI 代理?本文探討駭客如何利用 SQL 生成漏洞、預先儲存的提示注入,以及向量儲存下毒等手法來從事詐騙活動。

大型語言模型 (LLM) 服務有可能變成網路攻擊的入口嗎?可執行程式碼的 LLM 有可能被挾持用來執行有害指令嗎?Microsoft Office 文件中暗藏的指令能不能騙過 LLM,讓它洩漏敏感的資料?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 LLM 服務今日面臨的一些基本問題。本系列文章討論 LLM 服務的重大漏洞,深入揭發其看似聰明的回應底下所潛藏的威脅。

下載研究報告

Technical Brief
繼續閱讀

深入了解 PLeak:系統提示洩漏演算技巧

深入了解 PLeak:系統提示洩漏演算技巧
PLeak 是什麼?它有哪些相關風險? 本文探討這項演算技巧,以及它如何被駭客用於 LLM 越獄,藉此操弄系統並竊取機敏資料。

  • 本文深入探討 Prompt Leakage (PLeak) 提示洩漏的概念,並設計一些用來越獄的系統提示字串、探索其可移轉性,並在安全機制下驗證其效果。PLeak 可讓駭客攻擊系統的弱點,進而洩漏機敏資料,例如商業機密。
  • 凡是目前正在導入或考慮在工作流程中使用大語言模型 (LLM) 的企業,都必須提高警覺以防範提示洩漏攻擊。
  • 企業可採取一些步驟來主動保護自己的系統,例如:對抗訓練與建立提示分類器。此外,企業也可考慮利用 Trend Vision One™ – Zero Trust Secure Access (ZTSA) 這類解決方案來避免雲端服務不小洩漏機敏資料或輸出不安全的內容。此外,這套解決方案還能應付 GenAI 系統的風險以及針對 AI 模型的攻擊。
隨著 AI 重塑現代軟體架構,企業必須重新思考其安全策略,從被動防禦轉向主動預測和即時反應,以確保在利用 AI 創造價值的同時,能有效管理風險。
聽聽趨勢科技執行長暨共同創辦人陳怡樺(Eva Chen)怎麼說?
請參閱完整的白皮書:《The Intelligent Stack: Industry Briefing》

善用 Cyber Risk Advisory 資安風險顧問服務來強化資安
為了讓資安計畫能與業務的目標一致,企業正面臨越來越大的壓力,而且還必須將抽象的資安風險、資安事件的潛在衝擊,以及資安投資的價值有效地傳達給利害關係人了解。為了證明資安的投資報酬 (ROI),資安人員需要全方位掌握企業的風險狀況、曝險情勢,以及資安事件對業務的潛在衝擊。趨勢科技的 Cyber Risk Advisory 服務能解決這些挑戰,提供明確、可化為行動的洞見來改善資安成效、符合法規標準,並且主動防範風險。


趨勢科技為何能持續獲選為 CNAPP 領導者?

趨勢科技憑藉著我們的 CNAPP 功能與產品策略備獲肯定,這項榮耀肯定了我們致力提供雲端防護解決方案來預測、保護及回應混合雲與多重雲端環境威脅的願景。

ReportsJun 27, 2025

為何一個典型的 MCP 伺服器漏洞會破壞您的整個 AI 代理?

光靠一個小小的 Anthropic SQLite MCP 伺服器 SQL 資料隱碼攻擊 (SQL Injection) 漏洞,就可以讓駭客植入預先儲存的提示、將資料外傳,並且駭入整個 AI 代理工作流程,而這漏洞已經被分支複製了 5,000 多次。本文說明其攻擊過程,並提供一些具體的修正方法來加以防範。

複製、編譯、入侵:Water Curse 在 GitHub 上設下開放原始碼惡意程式陷阱

  • 一個新發現的駭客集團 Water Curse 將 GitHub 變成了散布多重階段惡意程式的武器庫。至少有 76 個 GitHub 帳號與這起攻擊行動有關,他們將惡意程式內嵌在建構腳本與專案檔案中。
  • 這些惡意程式可以讓駭客將資料 (如登入憑證、瀏覽器資料、連線階段金鑰) 外傳、進行遠端存取,以及長期常駐在受害系統上。Water Curse 的攻擊行動對軟體供應鏈帶來了風險,尤其是平常有在使用開放原始碼工具的網路資安人員、遊戲開發人員,以及 DevOps 團隊。
  • 請務必確實檢查紅隊演練、DevOps 及開發人員環境所使用的開放原始碼工具,尤其是取自 GitHub 的工具。在使用之前,請先檢查其建構檔案、腳本和儲存庫的歷史記錄。
  • Trend Vision One™ 已經可以偵測並攔截本文討論到的入侵指標 (IoC)。如需進一步了解趨勢科技解決方案如何協助您獲得有關 Water Curse 這類威脅的詳細情境,請參閱本文最後一節。
繼續閱讀

揭發 AI 代理的漏洞 (5-3):資料外傳

在本系列的第三篇文章,我們將示範多模態 AI 代理如何使得風險加劇,一些看似無害的圖片或文件當中暗藏的指令如何在沒有使用者互動的情況下觸發機敏資料外傳。

AI 代理有可能變成網路攻擊的入口嗎?駭客可能挾持可執行程式碼的大型語言模型 (LLM) 來執行有害指令嗎?Microsoft Office 文件中暗藏的指令有可能騙過 AI 代理,讓 AI 代理洩漏敏感的資料嗎?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 AI 代理今日面臨的一些根本挑戰。本系列文章討論 AI 代理的重大漏洞,深入揭發看似聰明的回應底下所潛藏的威脅。下載研究報告

繼續閱讀

揭發 AI 代理的漏洞(5-1)

本文是一系列探討 AI 代理(AI Agent)漏洞的第一篇文章,除了點出一些關鍵的資安風險 (如:提示注入與程式碼執行) 之外,也預告一些後續文章即將深入討論的問題,例如:程式碼執行漏洞、資料外傳,以及資料庫存取威脅。

大型語言模型 (LLM) 服務有可能變成網路攻擊的閘道口嗎?可執行程式碼的 LLM 有可能被挾持用來執行有害指令嗎?Microsoft Office 文件中暗藏的指令能不能騙過 AI 代理(AI Agent),讓 AI 代理洩漏敏感的資料?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 AI 代理今日面臨的一些基本資安問題。本系列文章將探討 AI 代理在看似聰明的回應底下所潛藏的重大漏洞,深入揭發一些迫切需要關注的隱藏威脅。

繼續閱讀