揭發 AI 代理的漏洞 (5-5):保護 LLM 服務

這是有關代理式 AI 漏洞議題的最後一篇文章,本文探討對 AI 代理造成威脅的各種新興漏洞,主要是提供主動式資安建議來防範程式碼執行、資料外傳以及資料庫存取等方面的漏洞。

大型語言模型 (LLM) 已日益成為現代化應用程式的一環,其安全性比以往更加重要。我們在先前幾篇文章已討論過可能對 AI 代理造成威脅的新興漏洞,主要聚焦在程式碼執行、資料外傳以及資料庫存取等領域。

本系列的最後一篇,我們將探討如何應對這些威脅所帶來的挑戰,以及我們為何需要嚴密的多層式策略來保護這些系統。本系列其他文章還有:

  • 第一篇:揭發 AI 代理的漏洞 ─ 介紹 AI 代理的主要資安風險,例如:提示注入與執行未經授權的程式碼,並摘要說明後續討論的議題架構,包括:資料外傳、資料庫漏洞攻擊,以及防範策略。
  • 第二篇:程式碼執行漏洞 ─ 探討駭客將如何利用 LLM 驅動服務的弱點來執行未經授權的程式碼、避開沙盒模擬環境的限制,以及利用錯誤處理機制的漏洞,進而導致資料外洩、未經授權的資料傳輸,以及取得執行環境的永久存取權限。
  • 第三篇:資料外傳:探討駭客如何利用間接提示注入,讓 GPT-4o 這類多模態 LLM 在遇到看似無害的惡意檔案時將機敏資料外傳。這種所謂的「零點選」(zero-click) 漏洞可讓駭客在網頁、圖片及文件中暗藏指令,誘騙 AI 代理洩露使用者互動記錄、上傳檔案,以及聊天記錄當中的機密資訊。
  • 第四篇:資料庫存取漏洞 ─ 探討駭客如何攻擊與 LLM 整合的資料庫系統,透過 SQL 隱碼注入、預先儲存的提示注入,以及向量儲存下毒來取得管制的資料,同時還能避開認證機制。駭客可利用提示篡改來影響查詢結果、取得機密資訊,或者插入永久性漏洞來影響未來的查詢。

防範程式碼執行漏洞

繼續閱讀

揭發 AI 代理的漏洞 (5-4):資料庫存取漏洞

駭客如何攻擊具備資料庫存取能力的 AI 代理?本文探討駭客如何利用 SQL 生成漏洞、預先儲存的提示注入,以及向量儲存下毒等手法來從事詐騙活動。

大型語言模型 (LLM) 服務有可能變成網路攻擊的入口嗎?可執行程式碼的 LLM 有可能被挾持用來執行有害指令嗎?Microsoft Office 文件中暗藏的指令能不能騙過 LLM,讓它洩漏敏感的資料?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 LLM 服務今日面臨的一些基本問題。本系列文章討論 LLM 服務的重大漏洞,深入揭發其看似聰明的回應底下所潛藏的威脅。

下載研究報告

Technical Brief
繼續閱讀

企業須留意!AI深偽助長高階主管、徵才流程與KYC詐騙

趨勢科技揭露採用深偽(deepfake)技術的網路犯罪劇本

【2025年7月10日,台北訊】全球網路資安領導廠商趨勢科技(東京證券交易所股票代碼:4704)今天發表一份新的報告,揭露採用深偽(deepfake)技術的網路犯罪規模和成熟度。隨著生成式AI工具變得更強大、更便宜、也更容易取得,駭客集團正迅速利用這些工具來支援各種攻擊,從商業詐騙、勒索,到身分盜用等。

請點選以下連結來閱讀這份完整報告「用深偽造假,直到成功為止:全面解析新式AI犯罪工具Deepfake it ’til You Make It: A Comprehensive View of the New AI Criminal Toolset

繼續閱讀

揭發 AI 代理的漏洞 (5-3):資料外傳

在本系列的第三篇文章,我們將示範多模態 AI 代理如何使得風險加劇,一些看似無害的圖片或文件當中暗藏的指令如何在沒有使用者互動的情況下觸發機敏資料外傳。

AI 代理有可能變成網路攻擊的入口嗎?駭客可能挾持可執行程式碼的大型語言模型 (LLM) 來執行有害指令嗎?Microsoft Office 文件中暗藏的指令有可能騙過 AI 代理,讓 AI 代理洩漏敏感的資料嗎?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 AI 代理今日面臨的一些根本挑戰。本系列文章討論 AI 代理的重大漏洞,深入揭發看似聰明的回應底下所潛藏的威脅。下載研究報告

繼續閱讀

揭發 AI 代理的漏洞 (5-2):程式碼執行

趨勢科技深入研究了具備執行程式碼、上傳文件以及存取網際網路能力的大型語言模型 (LLM) 驅動的 AI 代理所存在的漏洞。這是一系列深入揭發 AI 代理漏洞的第二篇文章。

LLM 服務有可能變成網路攻擊的入口嗎?可不可能被挾持用來執行有害的指令?有沒有可能被 Microsoft Office 文件中暗藏的指令所騙而洩漏敏感的資料?駭客能不能篡改資料庫查詢來取得管制的資訊?

這些都是 AI 代理今日面臨的一些基本問題。本系列文章討論 AI 代理的重大漏洞,深入揭發其看似聰明的回應底下所潛藏的威脅。

繼續閱讀