千億參數的AI龐然大物,是風險而不是優勢

千億參數的AI龐然大物,是風險而不是優勢

AI 越大越好的時代已經遇到了瓶頸,我們正處於一個大型語言模型 (LLM) 的泡沫中,其特徵是毀滅性的推論成本和邊際效應遞減的報酬率。未來屬於專業化小型語言模型 (SLM) 驅動的代理式 AI (Agentic AI)。您可以將它想成:從聘用一名超級昂貴的天才,改成建立一個高效率的數位工廠。這樣不僅更便宜、更快,坦白說,這才是讓 AI 代理能大規模運作的唯一方法。
⟫ 完整文章

PeckBirdy:親中駭客集團在 LOLBin 攻擊手法中使用的多功能腳本框架

重點摘要

  • PeckBirdy 是親中 APT 集團自 2023 年起便開始採用的一套 JScript 幕後操縱 (CC) 框架,採用可跨環境執行的設計來提供靈活的部署能力。
  • HOLODONUT 和 MKDOOR 這兩個模組化後門程式在 PeckBirdy 核心功能的基礎上,進一步擴展了攻擊能力。
  • 此外,還有另外兩起攻擊行動:SHADOW-VOID-044 和 SHADOW-EARTH-045 示範了使用 PeckBirdy 的親中駭客集團如何在多個管道上發動聯合攻擊。
  • 其中一起攻擊行動利用偷來的程式碼簽章憑證簽署 Cobalt Strike 惡意檔案,以及多個 CC 網域和 IP 位址上的漏洞攻擊程式碼 (CVE-2020-16040) 來常駐於受害環境。
    ⟫ 完整文章

「水坑攻擊」鎖定 EmEditor 用戶並植入竊資軟體

  • TrendAI™ Research 分析了一起針對 EmEditor 文字編輯器的軟體供應鏈入侵事件,EmEditor 是全球開發人員社群廣泛使用的文字編輯器。駭客利用一個被篡改的安裝程式來散布多重階段惡意程式,用於執行各種惡意動作。
  • 這個被篡改的安裝程式版本,可經由橫向移動來竊取登入憑證、將資料外傳,並且執行後續入侵行動。由於其惡意行為刻意延遲到安裝之後才出現,如此可躲避早期偵測並延長滯留時間,進而提高了營運中斷的可能性。
  • 凡是經由公開管道下載第三方 Windows 平台軟體的企業,都有可能暴露於這類風險。資安長 (CISO) 應檢查一下自己的企業是否有持續監控來自可信賴安裝程式與開發人員工具的活動。
  • TrendAI Vision One™ 已經可以偵測並攔截本文討論到的入侵指標 (IoC)。此外,TrendAI™ 客戶還可透過量身訂製的追蹤查詢、Threat Insights 及 Intelligence Reports 來深入了解這起攻擊並主動加以防範。⟫ 完整文章

繼續閱讀

揭發 AI 代理的漏洞 (5-5):保護 LLM 服務

這是有關代理式 AI 漏洞議題的最後一篇文章,本文探討對 AI 代理造成威脅的各種新興漏洞,主要是提供主動式資安建議來防範程式碼執行、資料外傳以及資料庫存取等方面的漏洞。

大型語言模型 (LLM) 已日益成為現代化應用程式的一環,其安全性比以往更加重要。我們在先前幾篇文章已討論過可能對 AI 代理造成威脅的新興漏洞,主要聚焦在程式碼執行、資料外傳以及資料庫存取等領域。

本系列的最後一篇,我們將探討如何應對這些威脅所帶來的挑戰,以及我們為何需要嚴密的多層式策略來保護這些系統。本系列其他文章還有:

  • 第一篇:揭發 AI 代理的漏洞 ─ 介紹 AI 代理的主要資安風險,例如:提示注入與執行未經授權的程式碼,並摘要說明後續討論的議題架構,包括:資料外傳、資料庫漏洞攻擊,以及防範策略。
  • 第二篇:程式碼執行漏洞 ─ 探討駭客將如何利用 LLM 驅動服務的弱點來執行未經授權的程式碼、避開沙盒模擬環境的限制,以及利用錯誤處理機制的漏洞,進而導致資料外洩、未經授權的資料傳輸,以及取得執行環境的永久存取權限。
  • 第三篇:資料外傳:探討駭客如何利用間接提示注入,讓 GPT-4o 這類多模態 LLM 在遇到看似無害的惡意檔案時將機敏資料外傳。這種所謂的「零點選」(zero-click) 漏洞可讓駭客在網頁、圖片及文件中暗藏指令,誘騙 AI 代理洩露使用者互動記錄、上傳檔案,以及聊天記錄當中的機密資訊。
  • 第四篇:資料庫存取漏洞 ─ 探討駭客如何攻擊與 LLM 整合的資料庫系統,透過 SQL 隱碼注入、預先儲存的提示注入,以及向量儲存下毒來取得管制的資料,同時還能避開認證機制。駭客可利用提示篡改來影響查詢結果、取得機密資訊,或者插入永久性漏洞來影響未來的查詢。

防範程式碼執行漏洞

繼續閱讀

揭發 AI 代理的漏洞 (5-4):資料庫存取漏洞

駭客如何攻擊具備資料庫存取能力的 AI 代理?本文探討駭客如何利用 SQL 生成漏洞、預先儲存的提示注入,以及向量儲存下毒等手法來從事詐騙活動。

大型語言模型 (LLM) 服務有可能變成網路攻擊的入口嗎?可執行程式碼的 LLM 有可能被挾持用來執行有害指令嗎?Microsoft Office 文件中暗藏的指令能不能騙過 LLM,讓它洩漏敏感的資料?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 LLM 服務今日面臨的一些基本問題。本系列文章討論 LLM 服務的重大漏洞,深入揭發其看似聰明的回應底下所潛藏的威脅。

下載研究報告

Technical Brief
繼續閱讀

揭發 AI 代理的漏洞 (5-3):資料外傳

在本系列的第三篇文章,我們將示範多模態 AI 代理如何使得風險加劇,一些看似無害的圖片或文件當中暗藏的指令如何在沒有使用者互動的情況下觸發機敏資料外傳。

AI 代理有可能變成網路攻擊的入口嗎?駭客可能挾持可執行程式碼的大型語言模型 (LLM) 來執行有害指令嗎?Microsoft Office 文件中暗藏的指令有可能騙過 AI 代理,讓 AI 代理洩漏敏感的資料嗎?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 AI 代理今日面臨的一些根本挑戰。本系列文章討論 AI 代理的重大漏洞,深入揭發看似聰明的回應底下所潛藏的威脅。下載研究報告

繼續閱讀

揭發 AI 代理的漏洞(5-1)

本文是一系列探討 AI 代理(AI Agent)漏洞的第一篇文章,除了點出一些關鍵的資安風險 (如:提示注入與程式碼執行) 之外,也預告一些後續文章即將深入討論的問題,例如:程式碼執行漏洞、資料外傳,以及資料庫存取威脅。

大型語言模型 (LLM) 服務有可能變成網路攻擊的閘道口嗎?可執行程式碼的 LLM 有可能被挾持用來執行有害指令嗎?Microsoft Office 文件中暗藏的指令能不能騙過 AI 代理(AI Agent),讓 AI 代理洩漏敏感的資料?駭客有多容易篡改資料庫查詢敘述來取得管制的資訊?

這些都是 AI 代理今日面臨的一些基本資安問題。本系列文章將探討 AI 代理在看似聰明的回應底下所潛藏的重大漏洞,深入揭發一些迫切需要關注的隱藏威脅。

繼續閱讀