本文討論正確偵測並適當保護 AI 模型檔案及相關資產 （例如「標籤-labels」） 以防止遭到惡意篡改或非預期變更的重要性
AI 個人電腦 (PC) 是一種同時具備中央處理單元 (CPU)、繪圖處理單元 (GPU) 以及神經處理單元 (GPU) 的電腦，其中新增的 NPU 可提升 PC 的能力，讓 AI 應用程式高效率地在本地端執行，除了可以不須隨時連上網際網路之外，同時也避免掉雲端服務與雲端 AI 解決方案天生的隱私權疑慮。
本地端 AI 模型可以讓 AI 模型針對特定應用而客製化，並與工作流程整合。此外，本地端 AI 模型也讓網頁式或混合式應用程式能將一部份的運算保留在本機上執行。相較於完全仰賴線上或網頁式服務，這麼做可節省應用程式或服務供應商的儲存空間與運算成本。
AI 模型有多種不同格式，最流行的有：Open Neural Network Exchange (ONNX) 、PyTorch 、Keras 及 Tensorflow。本文主要討論 ONNX 格式，這是目前最常見的 AI 模型格式，因為它屬於開放標準，並且獲得了許多機構的支持，包括：Linux Foundation、Microsoft 以及多家主要 AI 廠商。正因為這樣，所以 ONNX AI 模型可直接在很多不同的軟體與硬體平台上使用。Microsoft 在最近剛結束的 Microsoft Build 研討會上一再提到了 ONNX，不意外地，未來 Copilot+ AI PC 搭載的 Phi-3-mini小型語言模型 (SLM) 也將採用 ONNX 格式。
一個 ONNX 模型是由一個含有節點與初始化器 (確切來說就是模型的權重 [weight] 與偏差值 [bias]) 的圖形，再加上流程控制元素所構成。圖形中的每個節點都包含了輸入、輸出、ONNX 運算子 (定義成一個 opset 運算子集合)，以及一些屬性 (運算子的固定參數)。除此之外，ONNX 模型還包含了 Metadata，用來提供有關模型的參考資訊，但 Metadata 對模型的運作來說並非強制性。
舉例來說，經常被用於物件偵測及影像分割的熱門 Ultralytics YOLOv8 模型便使用了一些 Metadata 來列出其可偵測的物件種類 (如圖 1 所示 )。不過該模型的實際輸出是一個 1x84x8400 的矩陣，程式設計師必須將矩陣對應到 Metadata 中的相關標籤才能正確解讀輸出結果。
註：Metadata 僅作為參考，並非強制性。
在 AI PC 或其他裝置上部署 AI 模型時 (尤其是 ONNX 模型) 會牽涉到兩個重要層面：模型檔案本身，以及處理模型輸入和輸出的邏輯。在確保模型的完整性時，兩者都必須加以檢驗。接著讓我們來看看 Windows Machine Learning 所提供的 SqueezeNet Object Detection 範例。
首先，我們必須檢查模型檔案的完整性以確保沒有被修改過。因為任何修改都可能導致輸出不正確 (如圖 2 和圖 3 所示)，光是修改一個偏差值就會大大影響模型的預測結果。在本範例中，被汙染的 AI 模型每次輸出的答案都是「金魚」，無論照片中的動物是什麼。
其次，我們必須檢驗模型輸入與輸出的處理邏輯。SqueezeNet 的範例使用了一個文字檔案來存放動物的標籤。如果這個檔案遭到篡改，那麼輸出就可能變成任意文字 (如圖 4 所示)。
這會造成什麼後果？假使 AI 應用程式無法正確辨認動物，或是標籤遭到任意的篡改，那麼最糟的情況會是什麼？這答案需視應用情境而定。由於 AI 正逐漸被整合到各種裝置、技術與流程當中，因此模型遭到汙染的衝擊，將視使用 AI 模型的應用情境而定。
例如，如果某製造業使用了物件偵測 AI 模型來執行品質控管，當負責品管的 AI 模型檔案遭到汙染，那麼生產線可能就無法正確偵測產品上的瑕疵，使得出貨的產品未達標準。
另一個例子是保全監視攝影機的物件偵測功能。為了節省儲存空間，今日的監視攝影機都提供一個選項可以在偵測到畫面內有任何活動或物體時才開始錄影。如果負責偵測活動和物體的 AI 遭到汙染，例如 AI 將竊賊誤認為金魚，那它就不會啟動錄影，這樣一來將形成安全漏洞。
類似這樣的情境突顯出正確偵測並適當保護 AI 模型檔案及相關資產 (如標籤) 以防止遭到惡意篡改或非預期變更的必要。目前已有一些常見的作法可以保護模型以及輸入/輸出邏輯。為了確保模型的完整性，我們可使用 sigstore 來簽署及驗證模型，或者檢查模型的雜湊碼。至於輸入/輸出邏輯，程式設計師在使用之前務必先檢查其外部檔案。
儘管通用 Windows 平台 (UWP) 應用程式與 Windows Store 應用程式會安裝在受保護目錄中 (C:\Program Files\WindowsApps)，而且需要特殊的權限才能加以修改，但額外的防護措施仍有其效益。趨勢科技的 AI 應用程式防護提供了一層額外的防護來防止 AI 模型遭到惡意篡改，能在 AI PC 時代保障 AI 資產的完整性。
根據 Andrew Ng 在美國第八屆參議院 AI 論壇 (Eighth Bipartisan Senate Forum on Artificial Intelligence) 上所說，AI 現已成為一種通用技術，因此我們應該將 AI 資產 (不論在本機上或在雲端服務上) 視為需要受到保護的重要元素，這些元素一旦發生問題，將導致運作中斷或非預期的後果。隨著 Microsoft 開啟大門讓獨立軟體廠商 (ISV) 能在其最新的 Copilot+ AI PC 上使用本地端 AI 模型來開發應用程式，安裝一套可偵測並強化本地端 AI 資產安全的產品，是保護 AI 的一個重要步驟。
原文出處：AI PC 時代如何保護 AI 模型以防止遭到惡意篡改
作者：Ryan Flores、Philippe Lin 與 Roel Reyes
趨勢科技不只是網路安全守護者,還提供各種實用3C冷知識追蹤我們的IG 帳號看更多讓你數位生活更便利、更安全的貼文 ☺️
⭕️ 訂閱資安趨勢電子報,各種實用數位祕技讓你數位生活更便利;隨時掌握資安警訊讓你安先悠遊網路
✅防毒防詐✅守護帳密✅VPN安心串流✅阻絕惡意✅安心蝦拚 趨勢科技PC-cillin雲端版 搭載深度學習AI引擎，不僅可以一次偵測多種病毒、網路威脅，還可即時封鎖異常行為，保護電腦和行動裝置安全，讓你免受變化莫測的詐騙手法之擾，安心享受網路生活。 【一下指就掉入詐騙陷阱？PC-cillin讓你安心點 】PC-cillin不只防毒也防詐騙 ✓手機✓電腦✓平板，跨平台防護３到位➔ 》即刻免費下載試用
PC-cillin 讓你的『指指點點』可以開心又安心點！
