科學 (Science) 期刊所發表的一份研究報告中，提到可能被用於破壞機器學習 (Machine learning,ML) 系統的進階技巧警告。這份研究詳細說明如何建構並部署對抗式攻擊 (也就是用來破壞 ML 系統的技巧)，於機器學習和人工智慧 (AI) 技術使用率日益提高的醫療產業中。在示範中，有一個良性的皮膚病變影像，影像中有一小部分的像素經過修改，結果誤導了診斷的 AI 系統，將其辨別為惡性病變。
機器學習和 AI 系統遭到對抗式攻擊( adversarial attacks )入侵的例子，並不只侷限於醫療產業的應用。舉例來說，原應協助保護企業資源與資料的機器學習系統，也可能遭到這類的攻擊。
[請參閱：Clustering Malicious Network Flows With Machine Learning]
發生在安全系統的對抗式攻擊
Dark Reading 近期發表的一篇文章中，點出了網路罪犯可能用來顛覆企業資安防衛的攻擊方法。例如，攻擊者可能利用使用機器學習的自動化滲透測試工具深度滲透 (Deep Exploit) 來嘗試滲透組織，而且只要 20 至 30 秒就能找出企業防衛中的資安漏洞。這種攻擊方法如此快速，是因為其利用機器學習模型，快速吸收並分析資料，同時產生最適合用於下一個攻擊階段的結果。
另一種網路罪犯能用來執行對抗式攻擊的方法，則是透過將毀損的資料注入到企業獨有的運算演算法和統計模型之中，混淆企業的 ML 模型。
同樣地，網路罪犯也能將惡意範例注入到無害的檔案中，藉此感染 ML 的訓練集，使訓練集容易發生誤判。相關案例：PTCH_NOPLE 惡意軟體，其出自修補程式系列，用於修改 Windows 檔案 dnsapi.dll。某些機器學習系統誤判率較高，正是因為無害的 dnsapi.dll 檔案遭到 PTCH_NOPLE 感染所致。
此外，網路資安產品的機器學習模型也可能遭入侵，透過利用遭感染無害的可移植性可執行 (PE) 檔案，或經過惡意程式碼編譯的無害來源碼。如此一來，惡意軟體開發人員便能讓惡意軟體範例看似對 機器學習系統無害，避免被偵測為帶有惡意，因為其檔案結構仍大多來自原本無害的檔案。
[請參閱：Using Machine Learning to Detect Malware Outbreaks With Limited Samples]
保護機器學習資安系統應採用的三個措施
資安解決方案使用的機器學習系統應受到保護，防止其遭到對抗式攻擊或入侵，以設法擴大威脅防護範圍，降低誤判率。部分化解技巧：
- 為減少機器學習系統的攻擊面，防衛應設立在基礎架構的層面上。網路罪犯可能利用免費工具中供試用的本機機器學習模型來修改範例，以此方式刺探機器學習系統。為使機器學習系統較不容易遭到刺探，可以利用像是內含 趨勢科技的XGen安全防護技術的產品等雲端型解決方案來偵測並攔截惡意刺探。如果出現刺探嘗試，解決方案會向攻擊者顯示假造的結果，或是終止與攻擊者所用帳戶關聯的產品或服務。
- 為了抵抗對抗式攻擊，機器學習系統應打造得更為堅固。為此，首先應在設計階段盡早找出潛在的資安漏洞，精準設定每一項參數。第二，可以產生對抗式範例，以重複訓練機器學習模型，而且此程序應在機器學習系統整個生命週期內持續不斷地實作。
- 為了減少誤判，應該使用機器學習用於偵測及建立白名單的資安解決方案。Trend Micro XGen Security 使用 趨勢科技局部敏感雜湊 (TLSH)，此方法可產生雜湊值，並接著對雜湊值進行分析，找出相似處。
機器學習系統強化後，便能躲開對抗式攻擊。打造健全的機器學習系統，雖然能改善偵測與攔截率，但光靠它並無法解決所有資安問題。還要靠多項資安技術與其搭配運作，建立多層式防護，這樣才是對抗各種資安威脅最有效的方式。
◎原文來源:: New Research Reveals How Adversarial Attacks Can Subvert Machine Learning Systems