機器學習 machine-learning - 資安趨勢部落格

人工智慧與機器學習：提升法規遵循及防止垃圾郵件

2018 年 09 月 25 日2018 年 09 月 11 日趨勢科技 TrendMicro

今日的科技及分析領域中許多最先進的作法都應用了人工智慧（AI）與機器學習（ML）。這些創新方法所能進行的技術應用幾乎有無限的可能性：從消除人力工作，到讓軟體能夠根據具體效能指標來做出準確的預測。

所以人工智慧與機器學習（無論是單獨使用或互相結合）會應用在跨產業領域的技術上也就不奇怪了。隨著技術的不斷發展，相關人士及決策者都必須了解如何將其應用在業務上及所可能帶來的優勢。

為此，讓我們深入一點來探討人工智慧和機器學習，特別是產業必須的法規遵循及防止垃圾郵件方面。

人工智慧（AI）和機器學習（ML）：重疊但不能互相置換

在我們深入法規遵循及解決垃圾郵件問題前，技術及高階主管必須要先對人工智慧和機器學習概念有基本的了解。這很重要，因為現今的人工智慧和機器學習在許多領域重疊，而模糊了彼此的界線。

正如TechRadar撰稿人Mike Moore所說，人工智慧包含使用強大的演算法來讓電腦可以比人類更準確、更有效地完成任務，替自動化及其他關鍵流程開啟了大門。Moore解釋說，人工智慧讓硬體可以用自己的方式思考。

另一方面，機器學習更進一步地讓電腦不僅能夠完成以前需要人工干預的工作，還可以根據這些工作經驗及用於完成工作的資料來學習和推進。

技術專家Patrick Nguyen在Adweek上做出很好的結論。

Nguyen說：「人工智慧是任何能夠讓系統展現出人類智慧的技術。機器學習是一種使用數學模型加上資料訓練來做出決策的人工智慧。隨著有越多的資料可用，機器學習模型可以做出更好的決策。」

從上面我們可以得知，雖然人工智慧和機器學習經常會放在一起討論，但它們並不是相同的概念。

CME報導現在有15%的企業使用人工智慧，另外有31%的企業計劃在明年內使用。此外，有47%的成熟數位化公司已經制定了人工智慧策略。

機器學習的使用也在不斷增長 – The Enterprisers Project指出有90%的企業領導者認為利用機器學習進行自動化可以大大提升準確率和決策力。此外，27%的高階主管會聘請智慧機器方面的專家來協助進行機器學習計劃。

隨著人工智慧和機器學習在企業軟體和重要業務策略扮演越來越重的角色，了解它們彼此間的差異及它們能力的使用案例是很重要的。讓我們來看看幾個例子，包括了將人工智慧使用在法規遵循及利用機器學習來協助識別和消除垃圾郵件。

繼續閱讀

利用機器學習(Machine Learning)協助識別網頁竄改（Web Defacement）

2018 年 09 月 17 日2018 年 09 月 10 日趨勢科技 TrendMicro

網頁竄改（web defacement） – 一種明顯改變網頁外觀的攻擊，特別在政治事件後會被駭客用來表達自己的政治立場。我們在進行許多研究時都會遇到。我們在之前的一篇文章裡探討了常見的網頁竄改活動，並在另一篇文章中強調了我們資安研究工具內的機器學習(Machine Learning)能夠協助電腦緊急應變小組（CERT/電腦資安事件應變小組（CSIRT）及網站管理員為此類攻擊做好準備。後者是出自我們最新報告「找出網頁竄改活動：使用DefPloreX-NG從竄改網頁取得深入了解」內的分析結果。在這裡我們會闡述為什麼機器學習能夠協助我們更好地分析理解駭客如何運作及組織起來。

利用DefPloreX-NG機器學習技術來幫忙

我們在2017年推出了DefPloreX，這是個可以用在大規模電子犯罪鑑識的機器學習工具。而今年，我們推出了DefPloreX-NG，這個版本整合了強化的機器學習演算法及新的視覺化範本。我們在最新的網頁竄改報告中實際地利用了DefPloreX-NG來分析19年來1,300萬份的網頁竄改記錄。資安分析師和研究人員也可以用它來即時識別正在進行的網頁竄改活動，甚至是新或未知的攻擊活動。增強且具備更多功能的工具組能夠更有效地從原始遭竄改網站過濾出可操作的情報。它可以自動識別和追蹤網頁竄改攻擊活動，為每起攻擊活動加上有意義的標籤。此外，它還可以更加輕鬆地排序和搜尋網站，像根據攻擊者或駭客組織、動機、內容或宣傳類型、頂級網域（TLD）、遭竄改網站類別（媒體等）等等標籤。這些很大程度地是經由機器學習的幫忙。

圖1、使用DefPloreX-NG自動分析遭竄改網頁

繼續閱讀

利用機器學習協助識別網頁竄改（Web Defacement）

2018 年 09 月 17 日2018 年 09 月 28 日趨勢科技 TrendMicro

網頁竄改（web defacement） – 一種明顯改變網頁外觀的攻擊，特別在政治事件後會被駭客用來表達自己的政治立場。我們在進行許多研究時都會遇到。我們在之前的一篇文章裡探討了常見的網頁竄改活動，並在另一篇文章中強調了我們資安研究工具內的機器學習能夠協助電腦緊急應變小組（CERT/電腦資安事件應變小組（CSIRT）及網站管理員為此類攻擊做好準備。後者是出自我們最新報告「找出網頁竄改活動：使用DefPloreX-NG從竄改網頁取得深入了解」內的分析結果。在這裡我們會闡述為什麼機器學習能夠協助我們更好地分析理解駭客如何運作及組織起來。

利用DefPloreX-NG機器學習技術來幫忙

我們在2017年推出了DefPloreX，這是個可以用在大規模電子犯罪鑑識的機器學習(Machine Learning)工具。而今年，我們推出了DefPloreX-NG，這個版本整合了強化的機器學習演算法及新的視覺化範本。我們在最新的網頁竄改報告中實際地利用了DefPloreX-NG來分析19年來1,300萬份的網頁竄改記錄。資安分析師和研究人員也可以用它來即時識別正在進行的網頁竄改活動，甚至是新或未知的攻擊活動。增強且具備更多功能的工具組能夠更有效地從原始遭竄改網站過濾出可操作的情報。它可以自動識別和追蹤網頁竄改攻擊活動，為每起攻擊活動加上有意義的標籤。此外，它還可以更加輕鬆地排序和搜尋網站，像根據攻擊者或駭客組織、動機、內容或宣傳類型、頂級網域（TLD）、遭竄改網站類別（媒體等）等等標籤。這些很大程度地是經由機器學習的幫忙。

圖1、使用DefPloreX-NG自動分析遭竄改網頁

繼續閱讀

機器學習有效攔截 95% 的垃圾郵件

2018 年 08 月 02 日2018 年 07 月 19 日趨勢科技 TrendMicro

2002 年，每天流通的垃圾郵件數量高達 24 億封。今日，這數字甚至已突破 3000 億之譜。2000 年代初期，垃圾郵件的內容大多以純文字為主，偶爾會冒充威而鋼廣告，且多由垃圾郵件散布者直接寄發，或者經由公開伺服器轉發。而收到信的使用者，其信箱開啟速度會變慢，網際網路連線速度也會受到影響。

機器學習技術能藉由分析大量的資訊或訓練資料來歸納出一些特徵,現在資安界整體已經能有效攔截 95% 的垃圾郵件，機器學習已成為攔截垃圾郵件的一項關鍵技術。

1978 年，美國國防部的先進研究計畫署網路 ARPANET 約有 400 多名使用者收到了一封有關新型電腦產品的郵件。原因是當時任職 Digital Equipment Corporation (DEC) 公司的一位行銷人員 Gary Thuerk 發現利用電子郵件在網路上宣傳電腦產品是個不錯的點子。雖然這些電子郵件確實引起了某些收件人的興趣，但也有部分人士不喜歡這類沒有署名的惱人廣告。幾年之後，網路資安界將這些不請自來的大量電子郵件產品或服務廣告統稱為「垃圾郵件」。

很不幸地，數十年前讓 Thuerk 意外成名的電子郵件行銷現在已被網路犯罪集團遠遠超越：2002 年，每天流通的垃圾郵件數量高達 24 億封。今日，這數字甚至已突破 3000 億之譜。在以往，數量如此龐大的垃圾郵件頂多就是讓系統效能變慢，但現在，垃圾郵件還會帶來一些意想不到的嚴重後果，尤其對企業更是如此，因為電子郵件已成為網路犯罪集團從事網路釣魚和其他惡意活動的主要途徑。

早期對抗垃圾郵件數量不斷成長的方法

自從第一封垃圾郵件在數十年前誕生至今，垃圾郵件的動機和散布方法已有大幅的演進。2000 年代初期，垃圾郵件的內容大多以純文字為主，偶爾會冒充威而鋼廣告，且多由垃圾郵件散布者直接寄發，或者經由公開伺服器轉發。而收到信的使用者，其信箱開啟速度會變慢，網際網路連線速度也會受到影響。為了解決這問題，垃圾郵件防護廠商開始提供出一些結合了雜湊碼與所謂「垃圾郵件特徵」的解決方案，讓 IT 人員可以手動撰寫一些過濾規則。

這項作法帶來了兩種結果：一方面，這的確發揮了正面效果：它擋掉了將近 50% 的垃圾郵件。但另一方面，專家也意識到，當面對每天平均高達 24 億封的垃圾郵件時，這樣的作法顯然效果有限。想像一下，若您已經深陷 30 英呎深的水池，就算抽掉 50% 的水，您還是會淹死。

垃圾郵件防護解決方案必須在垃圾郵件進入網路之前預先加以解決，如果等到郵件進來了再來處理，除了不切實際之外，更別說還必須面對潛在的風險。

為了提供更有效的垃圾郵件防護，業界已開始將希望寄託在機器學習技術，這項技術能藉由分析大量的資訊或訓練資料來歸納出一些特徵。其具體成果就是：現在資安界整體已經能有效攔截 95% 的垃圾郵件，因此機器學習已成為攔截垃圾郵件的一項關鍵技術。

運用機器學習偵測及攔截數十億封的垃圾郵件 繼續閱讀

機器學習如何發現 BrowseFox 大規模憑證濫用?

2018 年 06 月 28 日2018 年 06 月 20 日趨勢科技 TrendMicro

透過機器學習(machine learning )演算法趨勢科技發現了BrowseFox大規模的憑證簽章濫用，BrowseFox是被趨勢科技偵測為PUA_BROWSEFOX.SMC的潛在不必要程式（PUA），會非法注入彈出式廣告的廣告軟體外掛。儘管它用的是合法的軟體程序，但廣告軟體外掛可能會被駭客所利用，使用惡意廣告來將受害者導向惡意網站，進而不知不覺地下載了惡意軟體。根據分析，我們從200萬筆已簽章檔案所組成資料集內判斷出有大量的BrowseFox – 這些檔案的有效性和完整性已通過驗證。

發現BrowseFox憑證濫用

我們是在準備2017年BlackHat亞洲大會演講時發現此憑證簽章濫用問題，原本是要展示如何將局部敏感雜湊（Local Sensitive Hashing, LSH）用於智慧/動態白名單（SHA1或MD5等加密雜湊完全不適用於此領域）。

在使用趨勢科技局部敏感雜湊（Trend Micro Locality Sensitive Hashing, TLSH）群集分析200萬筆簽章檔案組成的資料集時，我們確定許多群集（cluster）具有非常特殊和奇怪的特徵：群集檔案由許多不同簽章者（signer）簽章。許多合法軟體也會有這種情形，但跟BrowseFox相關聯的群集有另一個屬性；當我們針對簽章者建立群集圖時，這些群集形成一個約略的二分團。然後我們可以識別與該團相關的檔案，隨後將約25萬筆檔案標記為疑似BrowseFox。我們檢查了VirusTotal上的疑似樣本，發現了5,203筆檔案雜湊，並確定它們確實是BrowseFox。經過進一步的調查，我們發現這些檔案已經由519名不同的憑證簽章者簽章註[1]。這似乎是BrowseFox的策略 – 建立新簽章實體來取得有效憑證。

正如之前在「探討（惡意）軟體下載的長尾現象」中所觀察到，已簽章檔案並不一定就非惡意。事實上，研究顯示有許多被下載的惡意軟體都是簽章過的。BrowseFox的調查結果進一步地凸顯出駭客如何濫用有效的憑證簽章者來散播惡意軟體。

在我們200萬筆已簽章執行檔所組成的資料集中，有大量檔案（24.4萬筆）屬於BrowseFox的惡意軟體或PUA檔案。這24.4萬筆檔案透過兩個嚴格的條件被識別為BrowseFox：首先，該檔案由這519個惡意簽章者之一所簽章，其次，它屬於其中一個BrowseFox群組。