利用機器學習(Machine learning)透過有限樣本偵測病毒爆發

能夠在惡意軟體一出現時就能夠捉到對保護使用者、社群、企業和政府來說是相當重要的。隨著機器學習(Machine learning,ML)技術被運用在網路安全上,偵測惡意軟體爆發的效率變得更高。

機器學習有助於分析大量資料,找出惡意軟體樣本的模式和關聯性,幫助訓練系統來偵測未來的相似變種。但如果只有少量的資料集,機器學習是否能夠用來分析惡意軟體爆發?我們與澳大利亞聯邦大學的研究人員合作進行一項名為「生成惡意軟體爆發偵測(Generative Malware Outbreak Detection)」的研究,該研究顯示出利用對抗自編碼器(AAE)取得可能表徵能夠有效處理這種情況。這被用來偵測惡意軟體爆發的機器學習(ML)模型使用生成對抗網路(GAN)來透過少量的OS X訓練樣本取得相似的樣本。

大規模的惡意軟體爆發

在今日的威脅環境中,惡意軟體爆發已經成為公開的事件,對全球使用者和企業帶來負面的影響,造成了數十億美元的損失。根據美國政府的說法,2017年的NotPetya勒索病毒成為「史上最具破壞性和代價最高的網路攻擊」。它對政府及企業都造成了嚴重破壞,丹麥航運巨頭Maersk是最知名的的受害者之一。

與此同時,2018年的VPNFilter病毒爆發感染了家庭及小型企業所使用的50萬台路由器,多數受害者位於烏克蘭。這隻多階段的惡意軟體散播到了54個國家/地區,並且跟BlackEnergy間諜軟體有著重疊的程式碼。

繼續閱讀

一種專門偵測惡意程式變種的機器學習模型

惡意程式要能發揮作用,首先要能躲過資安防禦的偵測成功滲透到系統內部。它要能包裝並偽裝自己,讓自己看起來像一般正常的程式,等到通過資安關卡之後,再顯現出本性。針對不易偵測的惡意程式,或是樣本不足,無法提供有效分析的惡意程式,我們提出了一種採用對抗自動編碼器 (adversarial autoencoder) 並搭配語意雜湊碼 (semantic hashing) 的機器學習(Machine learning,ML)模型來加以偵測。趨勢科技與澳洲聯邦大學 (Federation University Australia) 研究人員共同發表過一篇名為「生成式惡意程式擴散偵測」(Generative Malware Outbreak Detection) 的研究論文。

透視加密編碼的惡意程式

惡意程式作者知道,惡意程式必須不被發現才有機會入侵裝置或網路。所以,他們會運用各種不同工具和技巧來躲避偵測,此外,更會用盡方法來提高惡意程式的偵測難度,包括躲避沙盒模擬分析、反解譯、反除錯、躲避防毒軟體以及變形或多形等技巧。例如先前曾出現在針對性攻擊與網路間諜行動當中的 RETADUP 蠕蟲,後來也演化出變形能力。其新的變種是以 AutoHotKey 程式碼來撰寫,且與其先前的 AutoIt 變種一樣,都是用來發動虛擬加密貨幣挖礦攻擊。

惡意程式一旦經過加密編碼,一般傳統的防毒系統就很難加以偵測。我們曾在一篇文章當中指出,加密編碼的問題可藉由發掘同一惡意程式家族當中不論任何變種都大致維持一致的特徵來加以偵測,例如程式指令序列。本文將延續先前那篇文章,更進一步深入探討對抗自動編碼器如何處理程式指令序列,以及語意雜湊碼在我們提出的模型當中有何用途。

繼續閱讀

利用機器學習來對 Gh0st RAT 變種的惡意網路流量分群 (Clustering)

網路犯罪集團躲避網路防護產品的能力和效率都越來越高。每一天,我們都會看到一些有關企業網路遭駭客入侵、資料遭到竊取、令專家傷透腦筋的報導。因此,如果沒有一套更有效率的偵測系統或方法,這樣的情況還會繼續下去。今日的駭客經常使用變形、加密、編碼以及其他技巧來自動製造大量變種,試圖躲避像規則式偵測技巧這類傳統入侵偵測方法。

為了解決日益成長的網路威脅,以及因應日益複雜的網路入侵技巧,趨勢科技特別鑽研了網路流量分群 (network flow clustering) 技巧,這是一種運用機器學習(Machine learning,ML)來提升現有入侵偵測技巧的方法。

我們之所以可藉由檢查網路流量資料來偵測網路上的異常狀況,是因為網路流量當中包含了許多有用的資訊可讓我們分析各種應用程式與服務的網路流量組成。為了利用分群技巧來有效率地大量標記和處理這類資料,我們採用了一種半監督式機器學習方法。接著,再利用這些標記來分辨不同惡意程式家族之間的關係和差異。

繼續閱讀

人工智慧與機器學習:提升法規遵循及防止垃圾郵件

今日的科技及分析領域中許多最先進的作法都應用了人工智慧(AI)與機器學習(ML)。這些創新方法所能進行的技術應用幾乎有無限的可能性:從消除人力工作,到讓軟體能夠根據具體效能指標來做出準確的預測。

所以人工智慧與機器學習(無論是單獨使用或互相結合)會應用在跨產業領域的技術上也就不奇怪了。隨著技術的不斷發展,相關人士及決策者都必須了解如何將其應用在業務上及所可能帶來的優勢。

為此,讓我們深入一點來探討人工智慧和機器學習,特別是產業必須的法規遵循及防止垃圾郵件方面。

人工智慧(AI)和機器學習(ML):重疊但不能互相置換

在我們深入法規遵循及解決垃圾郵件問題前,技術及高階主管必須要先對人工智慧和機器學習概念有基本的了解。這很重要,因為現今的人工智慧和機器學習在許多領域重疊,而模糊了彼此的界線。

正如TechRadar撰稿人Mike Moore所說,人工智慧包含使用強大的演算法來讓電腦可以比人類更準確、更有效地完成任務,替自動化及其他關鍵流程開啟了大門。Moore解釋說,人工智慧讓硬體可以用自己的方式思考。

另一方面,機器學習更進一步地讓電腦不僅能夠完成以前需要人工干預的工作,還可以根據這些工作經驗及用於完成工作的資料來學習和推進

技術專家Patrick Nguyen在Adweek上做出很好的結論。

Nguyen說:「人工智慧是任何能夠讓系統展現出人類智慧的技術。機器學習是一種使用數學模型加上資料訓練來做出決策的人工智慧。隨著有越多的資料可用,機器學習模型可以做出更好的決策。」

從上面我們可以得知,雖然人工智慧和機器學習經常會放在一起討論,但它們並不是相同的概念。

CME報導現在有15%的企業使用人工智慧,另外有31%的企業計劃在明年內使用。此外,有47%的成熟數位化公司已經制定了人工智慧策略。

機器學習的使用也在不斷增長 – The Enterprisers Project指出有90%的企業領導者認為利用機器學習進行自動化可以大大提升準確率和決策力。此外,27%的高階主管會聘請智慧機器方面的專家來協助進行機器學習計劃。

隨著人工智慧和機器學習在企業軟體和重要業務策略扮演越來越重的角色,了解它們彼此間的差異及它們能力的使用案例是很重要的。讓我們來看看幾個例子,包括了將人工智慧使用在法規遵循及利用機器學習來協助識別和消除垃圾郵件。

繼續閱讀

利用機器學習(Machine Learning)協助識別網頁竄改(Web Defacement)

網頁竄改(web defacement) – 一種明顯改變網頁外觀的攻擊,特別在政治事件後會被駭客用來表達自己的政治立場。我們在進行許多研究時都會遇到。我們在之前的一篇文章裡探討了常見的網頁竄改活動,並在另一篇文章中強調了我們資安研究工具內的機器學習(Machine Learning)能夠協助電腦緊急應變小組(CERT/電腦資安事件應變小組(CSIRT)及網站管理員為此類攻擊做好準備。後者是出自我們最新報告「找出網頁竄改活動:使用DefPloreX-NG從竄改網頁取得深入了解」內的分析結果。在這裡我們會闡述為什麼機器學習能夠協助我們更好地分析理解駭客如何運作及組織起來。

 

利用DefPloreX-NG機器學習技術來幫忙

我們在2017年推出了DefPloreX,這是個可以用在大規模電子犯罪鑑識的機器學習工具。而今年,我們推出了DefPloreX-NG,這個版本整合了強化的機器學習演算法及新的視覺化範本。我們在最新的網頁竄改報告中實際地利用了DefPloreX-NG來分析19年來1,300萬份的網頁竄改記錄。資安分析師和研究人員也可以用它來即時識別正在進行的網頁竄改活動,甚至是新或未知的攻擊活動。增強且具備更多功能的工具組能夠更有效地從原始遭竄改網站過濾出可操作的情報。它可以自動識別和追蹤網頁竄改攻擊活動,為每起攻擊活動加上有意義的標籤。此外,它還可以更加輕鬆地排序和搜尋網站,像根據攻擊者或駭客組織、動機、內容或宣傳類型、頂級網域(TLD)、遭竄改網站類別(媒體等)等等標籤。這些很大程度地是經由機器學習的幫忙。

 

 

圖1、使用DefPloreX-NG自動分析遭竄改網頁

繼續閱讀