利用機器學習 (Machine Learning)標記未知檔案

趨勢科技研究人員的一項研究顯示下載的軟體檔案中有83%屬於未知或未經分類過的檔案,有些甚至已經出現超過兩年了。因為大多數惡意軟體威脅來自於下載事件,因此研究人員開發了具可讀性的機器學習系統,能夠成功地將未知檔案分類為正常或惡意。

這項研究利用在七個月內所收集的300萬份的網路下載事件作為資料集。這些事件利用多種趨勢科技內部系統及外部公開系統來標記以進行研究和分析。但只有不到17%的資料集能用傳統方法進行標記。

儘管這些未知檔案的普及率非常低,但研究結果發現有69%的電腦下載一個或多個可能為惡意軟體的未知軟體檔案。

利用機器學習 (Machine Learning)標記未知檔案

 

利用機器學習來解開未知狀態

為了減少未知下載軟體的數量,趨勢科技研究人員開發了一套機器學習系統,這個系統會將對軟體檔案資訊和特徵的觀察結果自動產生出偵測規則。這套可據以行動的智慧系統分析下載軟體檔案的以下資訊:

  • 簽章者(Signer),憑證頒發機構(CA)以及下載檔案的封裝程式(packer)
  • 簽章者(Signer),憑證頒發機構(CA)以及下載程序的封裝程式(packer)
  • 下載程序的類別(瀏覽器,Windows,Java等)
  • 下載網域的熱門程度

Continue reading “利用機器學習 (Machine Learning)標記未知檔案”

什麼是機器學習 (Machine Learning)?

機器學習並非一時的噱頭,而是一種不需人為介入就能讓電腦自動學習資訊的技術。它利用演算法來吸收大量資訊 (也就是訓練資料),從中發掘一些獨特的模式,接著再分析這些模式,加以分類,進而對未曾見過的狀況做出預判。傳統的機器學習都是讓電腦學習如何解讀資訊,因為其資料都已經過人工標記,所以基本上,機器學習就是讓一個程式透過人工標記的資料模型來學習。

什麼是機器學習 (Machine Learning)?

這項技術的獨特之處在於機器會培養出自己的直覺:藉由反覆接觸資料並從中歸納出規則,如此就不必每次都要針對新的狀況撰寫程式。但機器學習也不是沒有缺點:機器學習有可能出錯,因此應用時必須特別小心。1

在大數據當道的今日,機器學習顯得特別有用。我們日常當中每天都會接觸到機器學習,其應用包括:偵測電話語音當中的指令、Spotify 上的歌曲推薦、Amazon 上的購物推薦,還有 Waze 的最快路徑推薦等等。 Continue reading “什麼是機器學習 (Machine Learning)?”

機器學習如何偵測虛擬貨幣挖礦病毒?

隨著虛擬貨幣惡意挖礦活動的急速發展,能夠聰明且持續有效偵測這類威脅的方法也成為網路安全防護的必備功能。透過趨勢科技的TLSH(Trend Micro Locality Sensitive Hashing,用來識別相似檔案的機器學習雜湊演算法),可以將收集到的相似虛擬貨幣挖礦病毒樣本集群(cluster)起來。將樣本依照行為和檔案類型進行分組,就能夠偵測相似或修改過的惡意軟體。

機器學習如何偵測虛擬貨幣挖礦病毒?

TLSH可以幫助我們將虛擬貨幣挖礦病毒集群起來。做法是計算檔案與檔案間數學意義上的“距離分數”,用來分析和偵測虛擬貨幣挖礦病毒集群。我們的演算法會產生某一組惡意軟體都接近的挖礦病毒中心TLSH。

集群惡意軟體樣本可以讓安全研究人員建立一對多的特徵碼,用來主動識別更多相似檔案。這是因為自動化系統(或是逆向工程師)可以檢查惡意軟體群組成員並識別成員間的相似性。當我們的系統在檢查新檔案時,會去檢視是否具備惡意軟體群組呈現的元素,並確認新檔案是否屬於惡意軟體群組的範圍。

除此之外,TLSH還可以將大量可能惡意或未知檔案對已知威脅進行即時且可擴充的搜尋和交叉比對。 Continue reading “機器學習如何偵測虛擬貨幣挖礦病毒?”

趨勢科技利用情境資訊和信譽評等偵測新惡意程式威脅

網路犯罪集團隨時都在尋找新的策略來擊敗資安防護產品/防毒軟體以提高其成功機率。

趨勢科技利用情境資訊和信譽評等偵測新惡意程式威脅隨著惡意檔案變形與包裝技巧日益普遍,傳統採用特徵比對技術的用戶端 (端點) 防護,已無法「獨力」面對威脅,所以新的跨世代防護方法應運而生。除此之外,後台系統在分析今日惡意程式時也顯得力不從心,因為不論是靜態或動態分析技巧,當遇到的惡意程式經過複雜的加密編碼或具備沙盒反制能力時,將無法發揮作用。再者,新的威脅數量越來越多,需要一套更快的偵測系統才能妥善保護全球的使用者。

為了滿足這項需求,趨勢科技開發了一套系統來克服靜態及動態偵測技巧的困境,並且即時偵測最新威脅。我們結合了機器學習和圖像推理,只需不到一秒的時間就能分辨軟體下載的好壞並加以分類。

偵測架構示意圖。

圖 1:偵測架構示意圖。

每個受保護的端點都會執行一個下載辨識代理程式 (Download Identification Agent,簡稱 DIA),用來偵測新的軟體下載。代理程式將負責蒐集下載相關情境資訊,將資訊傳送至趨勢科技的分類系統 (稱之為「惡意程式下載偵測系統」,簡稱 MDD)。接著,代理程式暫時將下載的檔案隔離,直到分類結果出爐為止。所謂的情境資訊包括下載的用戶端與端點組態,但不包含被下載的檔案本身。

檔案下載分類流程示意圖

圖 2:檔案下載分類流程示意圖。 Continue reading “趨勢科技利用情境資訊和信譽評等偵測新惡意程式威脅”

如果駭客利用機器學習….網路釣魚攻擊得逞機率提高30%,繞過reCAPTCHA機率達98%

駭客在入侵組織前通常會先盡可能地收集目標相關資訊。其中包括公司相關人士的詳細資訊以作為之後的釣魚攻擊所需。隨著機器學習(Machine Learning)出現,駭客不必再手動進行這些研究工作,而是可以自動化並加速整個過程。

這樣子利用機器學習也代表利用公司高階主管甚至更低層員工個人資料來進行的針對性攻擊會飆升。此類網路釣魚攻擊方式可能將成功機會提高多達30%

許多網站和系統利用驗證碼(CAPTCHA)機制來區分真人與機器人。不過在機器學習時代,這些以往有效的作法也受到了影響。

這並非駭客第一次利用機器學習來破解驗證碼(CAPTCHA)機制 – 在2012年,研究人員證明可以利用機器學習繞過reCAPTCHA系統,成功率達到82%。而最近在2017年,研究人員利用機器學習繞過Google reCAPTCHA保護機制的成功率達到98%

如果駭客利用機器學習....網路釣魚攻擊得逞機率提高30%,繞過reCAPTCHA機率達98%

 

駭客如何利用機器學習(Machine Learning)?

精細的網路犯罪一直在尋找下一個大規模的攻擊手法,並且不會吝於嘗試新方法來攻破目標並入侵企業的IT資產和敏感資料。要阻止這類威脅的最好方法之一是提高人們的安全意識並增加對最新風險及如何防範的了解。

目前駭客的一個新興策略是使用機器學習(Machine Learning)。就跟許多先進創新的技術一樣,機器學習可以對企業有益,卻也能夠幫助惡意活動。

 

機器學習:入門

許多IT和開發團隊及技術機構都正在使用機器學習 ,正如SAS所解釋,機器學習是人工智慧的一個分支,它建立在構建自動化分析模型的基礎上。換句話說,機器學習讓系統能夠根據其持續使用和經驗來增加自己的知識並調整程序和活動。

“機器學習的迭代方面非常重要,因為隨著模型接觸到新資料,需要能夠獨立適應,”SAS表示。“它們從之前的計算中學習以產生可靠、可重複的決策和結果。這並不是一門新學科,但卻獲得了新動力。”

人們也可能在日常生活中碰過某種形式的機器學習演算法 – 如串流媒體服務和網路賣場的線上推薦,還有自動詐騙偵測等代表現實世界裡已經存在的機器學習用例。 Continue reading “如果駭客利用機器學習….網路釣魚攻擊得逞機率提高30%,繞過reCAPTCHA機率達98%”

趨勢科技公布2018資安預測:駭客三大手法 智慧攻防邁入新層級

鎖定數位勒索、物聯網漏洞、機器學習與區塊鏈熱潮  駭客攻擊技巧再進化

【2017年12月20日,台北訊】全球網路資安解決方案領導品牌趨勢科技(東京證券交易所股票代碼:4704)今日發表2018年資安年度預測報告,指出隨著人們透過不安全網路進行連線和互動的情況越來越普遍,駭客將以「鎖定數位勒索獲利模式」、「仰賴漏洞為攻擊管道」、「搶搭機器學習與區塊鏈熱潮發展新攻擊技巧」三大手法發動網路攻擊,駭客攻防進入新層次。因應更加猖獗的網路犯罪行為,企業應採納多層式的跨世代防禦策略,強化企業內部資安意識,提升資安防禦層級。消費者使用數位裝置上網時更應重視資安防護,確保個人機密資料及財產多一層保護。

趨勢科技公布2018資安預測:駭客三大手法 智慧攻防邁入新層級

鎖定數位勒索獲利模式,針對性勒索將成寵兒!

趨勢科技觀察過去幾年,網路犯罪手法已由間接誘騙使用者的帳號密碼,轉向直接勒索錢財的「數位勒索」為主,駭客利用勒索病毒威脅受害者付錢贖回資料或透過變臉詐騙攻擊或稱為商務電子郵件入侵(Business Email Compromise,簡稱 BEC)手法進行商業詐騙,以獲得高利潤報酬。

回顧2017 年,從WannaCry(想哭)勒索蠕蟲Petya 到 BadRabbit,勒索病毒風暴席捲全球企業端及消費端,顯見駭客攻擊手法日益進步。趨勢科技預測,2018年駭客將持續大量寄發勒索病毒信件,並進一步鎖定特定可帶來最高報酬的對象攻擊,例如單一企業機構以中斷營運為威脅,試圖從中盈利。由於勒索病毒手法趨向純熟,促使其他類型的數位勒索攻擊也更加猖獗、從而發展出多樣且龐大的詐騙手法。

其中,變臉詐騙 (BEC) 快速、程序簡單的特性,加上企業組織架構資訊容易取得,將持續成為駭客喜愛攻擊手法。趨勢科技預估變臉詐騙 (BEC) 案件在 2018 年只會增加、不會減少,甚至恐造成高達 90 億美元的全球損失。原因除了有企業普遍對變臉詐騙及其手法的認識越來越高,通報數量有逐年成長的趨勢外,更重要的是變臉詐騙所仰賴的網路釣魚手法,長久以來依然屢試不爽,使變臉詐騙成為高效率的賺錢工具。 Continue reading “趨勢科技公布2018資安預測:駭客三大手法 智慧攻防邁入新層級”

DefPloreX:大規模電子犯罪鑑識用的機器學習工具

資安產業都很喜歡收集資料,研究人員也不例外。有了更多資料,就能夠對特定威脅所發表的聲明更有信心。但是大量資料也需要更多的資源進行處理,要從高度非結構化的資料中提取有意義和有用的資訊是相當困難的。結果往往就是必須進行手動分析,迫使資安專家(如調查員、滲透測試工程師、逆向工程師、分析師)必須透過繁瑣且重複的操作過程來處理資料。

我們開發了一套基於開放原始碼資料庫的彈性工具能夠有效地分析數百萬筆被置換(defaced)網頁。它也可以被用在一般攻擊所產生的網頁。這套工具稱為DefPloreX(來自“Defacement eXplorer”),結合了機器學習和視覺化技術將非結構化資料轉化成有意義的高階描述。將來自資安事件、入侵、攻擊和漏洞的即時資料有效地處理和濃縮成可瀏覽的物件,適用於高效率的大規模電子犯罪鑑識和調查。

DefPloreX可以輸入包含了待分析網路事件後設資料紀錄(如網址)的純文字檔案(如CSV檔),用headless瀏覽器(無使用者介面的瀏覽器)瀏覽其資源,從置換網頁提取特徵,將產生的資料儲存到Elastic索引。分散式的headless瀏覽器及大規模的資料處理操作都是透過Celery(分散式任務協作的實際上標準)來協調。DefPloreX使用眾多Python資料分析技術和工具來建立資料的離線視圖(view),可以更易於分析和探索。

DefPloreX最有趣的地方是會自動將相似的置換網頁分群,並將網路攻擊事件組成攻擊活動。整個過程只需傳遞資料一次,我們所用的群集技術在本質上是進行平行處理而不受限於記憶體。DefPloreX提供文字和網頁兩種使用者介面,可以用簡單語言查詢以用在調查和鑑識上。因為它是基於Elastic Search,DefPloreX所產生的資料可以輕易地跟其他系統整合。

使用案例

下面是分析師如何利用DefPloreX來調查一起被稱為“Operation France”(在Twitter上使用“#opfrance”)攻擊活動的例子。這起攻擊活動是由網路穆斯林激進分子所運作,目的是支持激進伊斯蘭主義。

如圖1所示,該攻擊活動在4年間(2013-2016)攻擊了1,313個網站,主要是針對法國網域(圖2)。DefPloreX揭示了攻擊分子的組成以及攻擊所用的置換範本(圖3)。一些成員明確表示支持由伊斯蘭極端分子(如恐怖主義)對法國進行的攻擊(圖4)。

DefPloreX:大規模電子犯罪鑑識用的機器學習工具

DefPloreX:大規模電子犯罪鑑識用的機器學習工具

DefPloreX:大規模電子犯罪鑑識用的機器學習工具

圖1-4、攻擊活動Operation France(#opfrance)的調查範例(點擊放大)

Continue reading “DefPloreX:大規模電子犯罪鑑識用的機器學習工具”

AI 人工智慧如何有效地封鎖網路安全威脅,節省 IT 人力資源?

AI 人工智慧如何有效地封鎖網路安全威脅,節省 IT 人力資源?

曾經只出現在科幻場景的人工智慧(AI)如今已經成為現實。這項技術的突破以及深度學習和機器學習等相關學科的發展潛力是如此之大,連英國和美國等政府都公佈了其對社會長期影響的報告。沒有什麼比 AI 的潛力更對網路安全產業更有吸引力了。

這也是為什麼趨勢科技會對該領域進行龐大的投資,包括:與學術界的合作;大批新員工在該領域建立專業能力;新產品開發;及台灣T-Brain平台等舉動。我們決心用世界級的 AI 安全專業能力來擴展業界領先的雲端安全功能。

AI和機器學習可以透過學習幫助發現零時差威脅

長期以來,AI都被吹捧為即將襲來的技術創新大浪,將會永遠改變我們的生活和工作方式。但一直到過去幾年技術的進步才終於開始顯示出這項潛力。因此,我們看到 IBM 的 Watson 超級電腦在益智節目Jeopardy上擊敗了人類對手。最近,Google的 AlphaGo 先後擊敗了世界排名的圍棋棋手李世石、柯潔。卡內基梅隆大學的 Libratus計劃 甚至據報 要在德州撲克擊敗所有對手。

雖然 AI 不該被視為解決現代威脅的「萬能藥」,但它對網路安全還是有些重大的影響。AI和機器學習可以透過學習正常和不正常的行為來幫助發現零時差威脅,在察覺某些地方出問題時加以標記。這樣可以讓安全產品更有效地封鎖威脅,節省 IT 團隊所需的人力資源,專注在更加戰略性的工作。趨勢科技多年來一直都在使用機器學習,我們的高保真機器學習技術是我們 XGen 威脅防禦方法的重要組成部分。

趨勢科技投資超過 300名具備 AI 經驗的工程;贊助的「2017人工智慧論壇」 Continue reading “AI 人工智慧如何有效地封鎖網路安全威脅,節省 IT 人力資源?”

趨勢科技攜手國家實驗研究院 打造『T-brain』機器學習智慧運算分析平台

加速人工智慧技術發展,積極培育台灣科技人才

【2017年4月11日台北訊】面對 2017全球科技浪潮-人工智慧(AI)加速階段,台灣迫切面臨人才培育以提升科技產業競爭力的課題。全球網路資安解決方案領導廠商趨勢科技(東京證券交易所股票代碼:4704)為加速AI領域的人才培育,與國家實驗研究院國家高速網路與計算中心(國網中心)攜手合作啟動「趨勢科技人工智慧加速計畫」,並於今日宣佈『T-brain』機器學習智慧運算分析平台正式上線,期許建構台灣在AI人工智慧與機器學習領域正向發展的生態圈。

全球網路資安解決方案領導廠商趨勢科技(東京證券交易所股票代碼:4704)為加速AI領域的人才培育,與國家實驗研究院國家高速網路與計算中心(國網中心)攜手合作啟動「趨勢科技人工智慧加速計畫」,並於今日宣佈『T-brain』機器學習智慧運算分析平台正式上線,期許建構台灣在AI人工智慧與機器學習領域正向發展的生態圈。
全球網路資安解決方案領導廠商趨勢科技為加速AI領域的人才培育,與國家實驗研究院國家高速網路與計算中心(國網中心)攜手合作啟動「趨勢科技人工智慧加速計畫」,並於今日宣佈『T-brain』機器學習智慧運算分析平台正式上線,期許建構台灣在AI人工智慧與機器學習領域正向發展的生態圈。

 

 

趨勢科技協同國家實驗研究院 鼎力投注機器學習研發人才培育與國家科研實力

趨勢科技台灣暨香港區總經理洪偉淦表示:「因應科技變革速度與人才發展需求,趨勢科技持續推廣各項人才培育計畫,自七年前開始培育雲端資安人才,接著進一步拓展雲端研究並號召產學界投入大數據分析。如今更積極佈局在AI人工智慧的研究與人才培育,期望藉此加快國內年輕學子在機器學習領域的研發成果,讓台灣軟體人才在未來科技發展與產業革新的潮流中永不缺席。」 Continue reading “趨勢科技攜手國家實驗研究院 打造『T-brain』機器學習智慧運算分析平台”

如何偵測和阻止《躲進口袋的壞東西》:行動裝置勒索病毒?

如何偵測和阻止《躲進口袋的壞東西》:行動裝置勒索病毒?上一篇的文章:《行動裝置勒索病毒》躲進口袋的壞東西,Android勒索病毒數量增加了140%中,我們探討了惡意軟體如何鎖住設備以及如何說服受害者付錢的恐嚇手法。現在知道了壞人能夠做什麼,接下來要討論的是資安廠商用來阻止它們的偵測和解決技術。我們希望透過與其他研究人員的技術分享來提升業界解決行動勒索病毒的整體知識。

 

偵測和解決

檢視行動勒索病毒 Ransomware (勒索軟體/綁架病毒)的技術特性讓我們得以設計和做出正確的偵測和解決技術。有許多種方法可以處理這問題:我們的想法是這些惡意特性必須得出現在應用程式的程式碼中。我們利用靜態分析加上解決特殊狀況(例如透過映射進行混淆)的一些技巧。

如何偵測和阻止《躲進口袋的壞東西》:行動裝置勒索病毒?

 

圖1、各種找出行動勒索病毒的方法

Continue reading “如何偵測和阻止《躲進口袋的壞東西》:行動裝置勒索病毒?”