解讀趨勢科技 MITRE 評測結果十大重點

解讀趨勢科技 MITRE 評測結果十大重點

MITRE ATT&CK 評測的推出,廣獲第三方測試產業的好評。ATT&CK 架構,尤其是其中的評測項目,對於整體資安產業與市場上個別產品的提升發揮了莫大的幫助。

這些評測項目的測試結果是非常有用的資訊,但我們也必須承認,除了熟悉這些分析的專家之外,其他人很難窺探其真正意涵,儘管這些資訊非常寶貴,但卻過於簡要。這份資料不僅可能出現多種不同看法,甚至出現多種解讀與結果呈現方式 (想必您在看過各家廠商的部落格和產業分析文章之後已經發現這點)。自從這份資料在上週發布以來,我們內部便一直在進行了解,未來幾天、甚至幾週之內也會更進一步檢驗其結果。

人們對於這份資料的了解越透徹,其內涵就會越清楚,因此,我們希望在此和大家分享一下趨勢科技所整理出的十大重點:

1.參考第一輪的測試結果很重要。

mitre1-e1588166647158
  • 趨勢科技在第一輪的整體偵測率排行第一。在出廠預設組態下的測試結果,我們產品的偵測率領先所有對手。由於 MITRE 評測允許廠商在第一輪測試之後對產品進行調整以便在第二輪重新測試時取得更好成績,所以 MITRE 評測的最後成績是所有產品在調整之後再測試的結果。如果只看產品在原始出廠狀態下的表現,我們的偵測率在所有受測 21 家廠商當中排名第一。
  • 這一點之所以重要,是因為產品的調整幅度可大可小,而且不一定能立即反應在廠商目前上市的產品上。此外我們也認為,廠商一旦掌握了駭客的戰術之後就更容易在測試中取得良好成績,但在真實世界裡,當客戶面對駭客攻擊時,根本沒有第二次的防守機會。
  • 話雖如此,我們也好好把握了第二輪測試機會並藉此發掘產品改善的契機,但由於我們的總成績已經很高,因此就算去除掉設定調整後所改善的部分,我們第一輪的整體成績還是第一。
mitre2-e1588166757317
  • 不過我們還是並非完全照單全收 MITRE 的測試結果而不去做一些調整。最後趨勢科技取得了第二高的偵測率 (超過 91%)。

2.偵測事件的幾個大分類在重要性層次上是有階層的,其中以「技術」類型最重要。

  • 偵測事件可分成幾種不同類型,它們也具有不同的重要性:
    • 「一般」(General) 類型偵測事件代表與任何特定戰術或技術都無關的可疑事件。
    • 「戰術」(Tactic) 類型偵測事件,代表該事件可歸諸於某項駭客戰術 (例如存取登入憑證)。
    • 「技術」(Technique) 類型偵測事件,代表該事件可歸諸於某種不肖行為 (例如搜刮登入憑證)。
  • 我們在「技術」類型事件的偵測表現優異,而這也是衡量偵測能力較為重要的一項指標。一旦對應到 MITRE 的某項技術,就很容易找到其所屬的戰術,因為同一種技術只適用於少數幾種戰術。當您在比較評測結果時,您會發現整體上廠商在戰術上的偵測率較低,這證明了廠商們知道重點該擺在哪裡。
  • 同理,我們的「一般」類型事件偵測率比我們的「技術」類型事件偵測率低,這事實上是件好事。因為一般類型事件的偵測率通常跟特徵比對技術有關,所以這證明了我們較「不」仰賴防毒技術。
  • 還有一點很重要的是,我們在「遙測」(Telemetry) 類型事件的偵測表現優異,所以更能讓資安分析人員掌握所需的情報類型和情報深度來詳細調查整體環境的駭客活動。
https://attackevals.mitre.org/APT29/detection-categories.html

3.警示越多不等於越有幫助,事實剛好相反。

  • 乍看之下,很多人會以為警示的數量與偵測事件的數量是相等的。然而,並非所有偵測事件都一樣重要,也不是所有的偵測事件都需要產生警示 (請記住,這些偵測事件是針對每個低階攻擊步驟,而非每一起攻擊)。
  • 警示產生太多可能會造成警示疲乏的現象,讓您更難從雜訊中過濾出最重要的事件。
  • 當您比較一下我們高準度偵測技術所產生的警示 (例如「技術」類型偵測事件),您就會知道趨勢科技在過濾偵測雜訊以盡可能減少警示數量方面做得很好,我們只會產生有意義/可採取行動的警示。

4.託管式服務偵測事件也很重要。

  • 我們的 MDR (託管式偵測及回應) 分析師就是我們「延遲偵測」成績的幕後功臣。這是經由手動方式且可能非自動啟動的偵測事件。
  • 我們的測試成績展現了我們 MDR 服務在強化偵測能力方面的優勢。如果能將 MDR 服務納入評測當中,我們相信您應該會期望它能改善偵測率,因為這證明了服務團隊能根據蒐集到的遙測資料來偵測威脅。
  • 不過值得注意的是,「延遲偵測」的數據並非意味著這些事件只能透過這種方式來偵測,同樣的事件也可能透過其他方式偵測,所以不同偵測類型之間會有重疊的情況。
  • 我們的偵測率就算沒有納入這項人工服務的成績,依然還是非常亮眼,大約是 86% (若加上 MDR 則提升至 91%)。
mitre3

5.別忘了攻擊防護和攔截能力很重要!

  • MITRE 評測並未測試產品對於攻擊的攔截/防護能力,而是完全只看產品偵測已發生事件的成效,因此並未包含防護成效的評測。
  • 但趨勢科技認為防護能力非常重要,因為我們的理念是盡可能攔截及預防更多的攻擊,來減少客戶必須善後或減緩衝擊的情況。

6.不能只單看 Windows 平台。

  • 目前 MITRE 評測僅單看 Windows 端點與伺服器,不考慮 Linux 等其他平台,而這些反而是趨勢科技的強項之一。
  • 我們希望未來該評測能涵蓋更多作業系統,MITRE 已宣布下次將會納入一套 Linux 系統。

7.該評測點出了我們產品的未來走向。

  • 我們相信這項評測最重要的重點在於主要偵測項目 (也就是前面所說的,偵測各種技術)。交叉關聯的部分則屬於次要偵測類型,也就是初步偵測之後所發生的狀況。
  • 我們在主要偵測項目上的成績令人相當滿意,並且也展現了利用 Trend Micro XDR 來提升我們交叉關聯能力的絕佳機會,這是我們不斷投入重金發展的一項能力,同時也是 2020 年 6 月下旬左右將為客戶提供的核心功能。
  • 這項評測並未測試我們涵蓋電子郵件防護的交叉關聯能力,我們在交叉關聯方面所能提供的價值遠超越此評測所能呈現的結果。

8.此評測有助於我們開發更好的產品。

  • 這份評測提供了我們相當寶貴的資訊,讓我們了解自己需要改進之處,也促使我們開始著手進行產品更新。
  • 此外,一套「純偵測」模式的產品也有助於增強 SOC 的情報能力,因此,參加這項評測也使得我們開始調整產品的設計,讓產品在組態設定上更具彈性,如此一來就能為 SOC 提供一套更強大的工具。
  • 儘管某些廠商會拿這些數據來批評我們,但我們在組態設定調整之後所提升的偵測率顯示出我們在必要時能夠快速因應威脅情勢的變化。

9.MITRE 的意義不光只有評測而已。

  • 評測固然重要,但更重要的是 MITRE ATT&CK 是一個可供資安產業參考及做出貢獻的知識平台。
  • 建立一套能更清楚描述駭客行為、意圖、作法的共通語言和架構,有助於能讓整個產業變得更加強大。
  • 針對 MITRE 的許多應用與發展,趨勢科技一直在做出各種貢獻,提出一些新的技術來納入這個架構矩陣當中,並將此架構運用到我們的產品中,讓 ATT&CK 成為警示與偵測事件描述的共通語言以及搜尋參數。

10.人們很難不被恐懼、不安和疑惑所苦!

  • MITRE 不提供分數、排名或產品對照比較,因此有別於其他測試或產業分析報告,它不會選出所謂的「領導者」。
  • 因為這項評測包含了許多衡量條件,所以可有許多不同的看法、解讀或呈現結果的方式 (例如這篇部落格就是一種)。
  • 所以,很重要的是每家企業機構都應仔細了解這套架構及其評測內容,最重要的是要了解自己的需求和重點,因為這樣才能將評測的結果應用到自己的實際情況。
  • 您可以請您的資安廠商協助您在一個您能夠理解的框架下解讀這些評測結果。資安廠商有責任教育客戶,而不是利用客戶的無知。

原文出處:Trend Micro’s Top Ten MITRE Evaluation Considerations