巨量資料 - 資安趨勢部落格

利用主機入侵偵測提高Hadoop安全性-2

2013 年 11 月 15 日2013 年 11 月 11 日趨勢科技 TrendMicro

正如我們在前面文章所提到的，我們可以利用OSSEC來偵測現有Hadoop和HBase系統檔案的完整性。OSSEC會產生紀錄，讓系統管理員用以檢查各種系統事件。

值得注意的是，各種巨量資料系統(Big Data System)，不只是Hadoop和HBase，都會產生驚人數量的記錄資料。至少可以說，要安裝一個巨量資料叢集並不簡單，這些日誌對於幫助IT人員建立叢集和診斷系統問題上發揮至關重要的作用。巨量資料系統管理員實際上已經習慣於透過檢查日誌檔來找到潛在問題。

OSSEC可以監控的重要Hadoop安全事件有：

HDFS作業失敗
HBase登錄
Kerberos票證授予
Root登入節點

設定OSSEC代理程式來監控一個或多個Hadoop日誌檔，需要將日誌檔案目錄路徑加入代理程式的ossec.conf檔案。對於HDFS NameNode，我們希望監控hadoop-hdfs-namenode-{host}.log檔，{host}是NameNode名稱或IP地址。這檔案通常位在/var/log/hadoop-hdfs/目錄。同樣地，對於HMASTER節點，我們會想要監控/var/log/hbase目錄下的hbase-hbase-master-{host}.log。這樣就可以從OSSEC代理程式取得我們Hadoop和HBase的日誌檔案到伺服器上。

下一步就是撰寫解碼規則來解析日誌，還有警報規則來根據日誌內容生成警報。解碼器用正規表示法組成，讓OSSEC伺服器用來找到感興趣的內容，以及將文字對應到伺服器所能辨認的標準欄位。規則讓伺服器可以檢驗解碼後的欄位來找到指示重要安全事件的內容。當一個給定規則找到來自某一解碼器的事件資料，伺服器會生成一個由規則定義的警報。

視覺化Hadoop的安全事件

視覺化OSSEC安全警報最簡單的方法是不斷地顯示警報日誌檔。雖然這也行，但它就像是在看表格內的原始資料。很難或幾近不可能去從資料中找出趨勢。

OSSEC可以透過syslog來發送警報資料給任何安全資訊和事件管理程式（SIEM），提供syslog相容性。我們喜歡用的一個SIEM是Splunk，和一個開放原始碼應用程式稱Splunk for OSSEC。這可以直接從Splunk的應用程式主控台來安裝到OSSEC伺服器上。

Splunk for OSSEC是設計用來取得OSSEC警報，然後歸納總結跟進行趨勢分析。下面顯示的是Splunk上OSSEC儀表板的例子。你可以在這裡看到事件隨著時間推移的摘要，包括之前所討論到的HBase和HDFS事件。

圖二、Splunk for OPSSEC

（圖片來自https://vichargrave.com/securing-hadoop-with-ossec/）

繼續閱讀

《CTO看資安趨勢》長遠的端點防護~從 Google 號稱每月可阻止約五萬個惡意軟體下載談起

2013 年 05 月 22 日2013 年 06 月 28 日趨勢科技 TrendMicro

當 Google談到 CAMP時，號稱這系統每天都會利用信譽評比技術做出數以百萬計的決策，每個月可以識別並阻止約五萬個惡意軟體下載。這真是做得好呀，讓網路成為更安全的地方！

不過話說回來，資安產業已經這樣做許多年了，所以並不是什麼新玩意。比方說，趨勢科技每天封鎖二億五千萬次的威脅（檔案、網站和垃圾郵件），我們的系統每天處理超過一百六十億次的查詢請求。這些查詢請求每天產生6TB的資料要分析……這才是所謂的巨量資料。

作者：Raimund Genes（趨勢科技 CTO技術長）

上個月，Robert Lemos在Dark Reading上有篇文章提到：是時候將防毒技術拋到端點防護之外了嗎？它引用Google最近所介紹的新信譽評比技術報告（CAMP，未知內容惡意軟體防護）。他們號稱可以防禦98.6％經由Chrome所下載的惡意軟體，而他們所測試的防毒軟體中，最好也僅能擋掉25％。

這聽起來就跟變魔術一樣。不過你認為這是白魔法或黑魔法就取決於你知不知道Google會將所有你電腦上或他們線上服務內「未知」檔案的屬性送回做分析。

不過對我們來說，這是舊聞了。早在二〇〇八年，趨勢科技就已經指出標準偵測技術還需要結合其他技術，像是信譽評比技術，白名單等等。我們已經大量投資在偵測惡意基礎設施和生態系統所需要的技術上。

因為趨勢科技收集這麼多的資料，我們可以幫助各地的執法者將網路犯罪份子繩之以法。當Google談到CAMP時，號稱這系統每天都會利用信譽評比技術做出數以百萬計的決策，每個月可以識別並阻止約五萬個惡意軟體下載。這真是做得好呀，讓網路成為更安全的地方！

不過話說回來，資安產業已經這樣做許多年了，所以並不是什麼新玩意。比方說，趨勢科技每天封鎖二億五千萬次的威脅（檔案、網站和垃圾郵件），我們的系統每天處理超過一百六十億次的查詢請求。這些查詢請求每天產生6TB的資料要分析……這才是所謂的巨量資料。

文章裡還談到有些客戶遇到傳統防毒軟體問題時會怎麼做。通常有下列幾種：

放棄防毒軟體

那篇作者自己都說這是個壞主意，根據最近的微軟資安情報報告，沒有端點防毒軟體保護的電腦被感染的機率增加5.5倍。所以就算是在理想狀態，比方說Chrome保護我不會中毒，那我USB 3.0介面卡最新驅動程式的光碟呢？我剛剛從朋友那所拿到的隨身碟呢？如果數位相框裡有惡意軟體呢？更別提那些會透過軟體漏洞或其他方式進來的威脅。端點防護仍然是必要的，也是有效防禦的基準線。

加強黑名單

趨勢科技多年來一直都這樣說。黑名單可以結合信譽評比技術、進階啟發式技術、通訊監控去偵測惡意殭屍網路指令，再加上我們擁有的新工具。使用者必須了解，有著確定目的而且複雜的目標攻擊是可以攻入的，但也有方法去偵測這些威脅，特別是當它們嘗試「回報（phone home）」惡意伺服器的時候。

使用白名單

沒錯！趨勢科技已經建立超過220萬已知好檔案的白名單，我們將它作為我們產品內信譽評比服務的一部分。這可以用在關鍵端點上，以最小化運行惡意軟體的風險。

繼續閱讀

巨量資料分析和主動式雲端截毒技術

2012 年 09 月 28 日2012 年 10 月 07 日趨勢科技 TrendMicro

巨量資料分析和主動式雲端截毒技術

如果說我從今日的威脅環境中學到了一件事，那就是：它是不斷成長且不斷變化的。行動運算和雲端的出現都在改變著威脅環境，但是舊的威脅，像是惡意軟體和垃圾郵件(SPAM)則還是繼續地成長著。

我們平均每天收到四十三萬個檔案加以分析，其中有廿萬個是不重複的檔案。結果就是每天會有約六萬個新的病毒碼產生。

但是，趨勢科技並不會因此而停止保護我們的客戶。從二〇〇五年起，我們開始利用電子郵件信譽評比技術來解決垃圾郵件問題。同時我們也發現這可能是潛在威脅情報的重要資產：惡意的電子郵件也可能被用來散播惡意軟體或展開目標攻擊。

趨勢科技不僅阻止了這些垃圾郵件(SPAM)進入我們客戶的環境，我們也對這些垃圾郵件做了深入的分析。讓趨勢科技可以發現新的威脅以及這些威脅的模式。

有越來越多的電子郵件不會夾帶惡意附加檔案，而是會連到惡意網站。也因此，我們開始投入巨資在網頁信譽評比技術，而這技術也是我們目前對抗網路犯罪分子的主要武器之一。

我們每天從客戶端收到近八十億次的網址查詢，我們會立即地將查詢網址的相關資訊送回去（是否惡意及它的類別）。我們的產品可以據此封鎖網址，我們也可以收集更多攻擊相關的資訊。正因為如此，我們能夠了解新的攻擊模式、命令和控制伺服器以及目標攻擊。

這三個主元素組成趨勢科技主動式雲端截毒服務 Smart Protection Network的基礎，但隨著威脅環境的發展，趨勢科技也必須隨之進化。

我們現在又加入了行動應用程式信譽評比技術。趨勢科技看到了行動惡意軟體的數量在急速地上升。在去年，Android手機惡意軟體還沒有出現在雷達上，但我們預測在二〇一二年底會看到十二萬個行動惡意軟體出現。我們還因此而被稱為騙子。但是到了今天，已經有超過三萬個已知的Android惡意軟體，我們的預測看來可能是對的。

另外，主動式雲端截毒服務 Smart Protection Network目前可以防止漏洞攻擊和惡意網路流量。全球威脅情報通過對各種威脅途徑的資料做相關聯，我們可以看到更多、關連更多、偵測更多，並更好地保護我們的客戶去面對各式各樣的攻擊。

威脅數目的上升也意味著誤報的風險越來越大，所以我們也加入了白名單技術到主動式雲端截毒技術內。趨勢科技的資料庫中有超過一億四千萬筆已知的正常應用程式，可以幫助我們在積極的惡意程式偵測和避免誤判間取得正確的平衡。

也因為趨勢科技在信譽評比和關連技術領域內的領導地位，有許多執法單位要求我們幫助他們識別並抓住犯罪份子。這也是我們的威脅研究團隊非常自豪的一件事。

除了我們的客戶和執法單位外，趨勢科技也提供威脅情報給我們的合作夥伴，像是RSA，來幫助保護世界各地數百萬的使用者。

趨勢科技主動式雲端截毒服務 Smart Protection Network所提供的關聯技術可以幫我們提供更好的安全防護。因為我們的大量投資，並將威脅專業知識加進主動式雲端截毒技術，讓我們可以提供更好的保護給我們的客戶。

下面的資料圖表說明趨勢科技主動式雲端截毒服務 Smart Protection Network是如何運作以保護趨勢科技的客戶免受攻擊：

趨勢科技主動式雲端截毒技術在軌道上阻止威脅攻擊

在Blackhole漏洞攻擊包垃圾郵件活動裡，攻擊者利用惡名昭彰的Blackhole漏洞攻擊包來攻擊使用者系統內的漏洞，好破壞他們的防護措施並竊取個人資料或金錢。有了使用者的回饋，趨勢科技的主動式雲端截毒技術可以自動判斷關鍵的攻擊組件和獨特的惡意活動順序。利用主動式雲端截毒技術所提供的自動關連技術，我們可以找出潛在的惡意活動，並且在各種惡意組件（垃圾郵件、惡意網址、漏洞攻擊和惡意軟體）進入使用者系統前就加以封鎖。

在二〇一二年六月，趨勢科技發現134起垃圾郵件攻擊了40個組織或公司。
封鎖了對到達網頁的存取，同時也發佈了可偵測漏洞攻擊包的雲端病毒碼以保護系統，對抗漏洞攻擊

更新雲端病毒碼去偵測產生的惡意檔案，預防惡意軟體被下載及執行
回復正軌：六月廿日，上午四點十六分（格林威治標準時間）

發佈基於行為判斷的垃圾郵件識別碼，防止垃圾郵件進入使用者信箱
回復正軌：八月八日，上午八點十八分（格林威治標準時間）