利用主機入侵偵測提高Hadoop安全性-2

正如我們在前面文章所提到的,我們可以利用OSSEC來偵測現有Hadoop和HBase系統檔案的完整性。OSSEC會產生紀錄,讓系統管理員用以檢查各種系統事件。

big data5

值得注意的是,各種巨量資料系統(Big Data System),不只是Hadoop和HBase,都會產生驚人數量的記錄資料。至少可以說,要安裝一個巨量資料叢集並不簡單,這些日誌對於幫助IT人員建立叢集和診斷系統問題上發揮至關重要的作用。巨量資料系統管理員實際上已經習慣於透過檢查日誌檔來找到潛在問題。

OSSEC可以監控的重要Hadoop安全事件有:

  • HDFS作業失敗
  • HBase登錄
  • Kerberos票證授予
  • Root登入節點

設定OSSEC代理程式來監控一個或多個Hadoop日誌檔,需要將日誌檔案目錄路徑加入代理程式的ossec.conf檔案。對於HDFS NameNode,我們希望監控hadoop-hdfs-namenode-{host}.log檔,{host}是NameNode名稱或IP地址。這檔案通常位在/var/log/hadoop-hdfs/目錄。同樣地,對於HMASTER節點,我們會想要監控/var/log/hbase目錄下的hbase-hbase-master-{host}.log。這樣就可以從OSSEC代理程式取得我們Hadoop和HBase的日誌檔案到伺服器上。

下一步就是撰寫解碼規則來解析日誌,還有警報規則來根據日誌內容生成警報。解碼器用正規表示法組成,讓OSSEC伺服器用來找到感興趣的內容,以及將文字對應到伺服器所能辨認的標準欄位。規則讓伺服器可以檢驗解碼後的欄位來找到指示重要安全事件的內容。當一個給定規則找到來自某一解碼器的事件資料,伺服器會生成一個由規則定義的警報。

視覺化Hadoop的安全事件

 

視覺化OSSEC安全警報最簡單的方法是不斷地顯示警報日誌檔。雖然這也行,但它就像是在看表格內的原始資料。很難或幾近不可能去從資料中找出趨勢。

OSSEC可以透過syslog來發送警報資料給任何安全資訊和事件管理程式(SIEM),提供syslog相容性。我們喜歡用的一個SIEM是Splunk,和一個開放原始碼應用程式稱Splunk for OSSEC。這可以直接從Splunk的應用程式主控台來安裝到OSSEC伺服器上。

Splunk for OSSEC是設計用來取得OSSEC警報,然後歸納總結跟進行趨勢分析。下面顯示的是Splunk上OSSEC儀表板的例子。你可以在這裡看到事件隨著時間推移的摘要,包括之前所討論到的HBase和HDFS事件。

 

 圖二、Splunk for OPSSEC

(圖片來自https://vichargrave.com/securing-hadoop-with-ossec/

  繼續閱讀

透過主機入侵偵測來提高Hadoop安全性-1

多年來,Hadoop開發社群逐步地增加 Hadoop 和HBase 的功能,以提高運作的安全性。這些功能包括Kerberos使用者身份驗證,加密叢集節點間的資料傳輸,和HDFS檔案加密。趨勢科技在Hadoop的公開生態系內貢獻了數個安全性功能(參考我們之前的文章保護巨量資料和Hadoop以了解更多詳情)。

big data1

雖然這些安全功能都很重要,但它們主要集中在保護Hadoop資料。並沒有讓IT人員擁有他們Hadoop叢集內安全事件的能見度。這裡就是一個良好的主機入侵偵測系統可以發揮的地方。我們一直致力於運用OSSEC,我們的開放原始碼主機入侵偵測系統(HIDS)來提供巨量資料的安全性,為Hadoop和HBase系統加入安全監控能力。在這篇文章裡,我們會解析OSSEC的功能。

OSSEC概述

OSSEC提供許多重要的安全功能,包括文件完整性檢查、系統日誌分析和警報生成。OSSEC具備一個代理/伺服器架構。代理程式處理日誌、檔案和(Windows系統上)註冊碼的監控,然後用UDP將相關日誌以加密的形式送回伺服器。代理程式系統上的入侵通常可以透過檔案變動或是安全事件記錄而加以偵測。

圖一、用OSSEC保護Hadoop安全

(圖片來自https://vichargrave.com/securing-hadoop-with-ossec/

 

在伺服器上,日誌透過解碼器加以解析,並用內建規則加以解譯以產生安全警報。OSSEC內建了大量的解碼器和規則,可以支援廣泛種類的系統和事件。OSSEC的覆蓋率也可以透過自行定義的日誌解碼器及安全警報規則來加以擴展。

 

Hadoop的檔案完整性檢查

Hadoop和HBase系統依賴大量的設定檔案和Java檔案才能正常運作。任何對這些檔案未經授權的變更都會對叢集產生不好的影響。對Hadoop系統內的HDFS Namenode和HBase系統內的HMASTER節點尤其如此。前者控制HDFS的運作,後者則涉及HMASTER和地區伺服器間的I/O。

OSSEC可以偵測這些重要Hadoop檔案的變動。當OSSEC代理程式啟動時,它會遞迴地掃描使用者指定的目錄,計算每一個檔案的MD5和SHA1雜湊值。檔案名稱和雜湊值儲存在OSSEC伺服器的資料庫內。代理程式會根據使用者指定的時間間隔(通常每隔幾個小時)來重複此作業。當伺服器收到某一給定檔案的雜湊值和之前所儲存的不同,伺服器會生成一個安全警報。OSSEC伺服器會在自己的警報日誌檔中記錄每個安全警報。 繼續閱讀

巨量資料 Big Data和穿戴式技術讓人對儲存實作產生焦慮

 

 

巨量資料分析和雲端儲存的快速成長,也帶來了網路犯罪分子和國家組織前所未有的網路監控狀況,更重新喚起了IT專業人士和消費者曾經想過的問題:哪裡是資料被真正儲存的地方?雖然舊時代的儲存媒體,像是磁帶和硬碟都被打散了,很多情況下都被虛擬儲存設備所取代,但是企業和個人都很難跳脫資料隱私和安全性的問題,而這兩者都和資料在哪裡、如何、由何人處理緊密關連。

 

要說的話,遠端代管運算的興起的確讓確保敏感資料被妥善處理變得更加困難。同時,體積越來越小也越來越隨身的運算設備的成長,包括智慧型手機、智慧型手錶和穿戴式追蹤設備,都可以看出消費者對於收集不斷成長個人資料的需求。雖然一般人似乎傾向於信任網路公司會好好地處理這些資料,像是睡眠狀況或所在位置,但大多數人可能並不知道資料被保存在哪裡。

 

網路服務供應商和IT部門面對著資料量激增的挑戰,他們必須提升容量,並且提供他們資料儲存的透明度。除了提供可供運作的商業智慧,巨量資料計畫還應該要尊重消費者的隱私,並考慮可能的威脅。大量的資料往往只集中在少數的雲端伺服器上,安全專家也有責任去幫助企業保護這些計畫,最終可以在客戶需求和加強安全間找到平衡點。

 

巨量資料和信任問題

 

巨量資料讓敏感、可識別個人身份的資訊變成可流通的商品。Cecilia Kang在華盛頓郵報所報導的關於Google即將到來的服務條款更新引起了很大的爭議,因為有一個新規定讓這網路服務巨頭可以利用其儲存的可觀使用者資料來產生「分享代言」。這些廣告會根據他們之前查看或喜歡的產品、位置或線上內容來連結使用者的姓名和照片 – 來自他們的Google+帳號。

繼續閱讀

巨量資料(Big Data)分析如何識別網路釣魚惡意郵件?

作者:RungChi Chen

 網路釣魚(Phishing)是長期以來的問題,而且情況變得越來越糟。現在的釣魚郵件和正常郵件非常的相似,讓使用者和自動化系統都難以分辨。結果會讓使用者點入釣魚郵件內嵌的連結,被帶到會直接或間接竊取他們個人資料的惡意網站

這份研究報告介紹了趨勢科技新開發的技術,會關聯電子郵件格式和郵件傳送程式以偵測釣魚郵件。利用實際的例子來展示如何在趨勢科技主動式雲端截毒服務  Smart Protection Network技術的架構上使用「巨量資料(Big Data)分析」來主動識別網路釣魚郵件。讓我們可以在今日更加複雜的電子郵件威脅下保護我們的客戶。

2013年的網路釣魚:直接複製正常的郵件,只將連結稍作修改,導致真假難分

 2013年的網路釣魚比之前任何時候都更為先進和複雜。越來越難區分釣魚郵件和正常郵件。

最近來自LinkedIn的網路釣魚郵件樣本

圖一:最近來自LinkedIn的網路釣魚郵件樣本

 

 

來自Facebook的網路釣魚郵件樣本

圖二:最近來自Facebook的網路釣魚郵件樣本

 

攻擊者可能是直接複製正常的郵件,只是將連結稍作修改。這些連結會指向內藏漏洞攻擊包的惡意網站,以攻陷使用者的電腦。

內容的相似程度讓安全廠商很難依據內容去偵測和過濾郵件。過濾此類郵件可能會導致誤判問題,因為正常的電子郵件也可能會被錯判為「垃圾郵件」。根據內嵌網址來判斷郵件也變得很困難,因為它們的平均壽命都非常的短。註1

我們需要新技術去偵測這類精心製造的惡意郵件。本文所討論的技術使用了巨量資料分析,關聯大量垃圾郵件內的資料以確定其來源。註2

電子郵件認證狀況

有許多協定,包括網域簽章郵件識別(DKIM)和寄件者政策架構(SPF)被設計實行來確認寄件者和郵件的完整性。註3

上面所提到的這兩種機制是寄件者認證技術,可以幫助控制垃圾郵件,改善正常郵件寄送。DKIM在郵件加上公開金鑰加密。寄件者使用私密金鑰來簽章自己的郵件,並透過DNS來公布公開金鑰。當收件者收到聲稱來自特定公司的電子郵件時,他們會從DNS取得公開金鑰以檢查這電子郵件是否真的來自於該公司。應用DKIM可以幫忙解決釣魚問題。

然而,上述機制並無法解決垃圾郵件和釣魚郵件相關的所有問題,原因有三。首先,全球DKIM(35%)和SPF(63%)的採用率並不高。註4 其次,DKIM對於回覆電子郵件並不敏感,這代表有些網路釣魚郵件可以使用有效的DKIM簽章寄送。註5 最後,轉寄郵件會造成合理的簽名失敗率,高達4%。

郵件網路基礎

我們的方法是將郵件與寄送它們的IP地址進行關聯。在某些方面,它利用正常和釣魚郵件間的相似處以幫助我們。

我們開發了識別常見寄送電子郵件的方法。我們嘗試對每封郵件產生一個識別特徵碼。這特徵碼所考慮的要素包括寄件者地址的網域、格式結構、郵件內容以及是否有身份認證。被分類的電子郵件接著會與寄送它們的IP地址進行關聯。

 

 

圖三:IP地址和電子郵件的關係圖

 圖三:IP地址和電子郵件的關係圖

繼續閱讀

《CTO看資安趨勢》長遠的端點防護~從 Google 號稱每月可阻止約五萬個惡意軟體下載談起

當 Google談到 CAMP時,號稱這系統每天都會利用信譽評比技術做出數以百萬計的決策,每個月可以識別並阻止約五萬個惡意軟體下載。這真是做得好呀,讓網路成為更安全的地方!

不過話說回來,資安產業已經這樣做許多年了,所以並不是什麼新玩意。比方說,趨勢科技每天封鎖二億五千萬次的威脅(檔案、網站和垃圾郵件),我們的系統每天處理超過一百六十億次的查詢請求。這些查詢請求每天產生6TB的資料要分析……這才是所謂的巨量資料。

作者:Raimund Genes(趨勢科技 CTO技術長)

CTO

 

上個月,Robert Lemos在Dark Reading上有篇文章提到:是時候將防毒技術拋到端點防護之外了嗎?它引用Google最近所介紹的新信譽評比技術報告(CAMP,未知內容惡意軟體防護)。他們號稱可以防禦98.6%經由Chrome所下載的惡意軟體,而他們所測試的防毒軟體中,最好也僅能擋掉25%。

這聽起來就跟變魔術一樣。不過你認為這是白魔法或黑魔法就取決於你知不知道Google會將所有你電腦上或他們線上服務內「未知」檔案的屬性送回做分析。

不過對我們來說,這是舊聞了。早在二〇〇八年,趨勢科技就已經指出標準偵測技術還需要結合其他技術,像是信譽評比技術,白名單等等。我們已經大量投資在偵測惡意基礎設施和生態系統所需要的技術上。

因為趨勢科技收集這麼多的資料,我們可以幫助各地的執法者將網路犯罪份子繩之以法。當Google談到CAMP時,號稱這系統每天都會利用信譽評比技術做出數以百萬計的決策,每個月可以識別並阻止約五萬個惡意軟體下載。這真是做得好呀,讓網路成為更安全的地方!

不過話說回來,資安產業已經這樣做許多年了,所以並不是什麼新玩意。比方說,趨勢科技每天封鎖二億五千萬次的威脅(檔案、網站和垃圾郵件),我們的系統每天處理超過一百六十億次的查詢請求。這些查詢請求每天產生6TB的資料要分析……這才是所謂的巨量資料。

文章裡還談到有些客戶遇到傳統防毒軟體問題時會怎麼做。通常有下列幾種:

放棄防毒軟體

那篇作者自己都說這是個壞主意,根據最近的微軟資安情報報告沒有端點防毒軟體保護的電腦被感染的機率增加5.5倍。所以就算是在理想狀態,比方說Chrome保護我不會中毒,那我USB 3.0介面卡最新驅動程式的光碟呢?我剛剛從朋友那所拿到的隨身碟呢?如果數位相框裡有惡意軟體呢?更別提那些會透過軟體漏洞或其他方式進來的威脅。端點防護仍然是必要的,也是有效防禦的基準線。

加強黑名單

趨勢科技多年來一直都這樣說。黑名單可以結合信譽評比技術、進階啟發式技術、通訊監控去偵測惡意殭屍網路指令,再加上我們擁有的新工具。使用者必須了解,有著確定目的而且複雜的目標攻擊是可以攻入的,但也有方法去偵測這些威脅,特別是當它們嘗試「回報(phone home)」惡意伺服器的時候。

使用白名單

沒錯!趨勢科技已經建立超過220萬已知好檔案的白名單,我們將它作為我們產品內信譽評比服務的一部分。這可以用在關鍵端點上,以最小化運行惡意軟體的風險。

繼續閱讀