利用主機入侵偵測提高Hadoop安全性-2

正如我們在前面文章所提到的,我們可以利用OSSEC來偵測現有Hadoop和HBase系統檔案的完整性。OSSEC會產生紀錄,讓系統管理員用以檢查各種系統事件。

big data5

值得注意的是,各種巨量資料系統(Big Data System),不只是Hadoop和HBase,都會產生驚人數量的記錄資料。至少可以說,要安裝一個巨量資料叢集並不簡單,這些日誌對於幫助IT人員建立叢集和診斷系統問題上發揮至關重要的作用。巨量資料系統管理員實際上已經習慣於透過檢查日誌檔來找到潛在問題。

OSSEC可以監控的重要Hadoop安全事件有:

  • HDFS作業失敗
  • HBase登錄
  • Kerberos票證授予
  • Root登入節點

設定OSSEC代理程式來監控一個或多個Hadoop日誌檔,需要將日誌檔案目錄路徑加入代理程式的ossec.conf檔案。對於HDFS NameNode,我們希望監控hadoop-hdfs-namenode-{host}.log檔,{host}是NameNode名稱或IP地址。這檔案通常位在/var/log/hadoop-hdfs/目錄。同樣地,對於HMASTER節點,我們會想要監控/var/log/hbase目錄下的hbase-hbase-master-{host}.log。這樣就可以從OSSEC代理程式取得我們Hadoop和HBase的日誌檔案到伺服器上。

下一步就是撰寫解碼規則來解析日誌,還有警報規則來根據日誌內容生成警報。解碼器用正規表示法組成,讓OSSEC伺服器用來找到感興趣的內容,以及將文字對應到伺服器所能辨認的標準欄位。規則讓伺服器可以檢驗解碼後的欄位來找到指示重要安全事件的內容。當一個給定規則找到來自某一解碼器的事件資料,伺服器會生成一個由規則定義的警報。

視覺化Hadoop的安全事件

 

視覺化OSSEC安全警報最簡單的方法是不斷地顯示警報日誌檔。雖然這也行,但它就像是在看表格內的原始資料。很難或幾近不可能去從資料中找出趨勢。

OSSEC可以透過syslog來發送警報資料給任何安全資訊和事件管理程式(SIEM),提供syslog相容性。我們喜歡用的一個SIEM是Splunk,和一個開放原始碼應用程式稱Splunk for OSSEC。這可以直接從Splunk的應用程式主控台來安裝到OSSEC伺服器上。

Splunk for OSSEC是設計用來取得OSSEC警報,然後歸納總結跟進行趨勢分析。下面顯示的是Splunk上OSSEC儀表板的例子。你可以在這裡看到事件隨著時間推移的摘要,包括之前所討論到的HBase和HDFS事件。

 

 圖二、Splunk for OPSSEC

(圖片來自https://vichargrave.com/securing-hadoop-with-ossec/

  繼續閱讀

透過主機入侵偵測來提高Hadoop安全性-1

多年來,Hadoop開發社群逐步地增加 Hadoop 和HBase 的功能,以提高運作的安全性。這些功能包括Kerberos使用者身份驗證,加密叢集節點間的資料傳輸,和HDFS檔案加密。趨勢科技在Hadoop的公開生態系內貢獻了數個安全性功能(參考我們之前的文章保護巨量資料和Hadoop以了解更多詳情)。

big data1

雖然這些安全功能都很重要,但它們主要集中在保護Hadoop資料。並沒有讓IT人員擁有他們Hadoop叢集內安全事件的能見度。這裡就是一個良好的主機入侵偵測系統可以發揮的地方。我們一直致力於運用OSSEC,我們的開放原始碼主機入侵偵測系統(HIDS)來提供巨量資料的安全性,為Hadoop和HBase系統加入安全監控能力。在這篇文章裡,我們會解析OSSEC的功能。

OSSEC概述

OSSEC提供許多重要的安全功能,包括文件完整性檢查、系統日誌分析和警報生成。OSSEC具備一個代理/伺服器架構。代理程式處理日誌、檔案和(Windows系統上)註冊碼的監控,然後用UDP將相關日誌以加密的形式送回伺服器。代理程式系統上的入侵通常可以透過檔案變動或是安全事件記錄而加以偵測。

圖一、用OSSEC保護Hadoop安全

(圖片來自https://vichargrave.com/securing-hadoop-with-ossec/

 

在伺服器上,日誌透過解碼器加以解析,並用內建規則加以解譯以產生安全警報。OSSEC內建了大量的解碼器和規則,可以支援廣泛種類的系統和事件。OSSEC的覆蓋率也可以透過自行定義的日誌解碼器及安全警報規則來加以擴展。

 

Hadoop的檔案完整性檢查

Hadoop和HBase系統依賴大量的設定檔案和Java檔案才能正常運作。任何對這些檔案未經授權的變更都會對叢集產生不好的影響。對Hadoop系統內的HDFS Namenode和HBase系統內的HMASTER節點尤其如此。前者控制HDFS的運作,後者則涉及HMASTER和地區伺服器間的I/O。

OSSEC可以偵測這些重要Hadoop檔案的變動。當OSSEC代理程式啟動時,它會遞迴地掃描使用者指定的目錄,計算每一個檔案的MD5和SHA1雜湊值。檔案名稱和雜湊值儲存在OSSEC伺服器的資料庫內。代理程式會根據使用者指定的時間間隔(通常每隔幾個小時)來重複此作業。當伺服器收到某一給定檔案的雜湊值和之前所儲存的不同,伺服器會生成一個安全警報。OSSEC伺服器會在自己的警報日誌檔中記錄每個安全警報。 繼續閱讀

巨量資料 Big Data和穿戴式技術讓人對儲存實作產生焦慮

 

 

巨量資料分析和雲端儲存的快速成長,也帶來了網路犯罪分子和國家組織前所未有的網路監控狀況,更重新喚起了IT專業人士和消費者曾經想過的問題:哪裡是資料被真正儲存的地方?雖然舊時代的儲存媒體,像是磁帶和硬碟都被打散了,很多情況下都被虛擬儲存設備所取代,但是企業和個人都很難跳脫資料隱私和安全性的問題,而這兩者都和資料在哪裡、如何、由何人處理緊密關連。

 

要說的話,遠端代管運算的興起的確讓確保敏感資料被妥善處理變得更加困難。同時,體積越來越小也越來越隨身的運算設備的成長,包括智慧型手機、智慧型手錶和穿戴式追蹤設備,都可以看出消費者對於收集不斷成長個人資料的需求。雖然一般人似乎傾向於信任網路公司會好好地處理這些資料,像是睡眠狀況或所在位置,但大多數人可能並不知道資料被保存在哪裡。

 

網路服務供應商和IT部門面對著資料量激增的挑戰,他們必須提升容量,並且提供他們資料儲存的透明度。除了提供可供運作的商業智慧,巨量資料計畫還應該要尊重消費者的隱私,並考慮可能的威脅。大量的資料往往只集中在少數的雲端伺服器上,安全專家也有責任去幫助企業保護這些計畫,最終可以在客戶需求和加強安全間找到平衡點。

 

巨量資料和信任問題

 

巨量資料讓敏感、可識別個人身份的資訊變成可流通的商品。Cecilia Kang在華盛頓郵報所報導的關於Google即將到來的服務條款更新引起了很大的爭議,因為有一個新規定讓這網路服務巨頭可以利用其儲存的可觀使用者資料來產生「分享代言」。這些廣告會根據他們之前查看或喜歡的產品、位置或線上內容來連結使用者的姓名和照片 – 來自他們的Google+帳號。

繼續閱讀

《CTO看資安趨勢》長遠的端點防護~從 Google 號稱每月可阻止約五萬個惡意軟體下載談起

當 Google談到 CAMP時,號稱這系統每天都會利用信譽評比技術做出數以百萬計的決策,每個月可以識別並阻止約五萬個惡意軟體下載。這真是做得好呀,讓網路成為更安全的地方!

不過話說回來,資安產業已經這樣做許多年了,所以並不是什麼新玩意。比方說,趨勢科技每天封鎖二億五千萬次的威脅(檔案、網站和垃圾郵件),我們的系統每天處理超過一百六十億次的查詢請求。這些查詢請求每天產生6TB的資料要分析……這才是所謂的巨量資料。

作者:Raimund Genes(趨勢科技 CTO技術長)

CTO

 

上個月,Robert Lemos在Dark Reading上有篇文章提到:是時候將防毒技術拋到端點防護之外了嗎?它引用Google最近所介紹的新信譽評比技術報告(CAMP,未知內容惡意軟體防護)。他們號稱可以防禦98.6%經由Chrome所下載的惡意軟體,而他們所測試的防毒軟體中,最好也僅能擋掉25%。

這聽起來就跟變魔術一樣。不過你認為這是白魔法或黑魔法就取決於你知不知道Google會將所有你電腦上或他們線上服務內「未知」檔案的屬性送回做分析。

不過對我們來說,這是舊聞了。早在二〇〇八年,趨勢科技就已經指出標準偵測技術還需要結合其他技術,像是信譽評比技術,白名單等等。我們已經大量投資在偵測惡意基礎設施和生態系統所需要的技術上。

因為趨勢科技收集這麼多的資料,我們可以幫助各地的執法者將網路犯罪份子繩之以法。當Google談到CAMP時,號稱這系統每天都會利用信譽評比技術做出數以百萬計的決策,每個月可以識別並阻止約五萬個惡意軟體下載。這真是做得好呀,讓網路成為更安全的地方!

不過話說回來,資安產業已經這樣做許多年了,所以並不是什麼新玩意。比方說,趨勢科技每天封鎖二億五千萬次的威脅(檔案、網站和垃圾郵件),我們的系統每天處理超過一百六十億次的查詢請求。這些查詢請求每天產生6TB的資料要分析……這才是所謂的巨量資料。

文章裡還談到有些客戶遇到傳統防毒軟體問題時會怎麼做。通常有下列幾種:

放棄防毒軟體

那篇作者自己都說這是個壞主意,根據最近的微軟資安情報報告沒有端點防毒軟體保護的電腦被感染的機率增加5.5倍。所以就算是在理想狀態,比方說Chrome保護我不會中毒,那我USB 3.0介面卡最新驅動程式的光碟呢?我剛剛從朋友那所拿到的隨身碟呢?如果數位相框裡有惡意軟體呢?更別提那些會透過軟體漏洞或其他方式進來的威脅。端點防護仍然是必要的,也是有效防禦的基準線。

加強黑名單

趨勢科技多年來一直都這樣說。黑名單可以結合信譽評比技術、進階啟發式技術、通訊監控去偵測惡意殭屍網路指令,再加上我們擁有的新工具。使用者必須了解,有著確定目的而且複雜的目標攻擊是可以攻入的,但也有方法去偵測這些威脅,特別是當它們嘗試「回報(phone home)」惡意伺服器的時候。

使用白名單

沒錯!趨勢科技已經建立超過220萬已知好檔案的白名單,我們將它作為我們產品內信譽評比服務的一部分。這可以用在關鍵端點上,以最小化運行惡意軟體的風險。

繼續閱讀

《總經理看資安趨勢》Big Data與我何干?

其實所謂的大數據,指的就是當我們每天的生活,都離不開網路,行動電話,我們週遭布滿監視器、感應器,這些裝置,都無時無刻的紀錄我們的行為,透過人工智慧,不管是你說話、po的文、你的表情,最後都能被轉為可分析的數據,然後數據工程師就開始在裡頭挖寶,趨勢科技創辦人張明正認為,大數據時代裡,台灣有一個難得的機會,就是開發可以上傳下載數據的感應器。

21世紀原油 大數據時代的台灣機會~遇見未來城市 中天電視台
BOB

 

 

  • 作者:洪偉淦  趨勢科技台灣暨香港區總經理

 

回顧過去一整年,無庸置疑,海量資料(Big Data)絕對是熱門IT話題,但部分對此涉獵未深的人士,不免感到納悶,海量資料與我何干?能帶來何等好處?值得如此賣力推廣?

Big Data與我何干
Big Data與我何干

事實上,海量資料的應用效益,不僅遍及各類商業領域,甚至攸關民眾福祉,堪稱意義深長,無怪乎引來眾多資訊廠商積極搶灘。從商業角度來看,先以IT從業人員為例,其首要任務乃是維持系統的安全與穩定,因此只要遭逢若干異象,就應立即根據大量系統日誌進行根本原因分析(RCA),預測可能損及系統維運的因子,以發揮防微杜漸之效,海量資料分析技術定可幫上大忙。

此外,諸如半導體等製造業者,亟需從製程參數彙集大量樣本,據此強化變異分析精準度,大幅提高良率改善幅度;又或者,如電信、金融等觸及龐大資料的產業,基於決策輔助、精準行銷等目的,經常需要從川流不息的資料執行細膩分析,覓得足以帶動營收增長的線索。對於這些行業,一旦善用海量資料分析,資料採集與探勘的格局,便可順勢放大數十倍、數百倍,則過往因採樣或分析不易、抑或是受限於儲存運算能力等限制,導致營運成長受阻之困局,至此已見豁然開朗。 繼續閱讀