局部敏感哈希(Locality Sensitive Hashing,LSH)是一種作為可擴展,近似最近鄰搜尋物件的演算法。LSH可以預運算一個哈希(Hash)來跟另一哈希(Hash)作快速比較以判斷它們的相似度。LSH 的實際應用之一是用來優化資料處理和分析。一個例子是交通網路公司Uber將LSH實作在它們的架構中,用來處理資料以判斷行程有重疊的路線以減少GPS資料的不一致。趨勢科技從2009年開始就一直在此領域進行積極研究並發表了報告。在2013年,我們開放原始碼了一套適合用在安全解決方案的 LSH實作:趨勢科技局部敏感哈希(TLSH)。
TLSH是LSH的一種作法,可以用在白名單機器學習擴展的模糊哈希(fuzzy hashing)。TLSH可以生成用來分析相似性的哈希(Hash)值。TLSH根據與已知正常檔案的相似度來協助判斷是否能夠在系統上被安全地執行。比方說同一應用程式不同版本的數千個哈希(Hash)值可以透過排序和簡化來進行比較和進一步分析。後設資料(metadata)如憑證可以用來確認該檔案是否正常。
TLSH開發時也考慮到了主動合作。我們提供了開放原始碼工具來協助學習、評估和進一步加強TLSH。我們也有定期更新的後端查詢服務讓獨立安全研究人員和合作夥伴可以用來查詢及比較自己的檔案與好檔案間的相似度。 繼續閱讀