視訊電話別亂接!眼見不一定真 揭詐團「AI變臉視訊」新手法
不要再相信「眼見為憑」、「有圖有真相」了!
FBI發現有人用盜來的個資與Deepfake技術求職 ,也有詐騙集團利用AI變臉軟體一邊變臉一邊直播,類似的手法越來越猖獗,根據 三立新聞報導 ,女警還示範如何講話講著講著「瞬間變成你同學」 。
來源:視訊電話別亂接!眼見不一定真 揭詐團「AI變臉視訊」新手法 三立新聞網
警方分析深偽技術,發現已有3類詐騙手法被應用:
⛔️ 一、電話詐騙:模仿親友聲音,詐騙金錢及個資。
2019 年 9 月出現 Deepfake 技術製作的一段語音來誘騙英國某高階經理將 243,000 美元匯到某個歹徒所開設的帳戶。根據受害企業的保險公司表示,歹徒在電話中假冒的聲音不僅能模仿被冒充者的聲音,還能模仿其說話的語調、斷句及腔調。
➤ 延伸閱讀:「媽,我被綁架了!」小心你上傳的短影片, 3秒就被AI 做成「分聲」詐騙你媽
⛔️ 二、視訊詐騙:DeepFake 深偽技術可合成影片及語音,甚至發展成視訊詐騙,除了政治人物,名人也是仿冒的對象,比如馬斯克和幣安執行長都曾遭冒用推銷詐騙加密貨幣。
2023年五月某科技公司郭姓老闆接了一通好友的視訊電話, 10分鐘蒸發1873萬,原來好友的影像竟然就是AI合成。
⛔️ 三、恐嚇詐騙:移花接木合成不雅照片,恐嚇勒索當事人。台灣知名的 26歲百萬 YouTuber 小玉自曝「花150人民幣」買軟體「只花30分鐘和一個配音員」就可以讓肖像被盜對象講出任何他想要對方講的話」, 他非法利用DeepFake 犯罪工具,將包含黃捷、鄭家純(雞排妹)、高嘉瑜、龍龍等名人的臉合成在A片女優身上,移花接木的性愛影片,造成百人受害,不法所得逾新台幣上千萬元。
(2023.09.01 更新)
本文重點導覽:
🔻 Deepfake定義 –什麼是 Deepfake(深偽技術)
🔻 YouTube 和 Twitter 如何打擊Deepfake ?
1986年賣座片「捍衛戰士」(Top Gun)續集「捍衛戰士:獨行俠」(Top Gun: Maverick)終於登上大銀幕,男主角湯姆克魯斯(Tom Cruise)在電影裡穿的飛行夾克在台灣也被討論爆表,因為原先預告片消失的中華民國國旗回來了,令台灣觀眾叫好。
隨著阿湯哥電影議題的發燒,不禁令人想起去年在Tiktok裡一系列湯姆克魯斯不小心滑倒、吃棒棒糖、變魔術的日常生活影片,這些幾乎看不出破綻的影片,其實是電影後製特效專家Chris Ume,找來專門模仿阿湯哥的知名演員 Miles Fisher,用 DeepFake 後製技術完成的創作。
儘管有網友事後表示,假湯姆克魯斯的口型與聲音有時會對不太上,演員的身高比本尊高太多,但是一般網友幾乎無法分辨。雖然這系列影片沒有被用於非法用途,但也提醒著我們,別再相信「眼見為憑」了。
順道提醒雇主們注意,跟你線上面試的是否為本人?FBI 警告有人用盜來的個資,利用 Deepfake 技術應徵遠端工作,以為只要過了面試這一關,就能避免被識破,這些職缺甚至可以存取企業端的機敏資料。有愈來愈多的雇主投訴,在進行求職者背景調查時,發現這些人是盜用他人的身分謀職!
AI 重建聲音,讓失聲的方基墨重建嗓音參與「捍衛戰士」演出;Alexa 新功能讓過世奶奶可以為孫子講故事
在「捍衛戰士:獨行俠」飾演冰人一角的好萊塢影星方基墨(Val Kilmer),影片中簡短的台詞:「海軍需要你,獨行俠。他們(飛官學員)需要你。」賺人熱淚的除了劇情之外,感人的是這段對白是用AI 為因喉癌而失聲的方基墨,重建嗓音演出 。
亞馬遜於2022/6/22 曝光Alexa新功能:可模擬去世親人的聲音,讓使用者與已故親人對話互動。發布會上影片內的小男孩詢問 Alexa 是否能用天堂奶奶的聲音念綠「野仙蹤童話」故事給他聽? Alexa 即刻切換成奶奶聲音為小男孩講故事。亞馬遜表示這種新技能可以在對個人的一分鐘音頻進行訓練後創建合成聲紋。
不過安全專家也擔心會引發一波新的聲音網路釣魚(Vishing)騙局。 而且已經有案例可循, 2020 年在阿拉伯聯合大公國發生犯罪分子冒充公司董事後欺騙銀行經理轉移 3500 萬美元。隨著技術的發展這類犯罪可能會變得更加普遍。
◼延伸閱讀:網路釣魚進化成 AI 語音釣魚,偽裝老闆聲音騙走 770 萬台幣!
WFH風險?FBI發現有人用盜來的個資與Deepfake技術求職 iThome
美國聯邦調查局(FBI)的犯罪投訴中心(IC3)本周警告,有愈來愈多的雇主投訴,許多爭取在家工作或遠端工作職缺的求職者盜用他人的資訊,同時利用Deepfake技術來面試。提出投訴的許多職缺涉及資訊技術、電腦程式、資料庫與軟體相關領域,有些職缺甚至可以存取客戶的身分資料、金融資料、企業資料庫或私有資訊。
(2022.06.30 更新)
為保護個人隱私,防範 Deepfake淪為犯罪工具,法務部2021年 11 月完成刑法修正草案,增訂「散布性私密影音罪」、「製作或散布他人不實性影音罪」等,最重可處7年徒刑。
一個造假的惡意攻擊影片,可能改變一場選舉結果, DeepFake 會不會在選舉期間被惡意利用?
本文藉此機會複習一下具有爭議性 DeepFake 。
(以下文章原發布於 2021.10.19)
當 DeepFake (深偽技術)不再只是惡搞,台灣網紅小玉將名人移花接木,遭逮捕!
常被惡搞用來製作色情、政治宣傳或嘲諷影片的 Deepfake 技術,在台灣也傳出被惡意利用的案例:靠Deepfake製作不雅片,網紅小玉遭逮捕!高嘉瑜批評數位性暴力 。26歲百萬 YouTuber 小玉利用 DeepFake 技術,將包含黃捷、鄭家純(雞排妹)、高嘉瑜、龍龍等名人的臉合成在A片女優身上,移花接木的性愛影片,造成百人受害,不法所得逾新台幣上千萬元。受害者黃捷氣炸喊告:惡意又下流的性犯罪者 。
小玉於2020年愚人節曾自曝「花150人民幣」買軟體,自製韓國瑜影片,「只花30分鐘和一個配音員,我可以讓韓國瑜講出任何我想要他講的話」,當時提醒民眾防範假新聞的他,竟利用這個工具犯罪。
本文讓大家認識 Deepfake(深偽技術)及如何簡易辨識造假影片?懷疑影片造假該如何處理? Deepfake 被惡意運用在那些資安犯罪?
🔴什麼是 Deepfake(深偽技術)
深偽(Deepfake)一詞於2017年問世,是深度學習(Deep Learning)與偽造(Fake)混合而成的單字。 透過換臉、控制嘴唇,植入假造的音源檔,製作色情、政治宣傳或嘲諷影片。 在網路上流傳著上萬個用 Deepfake (深偽技術) 製造的造假影片。
這項利用人工智慧和機器學習(Machine learning,ML)(AI/ML)合成的媒體資訊(圖片、聲音、影像等),將無辜明星、政客等知名人物的臉孔和聲音合成進成人影片和宣傳訊息內。這種「影片換臉」的技術,不知情的人乍看之下就像以為被惡搞的受害者,真的參與了演出。
現在甚至出現「換臉」軟體,也讓深度偽造 (deepfake)惡搞影片愈來愈多,甚至被用來犯罪。
Deepfake 影片演變成一項很不容易辨識的社交工程(social engineering)詐騙工具,讓受害者更容易上當。透過換臉、控制嘴唇,植入假造的音源檔,在網路上流傳著上萬個用 Deepfake (深偽技術) 製造的造假影片。如果你的老闆在 Youtube 上有很多影音,得當心被詐騙集團利用向員工詐騙,從事變臉詐騙攻擊或稱為商務電子郵件入侵 (Business Email Compromise”,簡稱 BEC)。已出現的案例是模仿大老闆的聲音,語調、斷句及腔調,進行語音網路釣魚,騙走 24.3 萬美金。
以下這部 GQ Taiwan 的影片,供大家參考:什麼是「深偽技術」(Deepfake)?而這項人工智慧,助力了假新聞增長!
辨識 Deepfake 假影片的四個方法:
變造媒體資訊的情況如此嚴重,人們該如何辨識deekfake作品?對於影片,Wired.com採訪了白金漢大學數學與電腦教授Sabah Jassim及Spectre聯合創辦人Bill Posters,他們建議要注意以下事項:
- 眨眼率;Deepfake製作對象的眨眼率少於正常人
- 語音和嘴唇運動的同步狀況
- 情緒不符合
- 模糊的痕跡、畫面停頓或變色
文章開頭提到的報導,調查局人員也提供另一個辨識重點:「因為這個技術它只能套用在你的臉部上面,所以比如說像是你的側面,還有脖子這邊就不會套用到,所以你可以看到側臉的部分其實是會模糊的。」
除了臉部邊緣明顯模糊、不自然外,臉部和脖子也會有色差。
當你懷疑影片造假,該做的三件事
目前已經出現利用 Deepfake 技術的 CEO 詐騙, 2019 年 9 月出現 Deepfake 技術製作的一段語音來誘騙英國某高階經理將 243,000 美元匯到某個歹徒所開設的帳戶。根據受害企業的保險公司表示,歹徒在電話中假冒的聲音不僅能模仿被冒充者的聲音,還能模仿其說話的語調、斷句及腔調。
網路上越來越常見的Deepfakes內容,其是利用人工智慧中的深度學習技術,變造影片中的動作與聲音,傳遞扭曲不實的內容,常利用名人影片達到快速與廣布的傳播,並可能造成影響輿論、衝擊市場、毀人事業等負面影響。面對Deepfakes最重要的是警覺性與反覆思考,趨勢科技建議在線上或社群觀看影片時考慮以下三點:
- 停 (Stop):
如果此影片有任何疑慮,不要立刻回應、分享或是評論。 - 問 (Question):
這個影片原始出處是哪裡?影片中人的言行舉止是否與平常不同?為什麼這個人或組織要在線上分享此影片? - 報 (Report) :
在網路上看到任何可疑內容時,如果擔心或堅信此為Deepfakes,向該新聞曝光的網站或應用程式平台舉報,YouTube, Facebook以及Twitter正嘗試過濾刪除Deepfakes,社群網路中的我們也可以透過糾舉可疑標的來略盡棉薄之力。
A 片女主角也可能造假!Deepfake(深偽技術)如何運作?
要製作深度偽造影片,這項技術會分別學習如何對兩張不同的臉進行編碼和解碼。舉例來說,一位著名人士舉行了公開演說,而另一個人談的卻是完全不同的爭議性內容,這項技術卻能破解並重建人臉,最終將影片與第二張臉合併。這樣一來,原本那位著名人士的臉看起來就像第二張臉。這項技術也可以用來把另一張臉疊加在特定人物臉上,就能創造深度偽造影片。
這項技術能針對聲音做出細微變化,進而改變整個影片的核心訊息。這項技術的確有正面的用途,像是用在電影產業,透過深度偽造技術省下重拍某些片段的麻煩。但它也已經被用在負面的情形,例如在未經許可的情況下,用名人的臉來製作成人色情內容。有鑑於此,人們憂心這項技術經常被用來影響選舉、衝擊市場、毀掉職業生涯,甚至產生更可怕的犯罪。
那些名人影片被移花接木?
2017年 12月《神力女超人》(Wonder Woman)女主角蓋兒加朵(Gal Gadot) 的臉被移花接木到A片上,逼真度簡直毫無破綻。該段影片是以AI演算法產生,機器大量讀取蓋兒加朵(Gal Gadot)的影像後,複製出一張相似度極高的臉孔,再覆蓋A片女主角臉上。
1970年代的神力女超人女主角 Lynda Carter放到 2017年的神力女超人Gal Gadot 身上,你看得出來嗎?
被惡搞的藝人還有奧斯卡影帝尼可拉斯凱吉 (Nicolas Cage):
越來越多的專家開始警告社會大眾注意 Deepfake 影片的問題,這是一種超逼真的視訊變臉技術。這項技術採用所謂的生成對抗網路 (GAN) 機器學習技術,可根據現有的影像資料庫產生新的影像。Deepfake 影片嚴重挑戰人眼辨別真偽的能力,讓我們對真假失去正常判斷。
華盛頓大學研究團隊2017年也發表一系列美國前總統歐巴馬的「造假」影片,當時該團隊僅分析17小時的歐巴馬演講影片就達到惟妙惟肖的成果。
2018年有外國媒體 Buzzfeed透過此技術,仿造出歐巴馬罵川普的影像,請來演員兼導演皮爾,模仿歐巴馬的聲音,再利用電腦軟體和人工智慧App,創造出來的影片。以此警告世人深度偽造技術的可怕,雖然是實驗性質的新聞內容,但未來實現的可能性非常高。
◾相關報導:歐巴馬怒噴川普是蠢豬?原來是AI換臉技術搞的鬼
來源:公視: AI擬真 影片人物真假難辨
◾相關報導:
想讓歐巴馬說什麼都可以!最新AI「對嘴」技術可偽造幾可亂真
You Won’t Believe What Obama Says In This Video! 😉
「換臉」軟體讓深度偽造 (deepfake)惡搞影片愈來愈多。網紅「小玉」朱玉宸就是用換臉技術合成上百個公眾人物臉部至 A 片女優身上,製作色情影片上網販售,非法收入上千萬。
台灣「年代向錢看」節目於2020年 3 月專訪了曾經在趨勢科技擔任研發部協理,目前為艾爾科技(MyET)執行長的林宜敬,談到處都是假新聞 !林宜敬示範了一段以「換臉」軟體,製作蔣經國推薦該節目的影片,逼真的程度,讓人嘖嘖稱奇。
第一起利用 Deepfake 技術的CEO 詐騙
Deepfake 技術大多被用於製作色情、政治宣傳或嘲諷影片。關於這類影片的衝擊,根據 Medium發表的一篇文章指出,目前網路上大約有 1 萬個 Deepfake 影片,其中以美國眾議院議長裴洛西 (Nancy Pelosi) 和好萊塢明星史嘉蕾喬韓森 (Scarlett Johansson) 兩位的偽造影片最多。
至於這項技術是否可能讓網路犯罪集團用來圖利,據我們推測,Deepfake 可能被用於從事變臉詐騙攻擊或稱為商務電子郵件入侵 (Business Email Compromise BEC)或執行長 (CEO) 詐騙。Deepfake 影片可變成一項很好的社交工程(social engineering)詐騙工具,讓受害者更容易上當。
不過第一起利用 Deepfake 技術的執行長詐騙卻是使用偽造語音的型態。一樁 2019 年 9 月發生的詐騙使用 Deepfake 技術製作的一段語音來誘騙英國某高階經理將 243,000 美元匯到某個歹徒所開設的帳戶。根據受害企業的保險公司表示,歹徒在電話中假冒的聲音不僅能模仿被冒充者的聲音,還能模仿其說話的語調、斷句及腔調。
Deepfake(深偽技術) 對一般人有何影響?
雖然一般市井小民,影像被盜用的機率比較低,但仍需注意以下可能的風險:
⚠1.詐騙
盜用名人的照片做廣告已經不是新聞但若這些名人真的說起話來推薦呢?
✦ 俄羅斯某家銀行的創辦人就被盜用,運用深偽技術製作影片推薦投資工具,並附上釣魚連結來進行詐騙。
✦ 某些交友軟題上甚至也出現明星藝人,還不只照片,能跟你視訊對答如流,有些人就因此受騙,匯款非常多錢給對方
⚠2.假新聞
✦ 一個造假的惡意攻擊影片,會不會改變一場選舉結果?前述歐巴馬造假事件,讓人擔心 Deepfake 被有心人士惡意運用。
YouTube 和 Twitter 如何打擊Deepfake ?
Youtube在其現行社群準則內的垃圾郵件、欺詐行為和詐騙政策裡就有禁止變造媒體資訊的規定。他們的官方部落格上一篇「YouTube如何支持選舉」的文章中,Youtube對於會誤導美國與選舉相關的內容採取的是零容忍的態度,例如可能誤導使用者和散播不實資訊的變造過影片;而此類別就包括了Deepfake(深偽技術)。關於候選人或投票過程的不實內容,無論是否變造過都不允許。
Twitter關於合成和變造媒體資訊的 規則更新中也包括了Deepfake(深偽技術)。它宣布禁止「可能造成傷害」的合成或變造媒體資訊。據說該規則是基於Twitter進行的一項調查,他們曾就如何處理有問題的媒體資訊並制定規則來徵詢大眾意見。
早些時候,Facebook還禁止用AI生成內容或Deepfake(深偽技術)偽造的媒體資訊。Facebook聯合創辦人Marc Zuckerberg自己也是網路上被傳播 Deepfake影片的主題。
[延伸閱讀:預見新時代:網路犯罪分子使用機器學習來製造高度進階的威脅]
Deepfake(深偽技術)成為網路安全威脅
Deepfake(深偽技術)可被用來損害個人信譽或散播誤導性資訊,且因為此技術很容易取得,讓假新聞和網路宣傳的製作和消費比以往任何時候都更加快速和輕鬆。如果這些還不夠可怕,趨勢科技預測 Deepfake也將被越來越多地用於詐騙活動。就在2019年,網路犯罪分子利用 Deepfake技術變造公司執行長的聲音從英國一家能源公司竊取了243,000美元。
[閱讀:新常態:趨勢科技2020年資安預測]
由於Deepfake(深偽技術)可能成為CEO詐騙的新手法,並跟行之有年的變臉詐騙攻擊或稱為商務電子郵件入侵,簡稱BEC) 策略結合使用,因此建議使用者將將認識Deepfake及原本避免BEC詐騙的教育訓練結合起來。使用者可以採取的作法包括:仔細檢查電子郵件/電話/影片內提到的資訊(如銀行帳戶詳細資訊或所使用電子郵件/電話號碼)正確性,以及在進行下一步前跟其他相關方核實資金轉移請求。
此外,可以想見的是Deepfake成品的品質會越來越好,最終不會出現現在可用來察覺異狀的跡象。為了解決此問題,建議要定期對員工進行教育訓練,並提供他們關於新社交工程(social engineering)攻擊的最新資訊,包括跟Deepfake有關的發展。
趨勢科技Smart Protection Suites也包含了針對BEC詐騙及其他威脅的保護方案:
你也許會感興趣:
▪眼見為憑?你親眼看到的未必是真的, Deepfake 惡意視訊假冒俄羅斯反對派人士
▪ 不單只有 DeepFake ! 最新研究報告發現歹徒利用人工智慧犯罪
▪ 從移花接木的 Deepfake 影音,看機器學習與網路攻擊
▪ 響應 SID 全球網路安全日,趨勢科技發布 Deepfakes 防禦三招
@部分原文出處:Youtube, Twitter Hunt Down Deepfakes