如何用貼紙、噪音「騙」過 AI?佐久間淳教授來解答

評論
▲筑波大學佐久間淳教授
▲筑波大學佐久間淳教授
評論

你有聽過 Deepfake 嗎?這套程式應用現有的機器學習技術與套件,演變到現在甚至還有人推出快速就能上手的介面服務,製造出簡易就能「換臉」的假影片。AI 機器學習的時代,不僅資安攻防出現 AI vs. AI 的態勢,還能用來欺騙人類的感官。筑波大學教授佐久間淳專精於 AI 機器學習與資訊安全領域,在今年 LINE X Intertrust 的資安大會中,展示了令人眼睛為之一亮的學界測試研究。

攻擊視覺 AI

機器學習讓電腦也能辨識影像,再透過文字描述出來,甚至辨識聲音,就能聽懂誰說了什麼話。然而機器與人類的理解畢竟不同,佐久間在此舉了著名例子,將熊貓照片疊上了雜訊,儘管肉眼無法察覺有異,但電腦就會將其辨識成截然不同的物種:長臂猿。

panda_noise
A_first_white-handed_gibbon_infant_born_
▲長臂猿長這樣。Photo Credit: REUTERS/達志影像

另外停止號誌加上了一些貼紙,甚至在特定區域有污損,就會被辨識為限速標誌。香蕉動點手腳就被認成烤吐司機;受試者身上放其他人的照片,就能像隱身一樣躲過專門辨識人的 AI YOLO2。

Stop sign recognition AI

針對交通號誌攻擊,似乎在安全上更有疑慮:畢竟自駕車的未來就在眼前,使用貼紙就能讓視覺辨識 AI 將停止認成速限,非常有可能造成意外。而雖然有些混淆 AI 的「貼紙」太過顯眼,但這項研究還模仿了常見污損、蟲(蝴蝶)的遮擋,儘管這些狀況下人類還是認得出,卻能成功騙過 AI。因此在自駕車領域,也許除了影像辨識外還得以其他機制輔助。

攻擊音訊 AI

AI Voice attack

佐久間教授示範一段音樂加上人類聽不出來的雜訊,就被辨識成一段話「Hello world」。

不只是常見的影像辨識,就連音訊辨識也能透過添加一些雜音影響結果,而音訊在播放或傳遞過程很容易產生雜訊,造成 AI 辨識的誤差。所以常看到語音助理聽錯鬧笑話,或著沒講話自己就啟動,可能都是類似的現象。

攻擊人臉辨識 AI

Keanu_Reeves
佐久間示範,用影像生成 AI 來攻擊視覺辨識 AI。

他解釋,這就是生成對抗網路(GAN)的原理,當初訓練影像辨識,就是需要一個 AI 不斷合成影像來試錯,還有一個 AI 來評斷此影像是否正確、有多接近目標。

儘管佐久間教授帶來許多驚人的學界研究成果,但他也強調這些是在假設條件下做出的攻擊案例,有些不用取得模型(黑箱攻擊),有些則是已知模型的條件下成功(白箱攻擊),比如猜中基努李維的臉。其中不少應用市場上已可看見防範配套,舉人臉辨識來說,iPhone 以 3D 陣列感應器配合人臉辨識,就不是這次分享案例可以攻破的。

至於為什麼選擇攻擊 AI,而非建造 AI 防護的研究方向呢?佐久間淳教授苦笑坦承 AI 在安全領域「攻擊比防守容易」,可以看出 AI 辨識的弱點還很多,補洞更是苦工。

但想想,「認知」本來就不容易有標準答案,就算身為人類,都能產生藍黑/白金洋裝、Laurel/Yanny 這些差異這麼大的認知爭議,機器和人類的結論天差地遠似乎也就不那麼令人驚訝了。現在技術能做的,就是靠提升數據量與品質,並且優化演算法來讓機器的判斷更接近人類。

不過還是得感謝學界不懈地攻擊 AI 的盲點,應用上才有機會透過軟體、硬體,甚至利用配套機制進行加強防護。





精選熱門好工作

客戶規劃顧問 Customer Success Associate

SHOPLINE 商線科技有限公司
臺北市.台灣

獎勵 NT$20,000

UI/UX 設計師

Omlet Arcade 美商歐姆雷特
臺北市.台灣

獎勵 NT$20,000

Full-stack (Frontend most) Senior Software Engineer

ShopBack 回饋網股份有限公司
臺北市.台灣

獎勵 NT$20,000

評論