【Wired 硬塞】美國國防部靠「自駭」來化解美軍的 AI 弱點

美國國防部新成立的「紅隊」,正在學習預測和化解針對 AI 的攻擊。
評論
Photo Credit:iStock
評論

原文來自 Wired《The Pentagon Is Bolstering Its AI Systems—by Hacking Itself》,作者 Will Knight。台灣康泰納仕集團授權提供,由 Amber Peng 翻譯並經 INSIDE 編審。

對於美國國防部而言,AI 無疑是未來用來智取、掌控敵人的最佳武器。但是,AI 多變的本質反而可能讓美國一不小心就給了敵軍反將一軍的機會。

美國國防部的「合作人工智慧中心(Joint Artificial Intelligence Center,以下簡稱JAIC)」旨在幫助美軍利用 AI 作戰,而近期他們又成立了一個組織,專門收集、審查、分派公開資源和企業機器學習模型到國防部各部門,為的是解決一個軍方在利用 AI 時遇到的大難題。

機器學習中的「紅隊」,也就是測試與評估組,專門找出已訓練好的模型的弱點,另外資安組則負責找出潛藏的程式碼和資料的缺陷。

機器學習是現代 AI 背後的關鍵技術,它代表著一種全然不同的寫程式方法,且在許多方面都比傳統的程式更加強大。它不是單純地寫出一套規則讓電腦執行,而是從資料面下手,創造出自己的規則。但問題是,這種方式只要遇到錯誤的訓練資料,電腦模型就可能做出奇怪、無法預期的行為。

JAIC 的策略與政策總監古格雷・艾倫(Gregory Allen)表示:「機器學習在許多應用程式都比傳統軟體好上千千萬萬倍。」但是他也指出,機器學習可能出錯的地方也跟傳統軟體很不一樣。

比如說,被訓練來辨認衛星圖裡車輛的電腦,也可能學習將車子與特定的顏色跟周圍景觀連結起來,那麼敵方就可以透過更改車輛周圍的景觀來騙過電腦。只要他們可以進到訓練資料庫,敵方甚至可以把其他的影像移植進去,例如放入某些特定的符號,這樣一來電腦就無法做出正確判斷。

艾倫指出,國防部對於軟體的可靠性和安全性有一套很嚴格的法規,這套法規也適用於 AI 和機器學習,同時,JAIC 也正在調整國防部的標準,以涵蓋更多機器學習的面向。

馬里蘭大學資工系副教授湯姆・高斯坦(Tom Goldstein)表示:「我們目前還不知道怎麼設計出一個可以躲避對手攻擊的系統。」

AI 正在翻轉企業營運的方式,因為這種強大的工具可以很有效率地將各種程序和任務自動化。比如來說,與其寫一套演算法預測消費者的喜好,AI可以從過去幾百萬條的銷售紀錄中找出規則,並預測不同顧客的消費傾向。

美國和其他國家的軍方也看見了 AI 的優點,並急著用 AI 改善軍事物流、情報蒐集、任務規劃、武器科技,而中國日益強大的科技更讓美國國防部急著投入 AI 技術。

艾倫認為美國國防部正以「安全性和可靠性為前提,謹慎地前進」。

研究人員正試圖以全新的方式去駭入並破解使用中的 AI 系統。2020 年 10 月,以色列研究人員用精修過的圖片成功混淆了特斯拉判斷路況的演算法。這種「對抗式攻擊」就是利用精修過的圖像,讓演算法學習找出可能造成重大錯誤的細微變化。

加州大學柏克萊分校教授宋達恩(音譯 Dawn Song)也在特斯拉的感應器和 AI 系統做了相似的實驗,她表示演算法遭受的攻擊在許多領域都已經造成問題,例如詐騙偵測。她指出:「許多公司都有提供測試金融領域 AI 系統的工具,但是駭客會想辦法躲避偵測,我認為這種問題會越來越嚴重。」

微軟於 2016 年推出的聊天機器人 Tay 就是一個惡名昭彰的例子。Tay 用演算法分析以前的談話紀錄來學習與人對話,而社交平台 Reddit 的使用者很快就發現他們可以利用 Tay 的學習方式讓她講出充滿仇恨的言論。

高斯坦是馬里蘭大學專門研究機器學習弱點的教授,他表示攻擊 AI 有很多種方式,例如修改餵入 AI 的資料,讓電腦做出特定的行為。他認為機器學習和傳統軟體的差別在於只要可以進入電腦模型,例如餵入誤導性資料,就可以讓敵方設計出無法抵抗的攻擊。高斯坦表示:「目前我們不知道要如何改善 AI 的弱點,也不知道如何防範這種對抗性攻擊。」

對於軍方而言,他們必須假設對手已經掌握豐富資源和先進技術,因此預測和防範所有可能的攻擊是非常重要的任務。

喬治城大學的安全與新興科技中心於一份報告中警告,AI 中的「有害資料」可能造成國安威脅,其方法是進入訓練 AI 的模型,操弄餵入演算法的圖像標記,或是將特定圖片放到 AI 抓資料的網站上。

該報告的作者安德魯・隆恩(Andrew Lohn)讚許 JAIC 特別組成一個團隊來找出 AI 弱點。他認為因為不了解私營部門開發 AI 的方式,所以要確保私營部門的 AI 安全性也比較困難。另外,找出有害資料也是一項艱鉅的挑戰,因為人眼很難直接看出資料被修改的痕跡。

隆恩也指出,美國國防部很可能已經在加強自己的攻擊能力,以及開發阻擋對抗式攻擊的方法,但是當務之急還是保護軍方的 AI 系統。隆恩表示:「我們也可以主動攻擊,但是我們仍然得先保護自己。」JAIC 總監的艾倫並沒有回應美國是否真的在加強軍方的攻擊能力,。

許多國家已經規劃了他們國家的 AI 發展策略,希望能有效地利用這種強大的工具以刺激經濟發展,尤其是美中的科技巨頭正爭奪 AI 商業化和出口 AI 技術所帶來的好處。

艾倫認為在 AI 領域取得領先的地位可對國家帶來策略性的優勢,那麼用來推動軍事供應鏈和分析關鍵資料以利決策的演算法必須受到嚴密的保護。

艾倫表示:「如果你的執行規模非常龐大、技術極其複雜、又處在攸關生死的情況下,你需要非常卓越的技術以確保系統會以預期的方式執行。」

責任編輯:Chris
核稿編輯:Anny

延伸閱讀:



打造你的幸福理財儀式感,經營品味生活!

9/23 20:00 永豐銀行攜手關鍵評論網舉行「DAWHO之夜」直播活動,由吳怡霈主持,邀請樂居網創辦人李奕農、理財專家大俠武林,一起線上教你如何打造品味生活!
評論
評論

你是不是也希望理想的生活能夠趕快實現!想營造好的lifestyle不僅需要用心在生活細節,更要懂得為自己的人生規劃。9月23日關鍵評論網將與永豐銀行DAWHO數位帳戶攜手舉辦一場線上直播活動──「大戶品味生活家」,與你一同了解品味生活的三大秘訣:「愛上生活細節、效率買房、聰明理財」,聆聽達人的經驗、逐步實現夢想。

品味生活有門道 理財買房有訣竅

「大戶品味生活家」的線上直播活動,邀請到甜美的吳怡霈擔綱主持。懂生活、美食和穿搭的她,同時也是一間飾品店老闆,直播中將請她分享一路走來的居家生活規劃術,同時聊聊身兼多重角色的心得,從她的經驗將能看到擁有財富是第一步,懂得經營生活與管理更是永續之路!

活動中也特別邀請到樂居網的創辦人李奕農,聽他娓娓道來初次買房的過程,及現今房市的趨勢與未來發展;同時也邀請到36歲就靠存股擁有亮眼被動收入的理財專家大俠武林,分享個人的投資心法,並分析須留心的財經脈動。

值得信賴的數位帳戶品牌

除了自己對於生活品質的追求及投資心法的學習,擁有令人安心的儲蓄工具更能走得順風順水。疫情的影響讓線上服務蓬勃發展,傳統的金融業也陸續走向數位化。永豐銀行在這波轉型浪潮中,積極推動全方位金融體驗,其中DAWHO數位帳戶提供安全可靠的線上帳戶申請,及豐富的金融產品,包含DAWHO理財型房貸、大戶投等,幫助顧客掌握細節、效率買房、聰明理財,精明而輕鬆地管理財富。

鎖定直播說分明

現在立即開啟手機行事曆,記下09/23 20:00-21:00準時加入線上直播,跟著我們一起邁向屬於自己理想的質感生活!

了解DAWHO數位帳戶:https://lihi1.com/yvNmW