機翻大突破!微軟中英新聞翻譯達人類水平

這是首個在新聞報導的翻譯品質和準確率上可以媲美人工翻譯的翻譯系統!
評論
評論

本篇來自合作媒體 雷鋒網 ,INSIDE 經授權轉載。

14 日晚,微軟亞洲研究院與雷德蒙研究院的研究人員宣布,其研發的機器翻譯系統在通用新聞報導測試集 newstest2017 的中-英測試集上,達到了可與人工翻譯媲美的水平;這是首個在新聞報導的翻譯質量和準確率上可以比肩人工翻譯的翻譯系統。

newstest2017 測試集由來自產業界和學術界的團隊共同開發完成,並於 2017 年在 WMT17 大會上發布。而新聞(news)測試集則是三類翻譯測試集中的一個,其他兩類為生物醫學(biomedical)和多模式(multimodal)。

四大技術

我們知道,對於同一個意思人類可以用不同的句子來表達,因此翻譯並沒有標準答案,即使是兩位專業的翻譯人員對於完全相同的句子也會有略微不同的翻譯,而且兩個人的翻譯都不錯。微軟亞洲研究院副院長、自然語言計算組負責人周明表示:「這也是為什麼機器翻譯比純粹的模式辨識任務複雜得多,人們可能用不同的詞語來表達完全相同的意思,但未必能準確判斷哪一個更好。」

這也是為什麼科研人員在機器翻譯上攻堅了數十年,甚至曾經很多人都認為機器翻譯永遠不可能達到人類翻譯的水平。近兩年隨著深度神經網絡的引入,機器翻譯的表現取得了很多顯著的提升,翻譯結果相較於以往的統計機器翻譯結果更加的自然流暢。

據了解,在這次的工作中來自微軟亞洲研究院和雷德蒙研究院的三個研究組透過多次交流合作,將他們的研究工作相結合,再次更進一步地提高了機器翻譯的質量,其中用到的技術包括對偶學習(Dual Learning)、推敲網絡(Deliberation Networks)、聯合訓練(Joint Training)和一致性規範(Agreement Regularization)等。

機器翻譯新突破,微軟中英新聞翻譯達人類水平

對偶無監督學習框架

對偶學習,即利用任務的對偶結構來進行學習。例如,在翻譯領域,我們關心從英文翻譯到中文,也同樣關心從中文翻譯回英文。由於存在這樣的對偶結構,兩個任務可以互相提供反饋信息,而這些反饋信息可以用來訓練深度學習模型。也就是說,即便沒有人為標註的數據,有了對偶結構也可以做深度學習。另一方面,兩個對偶任務可以互相充當對方的環境,這樣就不必與真實的環境做交互,兩個對偶任務之間的交互就可以產生有效的反饋信號。因此,充分地利用對偶結構,就有望解決深度學習和增強學習的瓶頸——訓練數據從哪裡來、與環境的交互怎麼持續進行等問題。

機器翻譯新突破,微軟中英新聞翻譯達人類水平

推敲網絡的解碼過程

推敲網絡 中的「推敲」二字可以認為是來源於人類閱讀、寫文章以及做其他任務時候的一種行為方式,即任務完成之後,並不當即終止,而是會反覆推敲。微軟亞洲研究院機器學習組將這個過程沿用到了機器學習中。推敲網絡具有兩段解碼器,其中第一階段解碼器用於解碼生成原始序列,第二階段解碼器通過推敲的過程打磨和潤色原始語句。後者了解全局資訊,在機器翻譯中看,它可以基於第一階段生成的語句,產生更好的翻譯結果。

機器翻譯新突破,微軟中英新聞翻譯達人類水平

聯合訓練:從源語言到目標語言翻譯(Source to Target)P(y|x) 與從目標語言到源語言翻譯(Target to Source)P(x|y)

聯合訓練可以認為是從源語言到目標語言翻譯(Source to Target)的學習與從目標語言到源語言翻譯(Target to Source)的學習的結合。中英翻譯和英中翻譯都使用初始並行數據來訓練,在每次訓練的迭代過程中,中英翻譯系統將中文句子翻譯成英文句子,從而獲得新的句對,而該句對又可以反過來補充到英中翻譯系統的數據集中。同理,這個過程也可以反向進行。這樣雙向融合不僅使得兩個系統的訓練數據集大大增加,而且準確率也大幅提高。

機器翻譯新突破,微軟中英新聞翻譯達人類水平

   一致性規範:從左到右 P(y|x,theta->) 和從右到左 P(y|x,theta<-)

一致性規範 ,即翻譯結果可以從左到右按順序產生,也可以從右到左進行生成。該規範對從左到右和從右到左的翻譯結果進行約束。如果這兩個過程生成的翻譯結果一樣,一般而言比結果不一樣的翻譯更加可信。這個約束,應用於神經機器翻譯訓練過程中,以鼓勵系統基於這兩個相反的過程生成一致的翻譯結果。

與人類比較

由於機器翻譯沒有「正確的」翻譯結果,為了與人類的翻譯水平進行比較,就必須嚴格地定義什麼是與人類翻譯水平相當。根據其發表的論文中表述,這種定義有兩種:

1、如果一個具備雙語能力的人判斷人類輸出的譯文質量與機器輸出的譯文質量相當,則機器達到人類水平。

2、如果機器翻譯系統在測試集上的譯文質量得分(人工評分)與人類譯文得分沒有顯著差別,則機器達到人類水平。

微軟選擇了第二種定義,因為這樣相對而言比較公平且有實際意義。

newstest2017 新聞報導測試集中共包括了約 2000 個句子,它們是由專業人員從在線報紙樣本翻譯而來。

微軟團隊對測試集進行了多輪評估,每次評估會隨機挑選數百個句子進行翻譯。

隨後,為了驗證微軟的機器翻譯是否達到了人類翻譯水平,微軟從外部聘請了一群雙語語言顧問,讓他們對微軟的翻譯結果和人工的翻譯進行比較和評分,結果如下:

機器翻譯新突破,微軟中英新聞翻譯達人類水平

#表示集群的排名,Ave% 表示平均原始分數 (範圍在 [0,100] 之間),Avez 表示標準 z 分數。該表顯示了系統收集了至少 1827 份評估結果。

從表中我們可以看出,微軟的系統(Combo-4, 5, 6)已經與人類翻譯(Reference-HT)無顯著差別,遠遠超過 Reference-PE(人類翻譯—基於機器翻譯後的編輯)以及 Reference-WMT。

任重而道遠

對於這項結果,來自微軟的研究人員卻表現地極為自然。

機器翻譯新突破,微軟中英新聞翻譯達人類水平

微軟技術院士黃學東,負責微軟語音、自然語言和機器翻譯

微軟技術院士黃學東告訴記者:

在機器翻譯方面達到與人類相同的水平是所有人的夢想,我們沒有想到這麼快就能實現。消除語言障礙,幫助人們更好地溝通,這非常有意義,值得我們多年來為此付出的努力。”

微軟機器翻譯團隊研究經理 Arul Menezes 表示:

團隊想要證明的是:當一種語言對(比如中-英)擁有較多的訓練數據,且測試集中包含的是常見的大眾類新聞詞彙時,那麼在人工智慧技術的加持下機器翻譯系統的表現可以與人類媲美。

微軟亞洲研究院副院長、自然語言計算組負責人周明則表示任重而道遠:

在 WMT17 測試集上的翻譯結果達到人類水平很鼓舞人心,但仍有很多挑戰需要我們解決,比如在實時的新聞報導上測試系統等。

而微軟亞洲研究院副院長、機器學習組負責人劉鐵岩對技術的進展表示樂觀:

我們不知道哪一天機器翻譯系統才能在翻譯任何語言、任何類型的文本時,都能在「信、達、雅」等多個維度上達到專業翻譯人員的水準。我們可以預測的是,新技術的應用一定會讓機器翻譯的結果日臻完善。

據了解,此次的技術突破將很快應用到微軟的商用多語言翻譯系統產品中,從而幫助其它語言或詞彙更複雜、更專業的文本實現更準確、更地道的翻譯。此外,這些新技術還可以被應用在機器翻譯之外的其他領域,催生更多人工智慧技術和應用的突破。


警戒升級,店面安全也升級!月租型 HomeSecurity AI 店家防護,小店業者無痛導入

監視器不稀奇,不過在盡量不外出的管制期,還要另外花錢購買監視器,對於備受衝擊的業者來說彷彿又多剝一層皮。幸好還有台灣大寬頻月租型「HomeSecurity AI 店家防護」,每月不用千元即可遠端守護店面安全。
評論
Photo Credit:iStock
評論

全國三級疫情警戒,市景進入半封城的模樣,人人自危。許多店家也只好選擇暫停營業,減少營運成本;尤其雙北限制餐廳內用後,不少店家也改做外帶/外送服務,關閉原本的室內用餐空間。門可羅雀不是最可怕的,最可怕的是當在家防疫、減少外出的同時,店面安全出現破口,遭有心人士闖空門。既然花錢請一個人專門顧店或是花時間親自坐鎮都不是好辦法,此時引進智慧監控系統,才是明智之舉。

月租型HomeSecurity AI 店家防護,安心無負擔

監視器不稀奇,不過在疫情嚴峻期間,花費破千、破萬的預算購買昂貴監視器,對於備受疫情衝擊的業者來說,彷彿又多剝了一層皮。此時此刻最需要的,應該是能夠減緩大筆支出,陪伴業者度過艱難時期的店家防護系統。

對此,台灣大寬頻的月租型「HomeSecurity AI 店家防護」是很好的解決方案,不只遠端守護店面安全,搭配指定光纖上網方案,每月也只要 999 元起的價格,十分超值划算。

異地監控店家,同步更新雲端、方便即時察看與回放

價格好入門可不是「HomeSecurity AI 店家防護」唯一的優點。一般來說,架設閉路電視系統監控、將監視器的影像即時上傳網路,同時還要 AI 智慧監控功能,總要耗費不少資金成本。不過為了讓眾多小店家業者享有同等級的監控服務,台灣大寬頻推出月租型「HomeSecurity AI 店家防護」能以相對實惠的方案,滿足小型店家的科技監控需求。

首先,店主可以根據店面需求,選擇「槍型」或「吸頂」等網路攝影機款式。接著,店主可以跨裝置檢視監控畫面,無論是桌機、筆電、智慧型手機、平板,都能觀看 1920x1080p 的高畫質即時監控影像;此外,分割畫面也能讓店主同時監看多角度或連鎖分店的情況。

拜先進的雲端技術之賜,「HomeSecurity AI 店家防護」的監控影像可以即時串流雲端,店主能不限時間、地點登入網頁或 App 服務,觀看各網路攝影機的即時影像與錄影回放,不必再辛苦傳輸資料畫面或手動上傳雲端,監控管理十分方便。

AI 影像告警,聰明防竊;另有最高 36 萬竊盜損失補償

更讓人安心的是,「HomeSecurity AI 店家防護」最重要的核心技術「AI 人像辨識」。簡言之,就是網路攝影機能將拍攝畫面快速回傳至技術平台並分析數據,進而精準判斷畫面中是否有「人」入侵。一旦AI影像告警確認店內有人為入侵,便會立即以電話、簡訊、App 推播等管道主動通報緊急聯絡人。

不只聰明防竊,也另有完善的配套讓店主安心。萬一真的不幸發生竊盜損失,台灣大寬頻和富邦產險合作,能提供竊盜損失補償,因此只要在案發 30 天內,以報案後憑警察機關刑事報案證明三聯單以及相關影像證據提出申請,店主最高可獲得每年 36 萬元的補償。

防疫期間,同島一命。台灣大寬頻推出「HomeSecurity AI 店家防護」以相對平易近人的方案,提供台灣小型企業店家安心智慧的守護,以嚴密堅實的智慧監控,陪伴業者迎來雨過天青的彼日。