未來Email將預測你的心思自動寫完?Google大腦首席工程師在官方部落格詳細介紹了原理

在使用者寫郵件時可預測下一句的 Smart Compose 技術在Google開發者大會上廣受矚目。近期, Google 大腦團隊首席軟體工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的網誌。
評論
評論

本篇原文《 Smart Compose : Using Neural Networks to Help Write Emails》合作媒體 雷鋒網 編譯,INSIDE 授權轉載。

編按:在 Google I/O 2018 上,除了 Google 助手給餐館打電話的場景贏得現場觀眾的喝彩外,在使用者寫郵件時可預測下一句的 Smart Compose 技術同樣也引得眾人歡呼。近期, Google 大腦團隊首席軟體工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的網誌。

Google I/O 2018 上, Google 介紹了 Gmail 中的一項新特性,智慧預測拼寫功能: Smart Compose ,該新特性利用機器學習,互動式地為正在寫郵件的使用者提供補全句子的預測建議,從而讓使用者更快地撰寫郵件。 Smart Compose 基於此前智慧回覆(Smart Reply)技術開發而來, Smart Compose 提供了全新的方式來幫助使用者撰寫郵件,無論使用者是在回一封來件還是從草稿匣起草一封新郵件。

Google 在開發 Smart Compose 的過程中,遭遇到了以下這些關鍵挑戰:

延遲 :因為 Smart Compose 需基於使用者的每一次輸入來提供預測,所以它必須提供 100 毫秒以內的理想預測,這樣使用者才察覺不到任何延遲。這時候,平衡模型複雜性和推理速度就成了一個需要解決的關鍵難題。

使用者規模 : Gmail 擁有超過 14 億的各種使用者。為了面向所有使用者提供自動組句預測,模型必須擁有足夠強的建模能力,這樣它才能精細地在不同上下文中提供客製建議。

公平性和使用者隱私 :在 Smart Compose 的開發過程中, Google 需要在訓練過程中處理潛在偏倚的來源,並遵守像 Smart Reply 功能一樣嚴格的使用者隱私標準,以確保模型不會暴露使用者的隱私訊息。另外, Google 的研究人員也不具備查看使用者郵件的權限,這意味著他們不得不在一個自己都無法查看的數據集上開發和訓練一個機器學習系統。

找到對的模型

比如 ngram,neural bag-of-words(BoW)和 RNN language 這種典型的語言生成模型,它們是基於前綴詞序列來預測下一個詞的。然而,在一封郵件中,使用者在當前郵件撰寫會話中打下的單詞會給模型一個信號,模型會利用該信號來預測下一個單詞。為了結合更多使用者想表達的上下文, Google 的模型還會利用郵件主題和此前的郵件正文(假設使用者正在回復一封剛剛收到的郵件)。

Google 的方法是包含利用額外語境的一個方法,該方法是將問題轉換成一個序列到序列(seq2seq)的機器翻譯任務,其中源序列是郵件主題和上封郵件正文(假設存在上封郵件)的串聯,使用者正在寫的郵件是目標序列。儘管該方法在預測品質上表現良好,但它的延遲要比 Google 嚴苛的延遲標準超出了好幾個量級

為了提高預測品質, Google 將一個 RNN-LM 神經網路與一個 BoW 模型結合起來,結合後的模型在速度上比 seq2seq 模型要快,且只輕微犧牲了預測品質。在該混合演算法中, Google 通過把詞嵌套們平均分配在每個區域內,來對郵件主題和此前的郵件內容進行編碼。隨後 Google 將這些平均分配後的嵌套連接在一起,並在每次執行解碼步驟時將它們提供給目標序列 RNN-LM,過程如下面的模型圖解。

 Smart Compose RNN-LM 模型架構。將郵件主題和此前郵件訊息進行編碼,採用的方法是將它們的詞嵌套平均分配在每一個區域內。隨後,平均後的嵌套會在每次執行解碼步驟時提供給目標序列 RNN-LM。

加速模型訓練和服務

當然,一旦選定了這種建模方法, Google 就必須調整各種模型超參數和使用超過數十億的樣本來訓練這些模型,所有的這些操作都相當費時。為了實現加速, Google 使用了一個完整 TPUv2 Pod 來執行實驗。在這情況下, Google 能夠在一天之內將一個模型訓練至收斂狀態。

在 Google 訓練出速度上更快的混合模型之後,初始版本的 Smart Compose 在一個標準 CPU 上運行時,依舊存在幾百毫秒的平均服務延遲,這與 Smart Compose 努力預測語句來幫使用者節省時間的特點是不相符的。幸運的是, Google 可在推斷期間使用 TPU 來大大地加速使用者體驗,通過分流 TPU 之上的大部分計算, Google 可以將平均延遲改良至幾十毫秒,同時也能大大增加單一機器可處理的服務請求數量。

公平性和隱私

由於語言理解模型會反映人類的認知偏倚,這樣會導致得到多餘的詞彙聯想和句子完成建議,所以在機器學習內實現公平至關重要。Caliskan et al. 在他們近期的「Semantics derived automatically from language corpora contain human-like biases」論文中指出,模型的詞聯想深陷於自然語言數據的偏倚數據中,這為打造任何一個語言模型都帶來了相當的挑戰。在模型訓練過程中, Google 積極地尋找方法來持續降低潛在的偏倚。另外,由於 Smart Compose 是基於數十億的短語和句子進行訓練,這與垃圾郵件機器學習模型的訓練方法一致, Google 已經進行了廣泛的測試來確保,模型只記憶多種使用者都使用的常識語句,關於常識語句的調查結果源自這篇論文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets

未來研究

Google 將持續地研究改良語言生成模型的預測品質,為此 Google 會通過使用最先進的構架(如 Transformer,RNMT+等)和試用最新、最先進的訓練技術來實現這一目標。一旦模型的實驗結果滿足了 Google 的嚴格延遲約束條件, Google 就會把這些更加的先進模型部署到自家產品上去。另外, Google 還在進行結合個人語言模型的研究,該模型的目的是給系統增加一個新特性,讓它能夠更加準確地模擬每個使用者自己的寫作風格。


【圖解】電動車風潮席捲全球,TOYOTA PRIUS PHV 才是最適選擇!

當全世界都在鼓吹電動車之際,其實從現代人的用車習慣、造車技術、環保角度而言,許多車廠並沒有告訴你:「插電式油電複合動力車」才會是現況最適合的選擇。
評論
Photo Credit:TNL Brand Studio
評論

時至科技迅速發展的今日,人們享受由科技所帶來的便利生活,但同時也帶來了破壞環境和影響健康的負面效應。加上天然能源並非取之不盡,近年來汽車產業吹起了一股電動車風潮,全世界的主要國家也為了降低碳排放而推廣電動車。但從現代人的用車習慣、造車技術、環保角度來看,電池電動車是否真為現階段的最佳解答?

先從種類談起:多元化電動車款 HEV/PHEV/BEV 介紹及比較

說到電動車,除了純電動車外,其實電動車種類繁多,油電複合動力車、插電式油電複合動力車的差異在哪?哪個適合你?以下從「電力驅動比例」來介紹,相當簡單易懂。

Photo Credit:TNL Brand Studio

油電複合動力車(HEV):

「油」與「電」並行的驅動策略,引擎產生剩餘動力可轉為電能儲存,低速可以電能驅動,無法從外部充電,長短程移動皆適用,相對傳統燃油車油耗更佳。

插電式油電複合動力車(PHEV):

架構類似於油電複合車(HEV),電池規格加大,可使用通用規格充電樁與隨附充電線針對電池充電,短程移動可採用純電模式,長程移動則為油電並行,長短程移動皆適用,沒有如電池電動車(BEV)般的里程焦慮問題。

電池電動車(BEV):

完全電力驅動,由外部充電樁充電,受惠電力驅動特性,享有純電駕馭快感,但須考慮充電便利性。

電池電動車才環保?答案並非絕對

相對傳統內燃機汽車而言,電池電動車於行駛過程中雖然是零碳排,但車輛的環保與否,更需廣義的從產品的生命週期評估(Life cycle assessment,LCA),也就是從原物料開採、生產製造、行駛過程、回收過程的整體生命週期的總碳排量來計算。目前無論哪一款電動車,都不可能在生產過程時達到零碳排表現,且電動車上最高成本的電池組,不僅製造時需要使用稀有金屬,提煉過程本身更需要大量化學藥劑,且老廢電池回收亦可能造成環境污染。廣義討論而言,當前的電池電動車絕非零碳排與絕對環保的代表。

因此除了上述的生命週期評估,同步考量當前發電結構、充電設施普及率、用車習慣等問題,插電式油電複合動力車(PHEV)會是更好的解答。插電式油電複合動力車(PHEV)將電力驅動輔助比例放大,純電行駛里程增加,短程通勤可以純電行駛,長途移動則可油電並行,又無里程焦慮,絕對是當前兼具節能環保與便利性的推薦選擇。

銷售王來示範,PHEV 就應該要這樣

TOYOTA 一直以來是 HYBRID 油電車款的領導品牌,開賣至今已銷售超過 1,700 萬輛,不管是其油電複合動力車(HEV)或是更先進的插電式油電複合動力車(PHEV)的熱銷,無疑就是最佳印證。其中逐漸成為銷售主流的 TOYOTA PRIUS PHV 車款,成為經濟務實又節能環保的最佳代言人。

Photo Credit:TNL Brand Studio

TOYOTA PRIUS PHV 採用油電驅動系統,「油」的部分搭載高效能汽油引擎,採用 Atkinson 循環設計與 VVT-i 連續可變汽門正時控制系統讓引擎更具效率;「電」的部分則搭載雙馬達驅動系統,位置設置於引擎室下方,並有設置於後廂底板下的高效能鋰電池、位於後座下方的高效率車載充電器、設置於引擎室內的 PCU 動力控制模組等架構。

動力來源除了從油箱提供引擎燃油進而作動產生驅動力以外,電池則提供電力來驅動電動馬達作動。按下 EV Mode 車輛可以完全以電力驅動,而在一般狀態下引擎與電動馬達會透過 PCU 模組來管理以最高效能相互運用。除了引擎輸出超出駕駛需求會回充高效能鋰電池以外,也可利用外部充電來為鋰電池充電。

也因此 TOYOTA PRIUS PHV 車身上有兩個「油箱蓋」,左側為加油使用,右側則為充電使用。值得一提的是,PRIUS PHV 只要使用標配隨附的隨車充電線,即可使用一般的 110V 家用插座充電,且純電行駛里程可達 64km*註1,相當適合日常生活通勤使用;此外, PRIUS PHV 純電行駛最高極速可達 135km/h,結合油電模式的特性,適合長途行駛與遠程旅行,更可讓 PRIUS PHV 有著高達 109.9km/l*註2的平均油耗,達成傳統內燃機汽車或油電複合動力車(HEV)無法企及的節能表現。

Photo Credit:TNL Brand Studio

PRIUS PHV 擁有極具未來感的造型,相當流線的車身造型與具有良好空氣力學的雙曲面後擋風玻璃帶來了低風阻優勢,更配備了鷹眼式 LED 頭燈及飛翼式 LED 光條尾燈,為其賦予了更吸睛的靈魂。

立基於 TNGA 底盤基礎,PRIUS PHV 擁有輕量化高剛性的車身架構,給予絕佳的行駛穩定性以及安全防護能力,也為座艙內帶來相當寬敞的空間基礎。不僅前後排駕駛與乘客都可以擁有寬裕與舒適的乘坐空間,標準乘坐狀態下後行李廂可擁有媲美小休旅車的 360 公升置物容積,實用性毋庸置疑。

PRIUS PHV 旗艦版的座艙內中控台更配備了 9 吋 4G 旗艦主機,利用 4G 網路的連結,給予了 24H 愛車守護/一鍵救援/智慧導航等便利功能,搭配 Apple CarPlay & Android Auto智慧手機連結,以及 Qi 無線充電座*註3,完美接軌現代人習慣的科技生活。

PRIUS PHV 新增尊爵版車型,不僅享有等同於 HEV 車型的親民售價,且同步標配 TSS 2.0 安全科技,如 ACC 主動式車距維持系統(含 Stop & Go)、PCS 預警式防護系統、 LTA 車道循跡輔助系統等等全數搭載,讓更多喜愛節能與著重安全的消費者可以輕鬆入主。

台灣目前最合適的節能車選擇,加入油電革新行列——TOYOTA PRIUS PHV

總結以上,從環保角度來看,以台灣目前的用車環境與發電能源結構來說,油電複合的 HEV 或是 PHEV 車款,會是比較符合使用需求和節能的作法。尤其插電式油電複合動力車(PHEV)不僅可銜接當前油車使用習慣,還可最大化運用電力降低碳排放,可以說是在燃油與電力的使用之間,達到最佳的平衡。

若要在茫茫 PHEV 車款中,找到兼具環保節能、價格優勢、智慧內裝、卓越駕駛體驗者,那麼從 TOYOTA PRIUS PHV 車款入手絕對錯不了。高效能的油電雙驅動,只要使用一般家用 110V 插座即可充電;加上未來感十足的流線車身外型、舒適寬敞與安全穩定兼備的座艙結構,由裡到外帶給消費者最新的科技體驗;可連結智慧應用程式的旗艦主機,與時代接軌不落人後。加入油電革新、淨化未來的行列,且當前 TOYOTA PRIUS PHV 更推出空前優惠的尊爵版車型,汰舊換新震撼價只需 99.9 萬元,僅限量 30 輛,且享有與 TOYOTA 所有 HYBRID 車款一樣的 HYBRID 電池 8 年或 16 萬公里保固服務。TOYOTA PRIUS PHV 不愧為當前最平衡、兼具環保及便利的用車選擇。

體驗 TOYOTA PRIUS PHV,立即預約試乘
前往官網了解更多。

註1:純電行駛里程及純電最高時速係於電量充足且啟用電動模式(EV Mode)之情形下於實驗室測得。公告資料係依據歐盟 1999/100/EC 指令及後續修正指令之標準測試程序測得。本車型為插電式油電複合動力車,平均油耗測試值係為馬達電能(滿電狀態)與汽油引擎之效率綜合計算而得。本標示之測試值係在實驗室內,依規定的行車型態於車體動力計上測得。實際道路行駛時,因受天候、路況、載重、使用空調系統、電池充電狀態、駕駛習慣及車輛維護保養等因素影響,其實際值可能與測試值有所差異。詳情請參閱經濟部能源局網站。

註2:實際道路行駛時,因受天候、路況、載重、使用空調系統、駕駛習慣及車輛維護保養等因素,其實際值可能與測試值有所差異。

註3:9 吋 4G 旗艦主機、Qi 無線充電皆為 TOYOTA PRIUS PHV 旗艦版專屬配備。