未來Email將預測你的心思自動寫完?Google大腦首席工程師在官方部落格詳細介紹了原理

在使用者寫郵件時可預測下一句的 Smart Compose 技術在Google開發者大會上廣受矚目。近期, Google 大腦團隊首席軟體工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的網誌。
評論
評論

本篇原文《 Smart Compose : Using Neural Networks to Help Write Emails》合作媒體 雷鋒網 編譯,INSIDE 授權轉載。

編按:在 Google I/O 2018 上,除了 Google 助手給餐館打電話的場景贏得現場觀眾的喝彩外,在使用者寫郵件時可預測下一句的 Smart Compose 技術同樣也引得眾人歡呼。近期, Google 大腦團隊首席軟體工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的網誌。

Google I/O 2018 上, Google 介紹了 Gmail 中的一項新特性,智慧預測拼寫功能: Smart Compose ,該新特性利用機器學習,互動式地為正在寫郵件的使用者提供補全句子的預測建議,從而讓使用者更快地撰寫郵件。 Smart Compose 基於此前智慧回覆(Smart Reply)技術開發而來, Smart Compose 提供了全新的方式來幫助使用者撰寫郵件,無論使用者是在回一封來件還是從草稿匣起草一封新郵件。

Google 在開發 Smart Compose 的過程中,遭遇到了以下這些關鍵挑戰:

延遲 :因為 Smart Compose 需基於使用者的每一次輸入來提供預測,所以它必須提供 100 毫秒以內的理想預測,這樣使用者才察覺不到任何延遲。這時候,平衡模型複雜性和推理速度就成了一個需要解決的關鍵難題。

使用者規模 : Gmail 擁有超過 14 億的各種使用者。為了面向所有使用者提供自動組句預測,模型必須擁有足夠強的建模能力,這樣它才能精細地在不同上下文中提供客製建議。

公平性和使用者隱私 :在 Smart Compose 的開發過程中, Google 需要在訓練過程中處理潛在偏倚的來源,並遵守像 Smart Reply 功能一樣嚴格的使用者隱私標準,以確保模型不會暴露使用者的隱私訊息。另外, Google 的研究人員也不具備查看使用者郵件的權限,這意味著他們不得不在一個自己都無法查看的數據集上開發和訓練一個機器學習系統。

找到對的模型

比如 ngram,neural bag-of-words(BoW)和 RNN language 這種典型的語言生成模型,它們是基於前綴詞序列來預測下一個詞的。然而,在一封郵件中,使用者在當前郵件撰寫會話中打下的單詞會給模型一個信號,模型會利用該信號來預測下一個單詞。為了結合更多使用者想表達的上下文, Google 的模型還會利用郵件主題和此前的郵件正文(假設使用者正在回復一封剛剛收到的郵件)。

Google 的方法是包含利用額外語境的一個方法,該方法是將問題轉換成一個序列到序列(seq2seq)的機器翻譯任務,其中源序列是郵件主題和上封郵件正文(假設存在上封郵件)的串聯,使用者正在寫的郵件是目標序列。儘管該方法在預測品質上表現良好,但它的延遲要比 Google 嚴苛的延遲標準超出了好幾個量級

為了提高預測品質, Google 將一個 RNN-LM 神經網路與一個 BoW 模型結合起來,結合後的模型在速度上比 seq2seq 模型要快,且只輕微犧牲了預測品質。在該混合演算法中, Google 通過把詞嵌套們平均分配在每個區域內,來對郵件主題和此前的郵件內容進行編碼。隨後 Google 將這些平均分配後的嵌套連接在一起,並在每次執行解碼步驟時將它們提供給目標序列 RNN-LM,過程如下面的模型圖解。

 Smart Compose RNN-LM 模型架構。將郵件主題和此前郵件訊息進行編碼,採用的方法是將它們的詞嵌套平均分配在每一個區域內。隨後,平均後的嵌套會在每次執行解碼步驟時提供給目標序列 RNN-LM。

加速模型訓練和服務

當然,一旦選定了這種建模方法, Google 就必須調整各種模型超參數和使用超過數十億的樣本來訓練這些模型,所有的這些操作都相當費時。為了實現加速, Google 使用了一個完整 TPUv2 Pod 來執行實驗。在這情況下, Google 能夠在一天之內將一個模型訓練至收斂狀態。

在 Google 訓練出速度上更快的混合模型之後,初始版本的 Smart Compose 在一個標準 CPU 上運行時,依舊存在幾百毫秒的平均服務延遲,這與 Smart Compose 努力預測語句來幫使用者節省時間的特點是不相符的。幸運的是, Google 可在推斷期間使用 TPU 來大大地加速使用者體驗,通過分流 TPU 之上的大部分計算, Google 可以將平均延遲改良至幾十毫秒,同時也能大大增加單一機器可處理的服務請求數量。

公平性和隱私

由於語言理解模型會反映人類的認知偏倚,這樣會導致得到多餘的詞彙聯想和句子完成建議,所以在機器學習內實現公平至關重要。Caliskan et al. 在他們近期的「Semantics derived automatically from language corpora contain human-like biases」論文中指出,模型的詞聯想深陷於自然語言數據的偏倚數據中,這為打造任何一個語言模型都帶來了相當的挑戰。在模型訓練過程中, Google 積極地尋找方法來持續降低潛在的偏倚。另外,由於 Smart Compose 是基於數十億的短語和句子進行訓練,這與垃圾郵件機器學習模型的訓練方法一致, Google 已經進行了廣泛的測試來確保,模型只記憶多種使用者都使用的常識語句,關於常識語句的調查結果源自這篇論文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets

未來研究

Google 將持續地研究改良語言生成模型的預測品質,為此 Google 會通過使用最先進的構架(如 Transformer,RNMT+等)和試用最新、最先進的訓練技術來實現這一目標。一旦模型的實驗結果滿足了 Google 的嚴格延遲約束條件, Google 就會把這些更加的先進模型部署到自家產品上去。另外, Google 還在進行結合個人語言模型的研究,該模型的目的是給系統增加一個新特性,讓它能夠更加準確地模擬每個使用者自己的寫作風格。


讓 AI 成為顧客的美鞋顧問!awoo AMP 讓 Ann’S 女鞋創造超過 3 倍電商轉換率的秘訣

女鞋品牌Ann’S 結合 awoo AMP 的各種創新優勢,以數據結合 AI 優化的方式調整行銷策略,帶來更多網站及產品流量,創造電商轉換率超過 3 倍的秘辛解析。
評論
photo credit:阿物科技
評論

Ann’S 女鞋品牌於 2003 年成立,打造內外兼具、舒適又好看的美鞋,也開發不少獨家設計款,深受女星、部落客、模特兒等名人的喜愛以及消費者的支持。目前旗下商品除流行美鞋、手工婚鞋、各種包款,也將產品範疇延伸至居家用品、生活小物等,多達近 2000 種品項。而 Ann’S 的銷售渠道從實體門市、電商官網到官方 APP ,致力於讓消費者能擁有超個人化的購物體驗。然而在近 2000 種的豐富品項中,如何讓每個消費者都能以優質體驗找到最適合自己的鞋子,成為 Ann’S 最關心的任務,也是與 awoo 合作的契機。

商品分類再優化,Ann’S 女鞋以數據為本串連消費者喜好

「官網內有上千個商品,如何分類才能讓消費者輕鬆購物?」網站商品琳琅滿目,從各種鞋款、包包到居家生活小物等近 2000 筆, Ann’S 雖已做好完善的商品分類,但過去多仰賴行銷人員的市場經驗來判斷。此外,面對日趨複雜且破碎化的消費者行為與偏好, Ann’S 也希望能根據真正消費者與進站用戶的購物偏好,以數據為本進行敏捷式調整,讓行銷策略變得更加精準,驅使消費者輕鬆買單。

awoo AMP 中的 SEO 自動化、站內搜尋優化、豐富的商品推薦版位、 Pop-up 促進轉換等功能,會強化顧客旅程中每個接觸點上商品與顧客的連結,提供個人化的購物體驗。 Ann’S 表示:「品牌自行產生很多分類目錄,非常花時間、也易讓網站變得凌亂。搭配 awoo AMP 功能,可以讓消費者更快速方便就能配對到喜歡的產品方向,同時也對 SEO 有所幫助。」

利用 SEO 自動化,提高搜尋引擎滲透度,網頁收錄數增加 7 倍

電商行銷佈局從消費者意圖出現的時候就已經開始,第一步就是要讓有明確意圖的消費者更容易進站購物!awoo 獨家 SEO 自動化技術「自動化商品集合頁 awoo Page」能透過 AI 自動生成對搜尋引擎友善頁面,提高搜尋引擎滲透度,同時加強網站權重,不僅奠定優質的流量基礎,也提升頁面排名以及增加工作階段。

透過上述技術, awoo Page 為 Ann’S 網站新增多個入口,網頁收錄數增加高達 7 倍,也讓有明確購物需求的潛在消費者能夠更容易搜尋到 Ann’S 的商品,並且直接進入商品集合頁找到想要的商品,甚至在疫情期間補足受影響的全站流量。相較於系統串接前,分類頁的流量提升 18.48%,而產品頁的流量更成長 31.74%。

透過 AI 優化站內搜尋、商品分類與推薦機制,提升消費體驗同時提高平均訂單價值、電商轉換率大增 2 倍

不同消費習慣,電商行銷策略也大不同!針對有較明確意圖的消費者, awoo AMP 會進行自動特徵提取,包含關鍵字集、行為特徵、頁面特徵,分析像是「真皮 足弓 鞋」、「尖頭鞋 沙發後跟」及「彈性 襪靴」這類較具有明確意圖的購物情境標籤,分析出消費者意圖後進而推薦符合需求的商品。

另外 Ann’S 也觀察到尚未有明確購買意圖的族群,則最常點擊「人氣商品推薦」及「本週新品」這兩種分類頁。針對這群消費者, awoo AMP 會自動生成各種吸引人的商品標籤,提高進站用戶的興趣及購買意願。也就是說, Ann’S 原先的商品分類,搭配 awoo 商品標籤自動化及自動生成情境商品集合頁的 awoo Page 功能,能讓 Ann’S 女鞋的商品組合能見度最大化,除了吸引更多流量,也創造更多轉換。

採用 awoo AMP 後, Ann’S 電商網站內的受眾較多以點擊 awoo 標籤的形式去瀏覽相關商品,就像我們平常在實體店面逛街一樣,服務體驗好,提袋率就高,平均工作階段時間長度成長 280% ,而用戶點擊 awoo 標籤進行購物的流程所產生營收也最高,不僅電商轉換率增加 2 倍,其中 awoo pop-up 商品推薦功能所帶來的轉換率更是超過全站的 3 倍。

Ann’S 女鞋的銷售渠道從實體門市、電商官網到官方 APP,致力於讓消費者能擁有超個人化的購物體驗,透過阿物科技 awoo AMP 一站式 AI 行銷平台, Ann’S 也獲得亮眼的電商銷售成績,除了持續優化站內購物體驗,更讓 AI 成為顧客的專屬美鞋顧問!



關於阿物科技

awoo Intelligence 阿物科技是以 AI 驅動的 MarTech 在地新創,首創以產品為中心,深度了解消費者意圖的預測模型,推出台灣第一個全通路 AI 行銷自動化平台,提供超過 20 個功能與服務的 SaaS 模式,涵蓋流量獲取、轉換優化、再行銷、會員留存與數據加值應用,協助零售與電商打造全通路無縫接軌的超個人化用戶體驗。阿物科技目前於東京、嘉義與台北皆設有營運據點,服務超過 16,000 名企業用戶,專業 AI Lab 更配置 30 位菁英成員,致力協助客戶達成商業目標。如需更多資訊,請至阿物科技官網

想了解關於 awoo AMP 產品,歡迎聯絡我們,或 email 至 [email protected]

本文章內容由「阿物科技」提供,經關鍵評論網媒體集團廣編企劃編審。