活動採訪
訓練 Bard 全靠自家 TPU！為何 Google 要增加 AI 數學能力？開發者親自解答
「其實 Google 在訓練 AI 時，100% 使用的都是自家的 TPU！」來自台灣、於總部 Google DeepMind 團隊帶領大型語言模型研究與 Bard 開發的 Google 傑出科學家紀懷新（Ed H. Chi）博士，親自回台解密並分享 Google 針對大型語言模型技術研究與應用的發展概況。
Google Bard 你用過了嗎？這是 Google 在今年 7 月推出繁體中文版、與 ChatGPT 相互競爭的產品。今日，來自台灣、於總部 Google DeepMind 團隊帶領大型語言模型研究與 Bard 開發的 Google 傑出科學家紀懷新（Ed H. Chi）博士，親自回台解密並分享 Google 針對大型語言模型技術研究與應用的發展概況。
2022 年底到 2023 年，可以說是由 OpenAI 的 ChatGPT 點起了擴及全球的生成式 AI 戰火，而一向在 AI 研究相當超前的 Google，相比 OpenAI、微軟（Microsoft）等競爭者，卻反倒在生成式 AI 戰局上變成了「追趕者」的角色。
紀懷新博士解釋，事實上 Google 將 AI 技術帶入產品和服務中已超過十年，更在 2010 年就有 Google Brain 團隊，這十幾年當中，包括 Google 的智慧鏡頭、Google 地圖、Google Photos、Pixel 手機、Workspace、YouTube 等等，「自 2013 年以來 AI 為 Google 產品帶來 720 項改進，這還僅僅是在我的團隊而已。」
LLM 究竟是什麼？多任務、多語言能力的萬能模型
紀懷新指出，此前所有語言模型都有「分工概念」，但現在的趨勢則是把所有東西放到一個模型裡面，成為多任務語言模型，這也是超大型語言模型（LLM）的由來，這樣的模型可以歸納數百萬任務，例如 Google 的 LaMDA 就高達 1,370 億個參數，針對合理性、具體性、趣味性、安全性、真實性，工具整合、多點跳躍問答進行微調，也為 Bard 奠定基礎。
因此，像 Bard 這樣的聊天機器人，才能表現得交換式（Transaction）與互動式（Interaction）並存，而不是僅僅帶來交換式體驗，「不是只能『幫你做事』而已，而是提供更有人性化的互動。」紀懷新解釋。
紀懷新也點出了像 Bard 這樣的生成式 AI 機器人表現出的潛力，在於它擁有更好得多語言理解能力（multilingual understanding）他並以德文諺語：Ich verstehe nur Bahnhof 為例，若以單純的 Google 翻譯工具翻譯成英文，結果會是：I only understand train station，但如果詢問 Bard 他就會解釋這句諺語的意思。
這是因為現在不再把不同語言用不同模型處理，而是集中在一起，所以模型才能夠理解不同語言，也因此有許多人把這樣的 AI 聊天機器人當作語言方面的家教。
Pre-Traing、Fine-Tuning、Prompting，對話式 AI 如何養成？
紀懷新指出，資料跟資料效率是發展對話式 AI 的關鍵，中間得經過 Pre-Traing（預訓練）、Fine-Tuning（微調）、Prompting（提式／提問），其中預訓練是學習語言和基礎能力，「是最貴的部分！」紀懷新笑說。
今天記者會上，紀懷新也解密，其實 Google 在訓練 AI 時，100% 使用的都是自家的 TPU，「Google 很早就在 AI 領域投入了大量資源，包括硬體，包括裡頭的數學、算法等，這些都是我們的強項。」
為什麼 Google 要在 Bard 身上加強數學與程式能力？
值得注意的是，過去《INSIDE》曾報導過，與 Github、Amazon 等競爭對手特別推出專門針對程式碼生成的 AI 模型不同，Google 選擇將這樣的能力放到 Bard 這樣的通用模型之中。但從原理來看，LLM 是透過預測接下來可能出現的單詞來生成答案，因此在語言、創造性任務方面的能力非常強，但在數學以及推理方面等領域表現就會較弱。
那麼，Google 為什麼要這樣做？紀懷新解釋，向大型語言模型輸入了 FactA（1+1=2） ，之後又輸入 FactB（2+2=4），大型語言模型在處理時就可能將 A 和 B 結合起來，變成 FactC，但這個 FactC 卻可能是錯的，如果一個模型能夠產生 Code 來解決這個問題，代表它「具備產生新的知識」的能力，也就更容易解決 AI 產生幻覺的問題，「這不只是包括邏輯推理能力，我們還希望可以提升它的常識推理能力。」
核稿編輯：Chris
加入 INSIDE 會員，獨享 INSIDE 最精采每日趨勢電子報，未來還有會員專屬內容。 點擊立刻成為會員！
延伸閱讀：
最新發展：
未 滿 十 八 歲 禁 止 飲 酒 