Google Bard 靈魂推手來自台灣！紀懷新解密 Bard：AI 有哪些限制？怎麼訓練？

Google今年推出實驗性對話式AI服務「Bard」，7月更進一步升級支援包括繁體中文在內的40種以上語言，吸引多數台灣用戶體驗Google最新的AI技術應用。在Google Bard團隊中，最關鍵的靈魂人物就是來自台灣的紀懷新（Ed H. Chi）博士。

任職Google超過12年、身為Google DeepMind的傑出科學家，紀懷新親自從美國總部回來台灣解密，分享Google如何持續在多元產品與服務中，透過AI技術應用，幫助使用者帶來更智慧的體驗。

「Google的使命，就是透過大型語言模型（LLM）彙整全球資訊，並以自然的對話方式，供大眾使用，也使人人受惠。」在Google分享聚會中，紀懷新也親自回答3大核心問題，包括Google為何今年加入AI戰局、Bard如何學習並理解、大型語言模型還有哪些挑戰？

▲ 來源：楊絡懸攝影。 Google今年7月更進一步升級Bard支援包括繁體中文在內的40種以上語言。

重點一：為什麼Google在今年才決定加入AI戰局？

由於市場上的生成式AI話題是由ChatGPT而來，使得不少民眾以為，Google是為了迎戰ChatGPT的熱潮，才加緊推出Bard產品。

紀懷新解釋，「事實上，Google將AI技術帶入產品和服務中，已超過10年。」意思是，Bard是Google布局10年之久的AI戰略中，其中之一的成果。

Google在發展Bard之前，2011年就已經有Google Brain計畫團隊，嘗試導入AI上的研究及運用。

像是在「Google智慧鏡頭」透過圖片來搜尋其中的文字資訊、結合AR技術顯示路線環境的「Google地圖」、透過AI機器學習技術強化Gmail或Meet工具的「Workspace」，以及Pixel手機的即時翻譯、魔術橡皮擦等，都是AI應用的例證。

自2013年至今，紀懷新帶領的機器學習研究團隊，也包含大型語言模型、對話程式語言模型（LaMDA/Bard）、神經網路推薦系統（neural recommendations）、可靠性機器學習（reliable machine learning）等相關研究。

他的團隊也幫助過YouTube推薦演算法、Google新聞、廣告、Google Play商店等一系列Google產品，「這10年來，僅僅我們團隊，就在Google帶來720項改進。」

重點二：Bard如何學習並理解不同語言？

「資料跟資料效率，是發展對話式AI的關鍵。」紀懷新解釋，Bard整套訓練中，必須經過3個不同階段，分別是「預訓練」（Pre-Traing）、「微調」（Fine-Tuning）、「提示／提問」（Prompting）等。

他進一步解說，「預訓練」就是學習語言的基礎能力，也是最昂貴的階段；「微調」是專精於特定任務，尤其數據資料效率比較好的預訓練模型，能用更少的資料量學習；「提示／提問」則是提示及小樣本數據資料，能夠在正確的時間喚醒正確的能力。

▲ 來源：楊絡懸攝影 。紀懷新博士解釋，具備「多語言理解能力」的Bard如何解釋德文諺語。

有趣的是，紀懷新也用德文諺語「Ich verstehe nur Bahnhof」作為案例，若單純用Google翻譯工具，這句話就只會字面上翻譯成英文「I only understand train station」（我只知道火車站）。

由於Bard具備更好的「多語言理解能力」（multilingual understanding），因此，就會進一步解釋這句翻譯是錯誤的，並明確指出這句德文諺語的真正意思「I don't understand anything」（我什麼都不知道），向用戶解說「這句諺語是一種誇飾性的說詞」。

由此可知，語言模型能夠互為集中、學習，進一步理解而提升原有的模型基礎，這樣的結果也吸引多數用戶將Bard成為自己的語言學習家教。

Bard擁有很好的對話基礎，但在此之前的互動也不具備連貫性，話題內容更不夠廣泛，這都是學習的過程。紀懷新坦言，AI聊天機器人的體驗，應該要表現出交換式（Transaction）與互動式（Interaction）兩大特色並存，要有人性化的互動，而不單只是幫忙人類工作而已。

此外，有別於ChatGPT的回答基礎限制在僅能參考2021年前的資料，Google Bard則可利用搜尋引擎的工具，提高更正確、具有時效性的答案。「這就好像我們教大型語言模型LLM，如何繼續搜索、去閱讀這些網絡結果，進而產生相應的動作，最後是經過Google內部的搜索引擎產生出的回應。」紀懷新如此解釋。

值得一提的是，被問到Google訓練AI時，是用TPU，還是輝達（NVIDIA）的GPU呢？紀懷新透露，Google一直100%使用自家的TPU，尤其Google很早就在AI領域投入大量資源，裡頭的數學運算及訓練方法，都是早就發展的成果。

重點三：Bard存在「5大已知的限制」

「大型語言模型目前仍處於早期發展階段。」紀懷新說，儘管Google的對話程式語言模型（LaMDA）可以做到1,370億個參數，讓Bard理解合理性、具體性、趣味性、安全性、真實性，並歸納出數百萬任務，但事實上AI模型仍需不斷微調「更自然方式」的具體內容，才能跳脫早期的Google Assistant單一及不自然。

紀懷新指出，就目前來說，大型語言模型（包含Bard在內）仍存在「5大已知的限制」，像是回答時出現與事實不符合的「幻覺」及偏差：

1. 準確性：Bard的回應可能未必準確，尤其當詢問複雜或講求事實的主題時。

2. 偏差性：Bard的回應可能反映偏見或呈現出訓練資料中的特定觀點。

3. 人格化：Bard的回應可能會讓人以為它有個人意見或感受。

4. 偽陽性／偽陰性：Bard可能對某些適合的提示不予回應，並提供不適合的回應。

5. 惡意提示的刻意攻擊：使用者會不斷尋找對Bard進行壓力測試的方法。

面對這5大問題，紀懷新解釋，這是Google和整個業界正在研究的領域，Google也將隨著時間推移演進，致力改善這些面向。Google也會持續與政府機關、企業、大專院校等多方合作交流，共同研擬相關做法和標準，設法降低風險。

紀懷新也透露，一年多沒回來台灣，此次希望參與學術交流，並與Google台灣同仁交流，希望台灣針對AI領域作出一些貢獻。「大型語言模型會改變我們與AI互動的方式，並為生活帶來明顯改變，我們將持續參與其中。」

• 本文轉載自數位時代