谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

PHPz
發布: 2023-04-12 14:04:03
轉載
1079 人瀏覽過

Google的反擊戰,打響了!

最近,微軟接連給Google爆擊-前腳剛表示ChatGPT即將整合進自家搜尋引擎必應,後腳就放出ChatGPT計畫加入Office「辦公室全家桶」這個重磅炸彈。

微軟頻出險招,Google自然不能坐以待斃。

根據DeepMind創始人在《時代》專訪中透露的訊息,Google很有可能會利用DeepMind先前推出的Sparrow,來應對ChatGPT的挑釁!

其實在以前,Google手中就有好幾個醞釀了很久的大模型,像是LaMDA,Imagen等等,據說都達到了SOTA,但從未對外公開。

看來,最近的谷歌,真的是被微軟逼急了,已經準備領著「孩子」出來見人了。

應對ChatGPT,Google有答案了

Google曾經的猶豫不決,給今日的自己埋下了後悔的種子。

雖然ChatGPT很費錢,每天都要燒掉30萬美元,但人們永遠都會記住,在2022年12月的那一天,是OpenAI的ChatGPT寫下了大規模語言模型歷史上濃墨重彩的一筆,讓全世界人民為了和機器人聊天擠爆了伺服器,而不是谷歌。

其實,在OpenAI推出ChatGPT之前,Google就早已有了針對對話優化的大型語言模型,像是LaMDA和Flamingo。

甚至早在2020年,Google就推出了一個26億參數的端對端神經網路對話模型Meena。據稱,其效果比當時所有其他的SOTA聊天機器人都更加合理,也更加具體。

但截至目前,Google還沒有把這些研究成果應用於任何產品。

根據它自己的說法,這主要是出於對「聲譽風險」的考慮。 AI聊天機器人非常容易「帶毒」——AI訓練的數據來自互聯網,往往充滿了偏見、仇恨和謾罵,所以AI會產生破壞性內容,以及與事實不符的答案。

12月中旬,GoogleAI負責人Jeff Dean在一次全體會議上表示,儘管Google擁有做AI產品的技術和能力,但比起「小型新創公司」,他們必須「更保守地」做出決策。

但現在,被微軟逼到牆角的谷歌,恐怕無法再「保守」了。

ChatGPT已經在最近兩個月爆紅全網,掀起全民參與的狂潮,最近幾天更是傳出微軟大筆一揮,再向OpenAI豪擲100億美元的消息。

面對坊間已經不斷出現的「ChatGPT能否取代搜尋引擎」的討論,以及微軟的Office辦公軟體疑似即將迎來一場全面大升級,現在,Google必須向外界證明:自己可以追上OpenAI,甚至超越它。

前不久,DeepMind的CEO兼創辦人Demis Hassabis在接受《時代》採訪時表示,DeepMind的聊天機器人Sparrow可能會在今年稍晚進入「測試」階段( private beta)。

Hassabis表示,之所以延遲發布Sparrow,是DeepMind希望讓Sparrow在基於強化學習的功能上更進一步,而這正是ChatGPT所欠缺的。

一直以來,DeepMind作為Google旗下最重要的AI研究機構,一直在為Google提供先進的新技術,整合到消費者的產品中。

看來,Google要有大動作了。

先前,Meta AI的負責人Yann LeCun也對Google表示了支持:「Google在使用大型語言模型進行搜尋方面,擁有比其他公司更豐富的經驗(包括OpenAI )。”

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

DeepMind的Sparrow,何方神聖?

和ChatGPT一樣,DeepMind在2022年9月提出的Sparrow(麻雀)模型,也採取了一個基於人類回饋的強化學習(RL)架構。

但不同的是,Sparrow可以「谷歌一下」。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

#論文網址:https://arxiv.org/abs/2209.14375

畢竟,Sparrow在最初的設計時就是為了和用戶閒聊,並且可以在回答問題時,利用谷歌搜尋出相關的資訊來作為支撐證據。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

當然,為了確保模型的行為是安全的,也必須對其行為進行約束。

因此,研究人員為該模型確定了一套最初的簡單規則,例如“不要發表仇恨或侮辱性的言論”、“不要冒充或假裝是一個真人”等。

之後,再透過閒聊來誘使Sparrow違反這些規則。其中所涉及的對話,可以用來訓練出一個單獨的「規則模型」,進而顯示Sparrow的行為何時違反哪些規則。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

從結果來看,當偵測到潛在的危險行為時,例如使用者問如何偷車(hotwire a car)時,Sparrow模型會說,自己受到的訓練是不會給任何違法行為建議。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

據參與者說,當被問到一個事實性問題時,Sparrow基本上提供的都是可信的答案,並且有78 %的數據是有證據來輔助支持的,相比基線模型來說有很大進步。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

幫Google走出困境,DeepMind行嗎?

對打ChatGPT,Sparrow夠格不

#近年來,人工智慧研究的重點,通常是用更多的參數來獲得更好的性能。但DeepMind卻大大減少了Chinchilla語言模型的規模。

作為Sparrow的基礎,Chinchilla的參數量只有GPT-3的零頭-700億 vs 1750億。

同時,DeepMind又把Chinchilla的訓練資料量,翻了好幾番──1.3兆個token。

結果就是,這個「mini版」的人工智慧模型,在幾乎所有的語音任務中都比前輩們表現得更好,當然也包括老對手GPT-3。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

從Chinchilla的成功中不難看出,透過大量資料訓練的小型人工智慧模型,也可以實現較高效能。

而且,小模型最大的優勢在於,不僅運行起來更加便宜,還可以用很少的額外資料為特定的用例進行最佳化。

這樣或許就能避免,由於用戶用得太開心,結果把公司的錢都給燒沒了的狀況。

嗯,說的就是OpenAI。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

然而,現在大紅大紫大的ChatGPT,是基於更先進的GPT-3.5。

之前在推出GPT-3.5的最新版本text-davinci-003時,OpenAI就曾列舉過它所具備的優勢:

#1. 生成品質更高:提供更清晰、更有吸引力、更有說服力的內容。

2. 可以處理更複雜的指示:可以更有創意地利用它的能力。

3. 更善於產生較長的內容:能夠完成先前難以實現的任務。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

所以,現在的問題其實變成了:要對打GPT-3.5,Chinchilla行嗎?

「真香」

一步一步走到今天,回顧谷歌這幾年的動作佈局,管理層心裡大概是五味雜陳。

早在12月初,ChatGPT剛爆火時,Google就有「吹哨者」感受到了危機。有員工在全體會議上提出了自己的擔憂——ChatGPT的快速崛起,可能會讓Google失去在AI領域的競爭優勢。

曾經的Google廣告團隊負責人Sridhar Ramaswamy也表示,ChatGPT再這麼火下去,網友們就不會再點擊帶有廣告的Google連結了。

要知道,在2021年,廣告業務為Google狂賺了2,080億美元,佔Alphabet總收入的81%。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

而那時,Google高層還沒有意識到ChatGPT的誕生,將會對他們造成什麼樣的危機。

當時的Google高層,是這樣表態的:Google不會推出ChatGPT的競爭對手,因為Google比OpenAI等新創公司有更大的「聲譽風險」。並且,「聊天機器人還沒到能取代搜尋引擎的程度」。

不過短短十天後,主管們就態度陡變。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

Pichai指示一些團隊轉換方向,開發AI產品

CEO劈柴緊急發布了「紅色代碼」,參加了數次圍繞谷歌AI戰略的會議,並重點指示:谷歌的多個團隊需要集中精力,解決ChatGPT對本公司的搜尋引擎業務構成的威脅。

Google的研究、信任和安全部門以及其他部門的團隊已被指示換檔,轉而開始協助人工智慧原型和產品的開發和發布。

其實,Google的顧慮,也能理解。

一個機器人會傳播謊言、散播仇恨言論,甚至讓人們產生了它已經「有意識」的錯覺,為這樣的機器人燒錢、提供實驗場,OpenAI的嘗試其實很大膽。

目前來看,OpenAI的試水反應相當不錯,有人探出了前路,看來Google也要進場了。

陷入「創新者困境」

Decoder的記者Matthias Bastian認為,除了對「聲譽風險」的擔憂,更合理的原因是,谷歌恐怕陷入了「創新者的困境」。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

這個術語是美國學者Clayton Christensen在1997年提出的,描述了這樣一種情況——對成熟公司來說,很難讓它們採用破壞傳統市場的新技術或商業模式。

這些成熟公司,手中往往掌握著最重要的資源,也有足夠的研究能力。然而,現有的客戶群和固定的內部流程,都會使他們遠離突破性的創新。

而當更小、更敏捷的競爭對手進入並接管市場 (沒錯,這裡指的就是OpenAI),或許最終會導致成熟大公司的消亡。

谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

#Google的大部分收入,都來自於線上廣告

現在,Google最核心的搜尋引擎業務正在不斷成長,而且利潤豐厚(還記得上文的2,080億美元麼)。

可以說,每個搜尋結果頁面,都在印錢給Google。

而新的搜尋聊天機器人(search chatbot),意味著一種全新的貨幣化策略。它能否像搜尋引擎這樣讓Google獲利呢?

Google當然可以推出一個像ChatGPT那樣成功的聊天機器人,但是如果它的利潤低於搜尋引擎,Google就會面臨虧損。谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

數位行銷專家Tim Peter在推特上指出,微軟的優勢在於可以透過其他收入來源,來補貼必應中ChatGPT的成本

而ChatGPT的背後,是金主爸爸微軟,而微軟擁有豐富的收入來源,目前還能支持ChatGPT這樣燒下去。

但Google卻不同,它所有的收入幾乎都來自廣告。因此,如果沒有廣告收入,Google搜尋引擎的價值就會大大降低。谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

#微軟2012至2022依部門劃分的財年收入

#更何況,搜尋引擎之所以如此暴利,就是靠用戶不斷點擊鏈接,在這個過程中,谷歌收取了商家巨額的廣告費。

可是假如用戶靠著聊天機器人能直接得到答案,而不需要在清單中翻找,搜尋引擎的付費業務生態就直接被破壞了。

這個幾千億美元的蛋糕,Google敢冒險砸掉嗎?谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP

現在,Google有一條平穩過渡的出路:透過旗下的DeepMind推出商業化的聊天機器人,自己來為Google搜尋造出一個對手(同時也是OpenAI的對手),這樣一來,就可以做個對沖。

這樣Google就可以安撫股東,當外界懷疑聊天機器人會取代搜尋引擎時,也可以有個回應。

###這樣看,在2023年即將發布的Sparrow測試版,身上肩負的使命著實不小。 ######

以上是谷歌真急了,推DeepMind撐場! 700億參數Sparrow硬剛ChatGTP的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!