大模型競賽,又殺出一匹黑馬-
Inflection-2.5###,由DeepMind聯創Mustafa Suleyman的大模型新創公司打造。
只用40%的運算資源訓練,表現就超過了GPT-4的九成,尤其擅長程式碼和數學。 而早期的Inflection模型,訓練時只消耗了4%的運算資源,就達到了GPT-4表現的72%。 以Inflection模型為基礎,該公司還推出了網頁端對話機器人Pi,主打“高情商”和“個人化”,也支援中文。 自誕生以來,Pi的最高日活達到了100萬,累計產生了40億條訊息,平均對話時長來到了33分鐘。 而隨著這次基礎模型的升級,Pi也迎來了它的新版本。圖片
那麼,Inflection,或者說Pi,表現到底有沒有那麼強,量子位元進行了一番實測。 無需登入即可使用開啟Pi的頁面,映入眼簾的是這樣一個極簡介面,而且還可以不用登錄,直接點選Next。圖片
連續Next幾次後,輸入希望Pi稱呼我們的方式。圖片
之後是選擇聲音和推薦主題,直接跳過就可以了,然後就進入正式的聊天介面了。圖片
簡單測試發現,Pi支援中文對話,既然如此那就先把弱智吧Benchmark給安排上。 第一題,老鼠生病了可以吃老鼠藥治好嗎,Pi成功解答。圖片
再來一道「陷阱」題,這次依舊沒有上當。圖片
兩道問題過後,雖然沒有出現什麼戲劇性效果,但看起來對中文也是有一定的理解了。 接下來就重點看看官方宣稱「尤其擅長」的數學和程式碼能力。 首先是一道涉及動態規劃的程式設計題目。圖片
Pi給出的程式碼成功解決了這個問題,並且配有清晰的解釋。圖片
接下來再提升難度看看,讓其分析一個數字的階乘中結尾有多少個0。圖片
Pi給出的程式碼不僅正確,而且簡潔高效,運行速度超過了LeetCode上73.8%的用戶。圖片
最後再來增加難度,以一個47.5%通過率的題目結束程式碼部分的測試。圖片
看完程式碼,再來測試Pi的數學能力怎麼樣,讓它做關於導數的題目:求出函數f(x)=x³ 2x²-1的極值點
#解完全正確,而是十分詳細。
當然要想數學好,邏輯思維是必不可少的,所以我們在常規的數學題之外,又用一道經典的題目考驗了一下的Pi邏輯思維,結果還不錯。
透過Pi的表現,可以看出背後的Inflection-2.5模型的確可圈可點。
而從官方自己公佈的測試數據來看,無論是綜合能力還是各個子項,Inflection-2.5的表現都緊跟著GPT-4。
以數學和程式碼為例,Inflection-2.5在MATH、HumanEval等測驗中都比1.0版本都有大幅飛躍。
在這些常規的資料集之外,Inflection還挑戰了匈牙利高考數學試題和GRE物理測試,結果幾乎與GPT-4打成平手。
比較「刁鑽」的,還有人專門用大模型難以理解的問題建構了一個BIG-Bench資料集,而Inflection-2.5挑戰了其中的Hard子集,結果和GPT-4的差距不到一分。
那麼,Inflection-2.5的背後,是怎樣的公司呢?
這家公司名叫Inflection AI,由DeepMind聯創Mustafa Suleyman等人於2022年創立,目前共有70餘人。
同樣來自DeepMind的,還有資深研究員Karen Simonyan,現擔任Inflection AI的首席科學家。
此外,LinkedIn聯創Reid Hoffman也參與了Inflection AI的創立。
創立以來,Inflection AI已經獲得了來自英偉達、微軟、比爾蓋茲等巨頭的共計15億美元的融資。
目前,基於Inflection的Pi還是免費的,但CEO Suleyman也表示,一直用愛發電不現實,長久地看以後還是要收費。
想要體驗的朋友,可能要抓緊時間了~
傳送門:https://pi.ai
以上是40%算力訓練效果比肩GPT-4,實測DeepMind聯創大模型創業新成果的詳細內容。更多資訊請關注PHP中文網其他相關文章!