AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

WBOY
發布: 2023-09-25 18:45:07
轉載
932 人瀏覽過

電子計算機於上世紀40年代誕生,而在電腦出現後的10年內,人類歷史上的第一個AI應用就出現了。

AI模型已經發展了70多年,現在不僅可以創作詩歌,還能根據文字提示生成圖像,甚至幫助人類發現未知的蛋白質結構

在如此短的時間內,AI技術取得了指數級的成長,這是由於什麼原因呢?

一張來自「我們資料中的世界」(Our World in Data)的長圖,透過用於訓練AI模型的算力變化為刻度,對AI發展歷史進行了追溯。

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

高畫質大圖:https://www.visualcapitalist.com/wp-content/uploads/ 2023/09/01.-CP_AI-Computation-History_Full-Sized.html 需要重寫的內容是:高畫質大圖連結:https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html

該資料的來源是一篇由麻省理工學院等大學的研究人員發表的論文

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

論文連結: https://arxiv.org/pdf/2202.05924.pdf

除了論文之外,還有一個研究團隊根據這篇論文的數據製作了一個可視化的表格。使用者可以隨意縮放圖表,以獲取更詳細的數據

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

#需要重寫的內容是:表格位址:https://epochai.org /blog/compute-trends#compute-trends-are-slower-than-previously-reported

圖表的作者主要透過計算運算次數以及GPU時間來估計訓練每個模型的計算量,而對於選擇哪一個模型作為重要模型的代表,作者主要透過3個性質來確定:

顯著的重要性:某個系統具有重大歷史影響,顯著提高了SOTA,或被引用次數超過1000次。

相關性:作者只收錄了包含實驗結果和關鍵機器學習組成部分的論文,並且論文目標是推動現有SOTA發展。

獨特性:如果有另一篇更有影響力的論文描述了同一個系統,那麼論文將被從作者的資料集中剔除

#AI發展的三個時代

在1950年代,美國的數學家克勞德·香農訓練了一隻名為Theseus的機器老鼠,使其能夠在迷宮中導航並記住路徑。這是人工學習的第一個實例

Theseus的建構是基於40個浮點運算(FLOPs)。 FLOPs通常用作衡量電腦硬體運算效能的指標。 FLOP數量越高,運算能力越強,系統也越強大。

AI的進步取決於三個關鍵要素:運算能力、可用的訓練資料和演算法。在AI發展的早期幾十年中,計算能力的需求按照摩爾定律不斷增長,也就是說計算能力大約每20個月翻倍一次

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

##然而,當2012年AlexNet(一種影像辨識人工智慧)的出現標誌著深度學習時代的開始時,這個翻倍時間大大縮短到了六個月,這是因為研究人員在計算和處理器方面的投資增加了

隨著2015年AlphaGo的出現——一個擊敗了人類職業圍棋選手的電腦程式——研究人員發現了第三個時代:大規模AI模型時代到來了,它的運算需求比以前所有的AI系統都要大。

未來AI技術的進展

回顧過去的十年,運算能力的成長速度簡直令人難以置信 #

例如,用於訓練Minerva(一個可以解決複雜數學問題的AI)的運算能力幾乎是十年前用於訓練AlexNet的600萬倍。

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

這種運算成長,加上大量可用的資料集和更好的演算法,令AI在極短的時間內取得了大量進展。如今,AI不僅能達到人的表現水平,甚至在許多領域都超越了人類。

AI能力將在各個層面不斷超越人類

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

#從上圖可以清楚看出,人工智慧在許多領域已經超越了人類的表現,並且在其他方​​面也將很快超越人類的表現。

下圖展示了在常見的人類日常工作和生活會使用到的能力中,AI在哪一年已經達到或超過了人類水平。

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

AI技術發展勢能充足

計算成長是否能夠維持相同的速度是難以確定的。大規模模型的訓練需要越來越多的算力,如果算力供應無法持續成長,可能會減緩人工智慧技術的發展進程

同樣,耗盡目前可用於訓練AI模型的所有數據也可能妨礙新模型的開發和實施。

2023年,AI產業迎來了大量資本的湧入,尤其是以大語言模型為代表的生成式AI。這或許預示著更多的突破即將到來,似乎以上3個促進AI技術發展的元素都將在未來得到進一步的優化和發展

2023年上半年,AI產業的新創公司融資規模達到了140億美元,甚至比過去4年獲得的融資總和還要多。

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

而大量(78%)的生成式AI新創公司都還處於發展非常早期的階段,甚至27%的生成式AI新創公司公司還沒有進行融資。

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

360多家生成式人工智慧公司,27% 尚未進行融資。超過一半是 輪或更早的項目,說明整個生成式AI產業還屬於非常早期的階段。

AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證

由於開發大型語言模型的資本密集型性質,自2022 年第三季以來,生成式AI基礎設施類別已獲得超過70 % 的資金,僅佔所有生成式AI交易量的10%。大部分資金源自於投資者對基礎模型和API、MLOps(機器學習操作)以及向量資料庫技術等新興基礎設施的興趣。

以上是AI技術指數級爆發:70年間算力成長6.8億倍,3個歷史階段見證的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!