當人們爭論摩爾定律是否已經失效時,最近NVIDIA官方發表了一篇與「黃氏定律」相關的技術文章。這篇文章不再討論電晶體數量,而是認為在未來十年內,單晶片的AI推理性能和效率將提高1000倍以上
摩爾定律在過去一直主導著科技業。 NVIDIA公司執行長黃仁勳(Jensen Huang)曾多次表示,摩爾定律正在「放緩」,它的概念已經開始過時。儘管NVIDIA在過去十年中將GPU從28奈米遷移到了5奈米半導體節點,但該技術僅佔總收益的2.5倍
NVIDIA公司首席科學家比爾-達利(Bill Dally)在一篇文章中澄清說,NVIDIA對下一代技術的態度是圍繞「黃氏定律」展開的。
何謂黃氏定律?
所謂「黃氏定律(Huang's Law)」的由來,NVIDIA聲稱並非他們自己發明的,這一術語源自IEEE Spectrum的一篇報導,後來被多家媒體所熟知。 NVIDIA最近在其產品中實施的概念確實很有趣,它可能是打開行業未來之門的鑰匙。
比爾-達利(Bill Dally)在「熱晶片2023」的演講中指出,NVIDIA在過去十年中經歷了計算晶片性能驚人的1000倍增長。根據書本上的說法,這樣的提昇在摩爾定律的框架下是不可能實現的,而製程的縮減也不會對這個數字產生任何影響。現在,你可能會問我如何實現這項壯舉,我的回答是,我們優先考慮了單一「堆疊」內的創新,而不是晶片開發
為了支持這種說法,NVIDIA公司在其文章中表示,引入「Hopper架構」是顯示龐大效能資料的決定性因素,因為它們使用了「8位元和16位元浮點和整數數學」。更進一步,「安培架構」的推出提高了統計學習的效能,使運算工作負載的效能提升了2倍。為了將各項技術串聯起來,NVIDIA的「NVLINK」技術派上了用場,最終實現了x1000的突破。
NVIDIA在文內提到,在整個10年期間,公司從28奈米製程轉換到5奈米製程,性能僅提高了2.5倍。這違背了摩爾定律,即晶片每「縮小」一次,效能就會比去年同期提高2倍。達利表示,NVIDIA的未來取決於「黃氏定律」,而「黃氏定律」會帶來一些產業進步的機會。
「現在是做電腦工程師的一個有趣的時代。」達利表示,「產業情勢確實驗證了這一事實。可以說,電腦產業正處於一個決定性的時刻,而這一切都取決於公司如何看待晶片和運算的發展」。
以上是揭示Nvidia的「黃氏定律」時代:10年內GPU AI推理性能成長1000倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!