AI大模型在2023年成為關鍵字，也是各大科技公司競爭的熱門領域。然而，這種象徵未來的AI大模式成本過高，甚至讓像微軟這樣財大氣粗的公司開始考慮替代方案。最近有爆料顯示，在由Peter Lee領導的微軟內部的1500人研究團隊中，有一部分人轉向研發全新的LLM，它的體積更小，營運成本也更低
關於微軟的小尺寸AI模型，在3個月前已經開始顯露端倪。今年6月，微軟發布了一篇題為《Textbooks Are All You Need》的論文，使用僅有70億token的“教科書級別”數據訓練了一個13億參數的模型phi-1，證明即使是小規模的高品質數據也能使模型具備良好的效能。此外，微軟研究院也在phi-1的基礎上發布了一個名為phi-1.5的全新預訓練語言模型，適用於QA問答、聊天格式和程式碼等場景
根據微軟方面的說法，在測試常識、語言理解和邏輯推理的基準下，phi-1.5的表現超出了相當一部分大模型。 phi-1.5在具有LM-Eval Harness的GPT4AL跑分套件中，可以媲美Meta旗下擁有70億參數的開源大模型llama-2，在AGIEval得分上甚至超過了llama-2。
為什麼微軟要突然開發小尺寸的AI模型呢？外界普遍認為，這可能與OpenAI之間的問題有關。微軟是OpenAI的主要投資方，因此可以永久使用OpenAI現有的智慧財產權，但並不能控制OpenAI的決策。因此，對於像微軟這樣的巨頭來說，開發高品質的小尺寸AI模型是必不可少的，無論是出於自身戰略安全的考慮，還是為了在與OpenAI的合作中保持有利的地位
當然，AI大模型目前的能源消耗是關鍵因素。在今年年初的設計自動化大會上，AMD技術長Mark Papermaster展示了一張投影片，比較了機器學習系統的能源消耗和全球發電。根據國際能源總署的估計，訓練大型模型的資料中心的能源消耗越來越大，佔全球電力消耗的1.5%至2%，相當於整個英國的用電量。預計到2030年，這個比例將上升到4%
根據Digital Information World發布的相關報告顯示，資料中心為訓練AI模型產生的能耗將為常規雲端服務的三倍，到2028年資料中心功耗將接近4250兆瓦、比2023年增加212倍。而OpenAI訓練GPT-3的耗電量為1.287吉瓦時，約相當於120個美國家庭1年的用電量。但這也只是訓練AI模型的前期電耗，僅佔模型實際使用時所消耗電力的40%。
根據Google發布的2023年環境報告顯示，訓練AI大模型不僅會消耗大量能源，還會耗費大量水資源。根據報告顯示，Google在2022年消耗了56億加侖（約212億公升）的水，相當於37個高爾夫球場的用水量。其中52億加侖用於Google的資料中心，比2021年增加了20%
AI大模型的高能耗是很正常的。用ARM高級技術總監Ian Bratt的話來說，就是「AI運算需求是無法滿足的。網路規模越大，結果越好，可以解決的問題也越多，電力使用與網路規模成正比。」
有人工智慧從業人員表示，在疫情之前，訓練一個Transformer模型所需的能量消耗在27千瓦時的範圍內。然而，現在Transformer模型的參數數量已經從5000萬增加到了2億，能量消耗也已經超過了50萬千瓦時。也就是說，參數數量增加了四倍，但能量消耗卻增加了超過18,000倍。從某種意義上來說，人工智慧大型模式所帶來的各種創新功能，其實都是以高昂的處理效能和能量消耗為代價
更多的電力驅動更多的GPU進行AI訓練，又要大量消耗水資源來冷卻GPU，這就是問題所在。以至於微軟被曝光正在製定一個路線圖，希望用小型核反應器產生的電能來運作資料中心。更何況即便不提ESG（「環境、社會及管治」），單純從成本層面出發，研究小尺寸模型也是有價值的。
眾所周知，搭建了CUDA生態的英偉達是這一輪AI熱潮中的最大受益者，更是已經佔據了AI晶片市場的70%，如今H100、A100等計算卡更可謂是一卡難求。但現在的情況，是向英偉達購買算力已經成為了一個推高AI廠商成本的重要因素。所以小尺寸模型也意味著需要的算力資源更少，只要購買更少的GPU就能解決問題。
儘管功能更強大的大型模型確實很出色，但目前大型模型的商業化仍處於初級階段，唯一賺得盆滿缽滿的是英偉達公司這個「賣鏟子」的角色。因此，在這種情況下，微軟自然也有意改變現狀
以上是微軟推出小型AI模型，秘密進行'B計劃”，與OpenAI無關的詳細內容。更多資訊請關注PHP中文網其他相關文章！
