AI 畫圖一秒生成，大語言模型一秒 20 token。
2023 年是生成式 AI 的元年，我們手上的行動裝置也在加速進入大模型時代。
11 月6 日晚，聯發科（MediaTek）正式發布了年度旗艦SoC 天璣9300，這款晶片透過4 4 全大核心的設計，在性能與能耗等方面，全面超越了安卓和蘋果競品。
更值得關注的是，今年的旗艦晶片被定義為 5G 生成式 AI 行動晶片，提供了遠超以往的高智慧、高性能、高能源效率、低功耗卓越特性。
天璣 9300 採用台積電新一代 4nm 工藝，擁有 227 億個電晶體。為了提供生成式AI 時代的算力需求，天璣9300 上開創性地使用了「全大核」CPU 架構，包含4 個Cortex-X4 超大核，最高頻率可達3.25GHz，以及4 個主頻為2.0GHz 的Cortex-A720 大核心，其峰值性能相較上一代提升40%，同性能情況下功耗節省33%。
這種架構在保證了工作速度快、效率高的同時具有省電的特性，無論在輕載或重載應用場景中，都能降低功耗、延長續航時間。聯發科表示，天璣 9300 面向目前常用的視訊、直播、遊戲等常見任務需求進行了優化，相比以往也更加適應折疊螢幕手機的多任務模式。
隨著晶片製程提升，電晶體正在不斷小型化，各種漏電問題成為摩爾定律發展的重大障礙。漏電意味著能量消耗的大幅增加，晶片也會面臨過熱甚至失效的問題。在這種情況下，小核心的功耗與大核心差距已越來越小。
據介紹，早在三年前聯發科就開始了全大核心晶片形式的探索。現在，讓大核心快速處理任務後進行較長時間的休眠，我們可以讓大核心處理器反直覺地相比小核心同類產品更加省電。另一方面，聯發科也加入了亂序執行（out-of-order）策略，進一步增加了應用程式執行的效率。 
聯發科認為到明年，全大核的設計將成為業界的共識。
常規能力之外，聯發科本次著重升級了晶片的 AI 性能。天璣9300 整合了MediaTek 第七代AI 處理器APU 790，專為生成式AI 而設計，其性能和能效相較上一代得到顯著提升，整數運算和浮點運算的性能是前一代的兩倍，功耗降低了45%。
APU 790 內建了硬體級的生成式AI 引擎，可實現更高速且安全的邊緣AI 運算，相較於上代，它專門針對目前大語言模型常用的Transformer 進行運算元加速，大模型的處理速度是上一代的8 倍。
當代流行的大語言模型（LLM），其主要核心網路架構大多是由 transformer Block 組成的。相較於電腦視覺常見的 CNN 網絡，transformer 網路以 Softmax LayerNorm 算符作為核心，卷積算子較少，因此原先 AI 核心的加速機制並不適用。在第七代 APU 處理器上，聯發科著重優化 Softmax LayerNorm 算子，提升了算力。
量化是目前優化 AI 推理的有效方式之一。基於億級參數大語言模型特性，聯發科開發了混合精度 INT4 量化技術，結合其特有的記憶體硬體壓縮技術 NeuroPilot Compression，可以更有效率地利用記憶體頻寬，大幅減少 AI 大模型對終端記憶體的佔用。
聯發科的工程師表示，雖然大模型可以帶來更好的生產力，但本地運行13B 的體量就意味著需要佔用約13GB 的內存，再加上安卓本身的4GB，其他APP 的6GB，已經超過了大多數手機16G 的記憶體容量。天璣 9300 使用的記憶體硬體壓縮技術，透過量化和壓縮把大模型的記憶體佔用降低到了 5GB，只有這樣才能讓大多數用戶在日常跑得起大模型應用。
APU 790 也支援生成式AI 模型端側「技能擴充」技術NeuroPilot Fusion，可以基於基礎大模型持續在端側進行低秩自適應（LoRA，Low-Rank Adaptation）融合，進而賦予基礎大模型更全面的能力。
基於這樣的硬體和最佳化，天璣 9300 在蘇黎世聯邦理工提出的 AI Benchmark 最新版本上可以達到 2019 分，是行動晶片的新高。
使用天璣9300，端側的AI 圖片生成如Stable Diffusion 可以做到一秒以內出圖，70 億參數大語言模型的端側推理可以做到每秒20token。
聯發科表示在與 vivo 的合作中，基於天璣 9300 已經率先實現了 7B 和 13B 大模型在行動端的推理，預計不久之後在終端就可以看到這樣的產品推向市場。另外在更極限的情況下，聯發科也跑通了高達 33B 的大模型。
在發布之前的溝通會和現場，聯發科展示了使用天璣 9300 工程機實現的 LoRA 文生圖、大模型生成文字等能力。
我們可以預見，在最新一代旗艦手機上，我們可以用上更聰明的智能助手，根據大模型給出的建議快速回复聊天和右鍵，用AI 生成的表情包鬥圖…
馬上就會推出且人人都可以體驗到的，就是vivo X100 系列手機上OriginOS 4 系統裡的AI 助理藍心小V。
本月初，vivo 剛在開發者大會上介紹了藍心大模型及其應用，這一系列能力顯然是面向手機的。在大模型的加持下，藍心小 V 擁有業界領先的智慧，它可以透過語音、文字、文件拖曳等方式接收資訊進行處理。如果遇到簡單的問題，小 V 會以文字或圖片回覆。面對複雜的問題，它也可以透過 SWOT 模型或心智圖的形式輸出來回答。
此外，天璣 9300 的 AI 能力也涵蓋從搜尋到拍攝。
聯發科表示，其AI 開發平台NeuroPilot 已經對安卓、LIama 2、文心一言、百川大模型等前沿主流AI 大模型進行了深度適配和優化，更多應用程式也在路上。
GPU 方面，天璣 9300 採用了 12 核心的 Immortalis-G720。與上代相比峰值效能提升 46%，相同效能下功耗可節省 40%。天璣 9300 搭載 MediaTek 第二代硬體光線追蹤引擎，支援 60FPS 高流暢度的光線追踪，並帶來遊戲主機級的全域光照特效。
此外，MediaTek 特有的MAGT 遊戲自適應調控技術升級為「星速引擎」，不僅與遊戲應用廣泛合作，還將拓展更多類型應用的生態合作。在活動中，聯發科宣布天璣 9300 平台將首發《仙劍世界》光追版，同時也將在手遊《暗區突圍》上實現穩定 60 幀光追的體驗。
目前根據許多第三方評測，天璣 9300 工程機的 CPU、GPU 絕對性能和功耗比均超過了驍龍 8Gen3 與 A17Pro，看起來使用全大核的策略是成功的。
圖片來源：極客灣Geekerwan
據介紹，首款採用天璣 9300 晶片的手機包含 vivo、OPPO、小米、傳音等。在聯發科的發布活動後，vivo 已宣布即將在 11 月 13 日發布的 X100 系列中率先搭載新旗艦晶片，並第一個實現 LPDDR5T-9600 內存的落地。
我們期待新一代產品的問世。
以上是首款生成式AI行動晶片天璣9300：可跑330億參數大模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！
