最新版的聯發科5G生成式AI行動晶片天璣9300已發布，其新穎的全大核心架構設計和新一代AI處理器APU以及聯發科獨有的尖端技術，為生成式AI應用提供了強大的效能支持，讓使用者享受多彩豐富的生成式AI體驗。比此，聯發科也與大量AI產業企業加強合作，以在行動端打造豐富的AI生態。
全新第七代AI處理器APU 790，為生成式AI而生
#隨著用戶對生成式人工智慧應用的需求不斷增長，端側生成式人工智慧的便利性和安全性等優勢也顯露出來。當然，要部署端側的人工智慧大型語言模型，需要強大的人工智慧運算能力的支援
天璣9300搭載聯發科第七代AI處理器APU 790，為生成式AI而設計，擁有硬體級的生成式AI引擎，可以實現更加高速且安全的邊緣AI計算，深度適配Transformer模型進行算子加速，速度是上一代的8倍。
同時APU 790的效能與能源效率大幅提升，整數運算與浮點運算能力提升至前一代的2倍，蘇黎世ETHZv5.1 AI-Benchmark Mobile Soc跑分2109 分，AI效能成功霸榜，功耗更是降低了45%。在強大的AI效能支援下，1秒內即可產生圖片。天璣9300強悍的AI算力、創新的全大核心CPU架構和Immortalis-G720 GPU都為端側運作生成式AI打下堅實的效能基礎。
同時，基於億級參數大語言模型的特性，聯發科開發了混合精度INT4 量化技術，結合聯發科特有的內存硬體壓縮技術NeuroPilot Compression，可以更有效率地利用內存頻寬，大幅減少AI大模型佔用終端內存，為端側運行AI大語言模型突破手機內存限制，助力更大參數模型在端側落地。
基於以上，天璣9300首次在vivo旗艦手機端側落地70億參數AI大語言模型，處理速度可達20 Tokens每秒。不僅如此，聯發科突破了產業極限，已經與vivo成功在端側運行了130億參數的大語言模型。甚至，天璣9300已率先實現在行動晶片上成功運行330億參數的AI大語言模型，領先業界。
天璣9300也支援多模態生成式AI大模型，打造出「文生詩」「文生圖」「文生趣圖」等豐富有趣的端側體驗。
可見，天璣9300的AI算力和端側生成式AI能力已領先產業，足以讓使用者隨時隨地AI創造力全飆。
生成式AI模型端側技能擴充，帶來全面、豐富的端側生成式AI體驗
#與雲端生成式AI解決方案不同，由於硬體環境的差異，部署端側生成式AI也需要考慮手機記憶體、儲存容量、負載上限等因素。因此，聯發科率先提出了先進的解決方案
APU 790 支援生成式AI模型端側技能擴充技術NeuroPilot Fusion。此技術能夠在端側持續進行低秩自適應（LoRA，Low-Rank Adaptation）融合，基於基礎大模型，透過雲端訓練，實現N個功能的融合，從而賦予基礎大模型更全面、更豐富的生成式AI應用能力
例如，透過基於AI模型端側技能擴充技術開發的「圖生GIF動圖」功能，使用者可以根據一張照片更換不同的風格和表情，創造出獨特的個人化表情包，瞬間成為表情包達人
AI開發平台NeuroPilot加速端側生成式AI生態佈局
天瑩9300的APU 790透過強大的AI算力和先進的記憶體硬體壓縮技術，以及AI模型端側技能擴充等技術，將端側生成式AI的速度和廣度提升到了全新的水平。同時，聯發科憑藉其AI開發平台NeuroPilot建構了豐富的AI生態，從底層硬體到工具鏈、模型中心以及開發生態，助力生態快速、高效地部署端側生成式AI應用，加速其在端側的部署和普及
NeuroPilot是一款AI開發平台，它可以支援Android、Meta LIama 2、百度文心一言大模型、以及百川智慧百川大模型等領先的AI大模型
NeuroPilot的另一個重要優勢在於其先進的工具鏈，其中包括NeuroPilot Compression低秩自適應融合、Speculative Decoding推測解碼加速以及模型優化與轉換技術，這些都是非常完整的
聯發科的天璣開發者中心也提供端側生成式AI落地一站式開發者資源，分享端側模型部署案例以提升開發效率。目前已有20多個生成式AI夥伴加入生態共建
聯發科也攜手業界合約夥伴打造精彩的生成式AI應用體驗。虹軟的生成式AI超級解析度技術基於天璣9300 APU 邊緣運算能力，相較於前身，效能可提升30%。在25倍放大的拍攝時，利用生成式AI超級解析度技術，可以拍出細節更真實的影像效果。
極感科技的生成式AI語意搜尋技術也基於天璣9300 APU邊緣運算能力，對比前代，效能可提升260%。例如在手機的相簿中搜尋照片，描述照片的內容即可在毫秒內精準搜到對應的照片。而且在斷網狀態下也能搜索，隱私也不會外洩。
Morpho的視訊通話即時數位分身生成技術，利用天璣9300 APU邊緣運算能力，效能比前代提升了26%。一般的虛擬人像生成器需要手動選擇容貌樣式，耗費時間。但基於視訊通話即時數位分身生成技術，用戶操作簡便，只需打開相機拍攝一幀照片，即可瞬間產生數位分身
慧鯉生成式AI防眩光技術能夠在基於天璣9300 APU邊緣運算的支援下，提升60%的效能。使用此技術時，無論在室內或室外拍攝時，只需稍微調暗光線，即可消除眩光幹擾
可以看到，在AI端雲融合的趨勢下，天璣9300在AI算力、生成式AI用戶體驗和生態方面展現出全面的優勢，為新一代旗艦級端側生成式AI體驗樹立了新的標桿，強大生成式AI就要用天璣。
同時，以聯發科為引領的生成式AI開拓者們正在透過持續技術創新和生態佈局大力推動混合式AI運算的發展，為端側生成式AI部署展開了一條獨特且高效的道路，全力將生成式AI在端側普及，以實現更多用戶享受到端側AI的個人化體驗，開創全新的全場景智慧體驗，將科技的優勢充分惠及大眾。
以上是聯發科天璣9300：引領產業，支援規模最大的330億參數AI大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！
