在一場科幻與科學的盛會上，科幻突然照進了現實。
近日，在深圳先進院，深圳理工大學教育基金會和科學與幻想成長基金開辦了一場以科幻和AI湧現為背景的活動。一個來自深圳名為陸兮科技的團隊，首次公開發布了他們的人工智慧大語言模型---NLM(Neuromorphic Generative Pre-trained Language Model)，一個不基於Transformer的大語言模型。
與國內外眾多的大模型不同的是，該團隊以類腦科學與類腦智能為核心，同時融合循環神經網路的特性，以大腦的高效運算特性為啟發開發大語言模型。
更驚人的是，該模型在同級參數下的算力消耗為Transformer架構的1/22；在上下文長度問題上，NLM也交出了滿分答案：上下文長度視窗可以實現無限增長，無論是開源LLM的2k限制，又或其他32k，100k的上下文長度限制都不在話下。
什麼是類腦運算？
類腦運算是一種模仿人腦結構和功能的運算模式，它在架構、設計原理和資訊處理方式上模擬人腦的神經網路連結。這種計算不僅僅是簡單地嘗試模擬生物神經網路的表面特徵，而是深入到如何模擬生物神經網路的基本構造方式——即透過神經元和突觸的大規模互聯來處理和儲存序列資訊。
與傳統的基於規則的演算法不同，類腦計算依賴大量的互聯神經網路自主學習和提取訊息，就像人類大腦一樣。這種方法讓計算系統從經驗中學習、適應新情況、理解複雜的模式，並能進行高階決策和預測。
由於其高度的適應性和平行處理能力，類腦運算系統在處理大數據、影像和語音辨識、自然語言處理等領域表現出了極高的效率和準確性。這些系統不僅能快速處理複雜多變的信息，而且在能耗和運算資源上遠低於傳統的運算架構，因為它們不需要進行大量的預先編程和資料輸入。
總的來說，類腦運算開啟了一種全新的計算範式。它超越了傳統的人工神經網絡，朝向著能夠自我學習、自我組織、甚至具有一定自我意識的高階智慧系統邁進。
類別腦大模型的先進性
在活動上，陸兮團隊的周芃博士詳細解釋了類腦大模型的實現機制。
作為新一代的神經網路模型，又稱為類腦神經網絡，它突破了前兩代神經網路的缺點。
-第一代神經網路（又稱：MLP多層感知機），在傳輸訊號上為0和1，無法處理過於複雜的任務，算力開銷也不多。
-第二代神經網絡，也就是人工神經網絡，將傳輸訊號變為了[0-1]的連續區間，有了足夠的複雜度，但是算力開銷也飆升。
- 第三代神經網絡，也就是類腦神經網絡，將訊號變成了脈衝序列，擁有足夠複雜度的同時，也將算力開銷變得可控。這種脈衝序列是模仿神經結構中的動力學特性得以實現的。同時，序列意味著時間，第三代神經網路可以有效的將訊息中的時間資訊融合和輸出。
-相較於前兩代神經網絡，它更有效地處理有時間維度的序列訊息，更有效地認識真實世界。
基於類腦演算法的大模型，在推理時的原理也和Transformer迥然不同。在推理過程中，Transformer模型和類腦模型的運作機制有顯著差異。每當Transformer模型進行推理時，其將會綜合考慮全部的上下文資訊以產生下一個token。這項操作可以類比為在聊天過程中，每當我們說出一個字時，都需要回想當天所有的經驗。這也是目前大型模型在參數持續成長的同時，其計算成本隨之上升的主因。
相對而言，類腦模型在推理時只需要依賴其內部狀態和一個token。這可以比喻為，我們在說話時脫口而出下一個字是什麼，而不必具體回憶之前的所有情境，說話內容也與之前的經歷有內在關聯。此種機制是NLM能大幅減少算力開銷的關鍵，使其能更接近人類大腦的運作方式，並因此顯著提高了其效能。
同樣因為腦啟發的特性，上下文長度有限也不再是令人困擾的問題。使用第三代神經網路的NLM大模型由於處理下一個token時所需的算力並不跟上下文長度相關，所以不存在上下文長度的瓶頸。公開可用的Transformer架構的大語言模型上下文長度僅100k，向上增加上下文長度不僅是算力開銷的問題，更是「能不能」的問題。
NLM無限長度的上下文將可以打開大語言模型應用的想像力之門，無論是研究複雜的財報、閱讀數十萬字的小說，亦或是透過長度無限的上下文來使大模型「更懂你”，都可以成為現實。
陸兮團隊眼中的AI
在這次活動上，陸兮科技的創辦人CTO週芃博士闡釋了團隊在當下的使命-賦智萬物。
一個人工智慧時代，需要人工智慧處處普及，正如網路和電力已經在我們的身邊處處可見。目前的人工智慧在能力上雖然令人驚嘆，但其運作成本卻為企業和消費者帶來巨大負擔。絕大多數手機、手錶、平板和筆記型電腦在當前技術下無法完整、系統化、高效、高品質地運行生成式人工智慧大語言模型，研發大模型應用的門檻也讓許多有志於此的優秀開發者望而卻步。
在活動現場，陸兮科技向觀眾展示瞭如何在一台普通安卓手機的離線模式下使用“NLM-GPT”大模型完成工作與生活中常見的各項任務，將活動推向了高潮。
- 參與展示的手機搭載了市面上常見的晶片架構，與C端市場常見安卓機型的效能相仿。在手機處於飛行模式、未連接網路的前提下，陸兮科技展示了「NLM- GPT」大模型在這台手機上與用戶即時對話、回答用戶提出的問題、完成包括詩詞創作、食譜撰寫、知識檢索、文件解讀等複雜度高、對手機硬體效能參數要求較高、傳統意義上需要連網才能完成的各項指令。
- 整個展示過程中，手機的能耗平穩，對正常待機時長影響極低，對手機整體使用效能未造成任何影響。
-該演示成功證明了“NLM-GPT”大模型擁有在諸如智慧型手機、平板電腦等小型C端商用設備中全場景、高效率、低功耗、零流量消耗運行的潛力。這意味著，由於「NLM-GPT」大模型的賦能，手機、手錶、平板、筆記型電腦等設備可以更準確高效地理解人類的真實意圖，在辦公、學習、社交、娛樂等各類應用場景下更高品質完成人類提出的各項指令與任務，大幅提升社會生產與人類生活的效率與品質。
陸兮科技認為，「類腦科技」驅動的「生成式人工智慧大語言模型」將全面拓展人類在學習、工作和生活等各個領域的思維力、感知力和行動力，提升全人類的整體智慧。由於採用類腦科技的賦能，人工智慧將不再是取代人類的新智能體，而是將成為人類改變世界、創造更美好未來的高效智慧工具。
正如古人訓練了獵犬和獵鷹，但獵人這一職業並不會因為獵犬和獵鷹的出現而消失。相反，獵人因此獲益，掌握了獵犬和獵鷹所擁有的、人類自身並不具有的力量，更有效率地獲取獵物、為人類族群的壯大和人類文明的發展提供了動力和養分。
在未來，在日常工作生活中應用人工智慧大語言模型將不再是一項複雜的多流程系統工程，而是將如同「結帳時開啟付款碼」、「拍照時按下快門」、 「刷短影片時一鍵三連」一般簡單、自然、流暢。陸兮團隊將會持續耕耘於類腦運算領域，深入研究大腦這個大自然送給人類最寶貴的禮物，將類腦智能帶入日常生活。
也許，在不久的將來，人類會擁有更多的人工智慧新夥伴。他們身體裡不流淌血液，他們的智慧不會取代人類。在類腦技術的加持下，他們將會與我們一起，共同探索宇宙的奧秘，拓寬社會的邊界，創造更美好的未來。
來源：生活報
（來源：undefined）
更多精彩資訊請在應用程式市場下載「極目新聞」用戶端，未經授權請勿轉載，歡迎提供新聞線索，一經採納即付報酬。 24小時報料熱線027-86777777。
以上是重磅發布，「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解！的詳細內容。更多資訊請關注PHP中文網其他相關文章！
