Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型-IT業界-PHP中文網

首頁

科技週邊

IT業界

Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Mar 05, 2024 am 11:13 AM

intel

3月4日訊息顯示，Intel最近在GitHub上發布了其NPU加速庫，這一舉措使得搭載酷睿Ultra處理器的AI PC能夠更加順暢地運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

酷睿Ultra系列首次整合了NPU AI引擎，此引擎可處理一些輕量級的AI推理任務，並與CPU、GPU協同工作，以滿足各種AI應用的要求。

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

據了解，雖然這次發布的NPU加速庫主要是為開發人員準備的，但那些有一定程式設計經驗的使用者同樣可以嘗試使用。 Intel的軟體架構師Tony Mongkolsmai示範如何在微星尊爵14 AI Evo筆記型電腦上運行一個基於11億參數的TinyLlama大模型的AI聊天機器人，這個機器人可以進行簡單的對話。同時，Windows任務管理器也顯示了NPU的有效呼叫。

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

然而，目前的開源NPU加速函式庫在功能上仍有一些不足，它支援8位元量化和FP16精度，但尚不支援4位元量化、BF16精度以及NPU/GPU的混合計算等高級功能，且相關技術文件也尚未提供。不過，Intel已承諾將在後續逐步擴展其功能，預期將比現有功能增加一倍，這無疑將為AI開發者帶來更多的便利和可能性。

以上是Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！

本網站聲明

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

熱AI工具

熱工具

熱門話題

Laravel 教程

1604

PHP教程

1509

276

Related knowledge

Intel TXT是什麼？ Jun 11, 2023 pm 06:57 PM

IntelTXT是Intel公司推出的硬體輔助安全技術，它可以透過在CPU和BIOS間建立一個受保護的空間，來確保伺服器在啟動時的完整性和安全性。 TXT的全名為TrustedExecutionTechnology，也就是可信執行技術。簡單來說，TXT是一種安全技術，它可以提供硬體層級的保護，確保伺服器在啟動時沒有被惡意程式或未經授權的軟體修改。這

洩漏揭示了英特爾 Arrow Lake-U、-H、-HX 和 -S 的關鍵規格 Jun 15, 2024 pm 09:49 PM

英特爾ArrowLake預計將基於與LunarLake相同的處理器架構，這意味著英特爾全新的LionCove效能核心將與經濟體的Skymont效率核心結合。

LG 推出迄今為止最薄、最輕的 Intel Lunar Lake 筆記型電腦，搭載 LG Gram 16 Pro 更新 Sep 10, 2024 am 06:44 AM

LG 已經提供了配備 Intel Meteor Lake 處理器的 Gram 16 Pro（亞馬遜售價 1,699.99 美元）。不過，該公司已決定將英特爾的 Meteor Lake 架構替換為 Lunar Lake，而英特爾上週在柏林 IFA 2024 上展示了該架構。釷

IFA 2024 | Lenovo ThinkPad X1 Carbon Gen 13 Aura Edition：聯想首款 Lunar Lake ThinkPad 幾乎與 X1 Nano 一樣輕 Sep 06, 2024 am 06:50 AM

眾所周知，十三是嚴重缺乏的。不過，迷信在科技業並不是一種美德。對於聯想來說，第 13 代高階筆記型電腦似乎注定會像前 12 代筆記型電腦一樣成功。在最大的 PC 製造商 IFA

Beelink EQi12 推出，比 EQ12 更強大的迷你電腦 Aug 21, 2024 pm 08:37 PM

Beelink 推出了新的迷你電腦 EQi12。它是該品牌去年推出的EQ12的升級版，搭載Intel N100。較新的電腦最多可配備 Intel Core i7 12650H，這是更高階的晶片之一

九州風神推出冰暴一體式水冷散熱器 Feb 28, 2024 pm 05:10 PM

DeepCool是PC冷卻解決方案領域的領先製造商，最新推出的冰暴一體式水冷式散熱器系列旨在提升高性能PC硬體和遊戲體驗。該系列產品配備了2.8英寸的可自訂液晶顯示屏，為用戶帶來全新的美學、個人化和冷卻效率體驗。用出色的2.8英寸液晶顯示屏釋放你的創造力冰暴一體式水冷散熱器的亮點是令人印象深刻的2.8英寸TFTIPS大屏，用戶可以利用顯示屏進行個性化內容定制。 1670萬色真彩LCD，擁有640x480的高清分辨率，帶來出色的畫質表現，冷頭內置陀螺儀傳感器，可自動識別屏幕安裝方向。第五代泵浦技術冰暴一