Stellen Sie große Sprachmodelle lokal in OpenHarmony bereit

Dieser Artikel stellt die Ergebnisse von „Local Deployment of Large Language Models in OpenHarmony“ vor, die auf der 2. OpenHarmony-Technologiekonferenz vorgestellt wurden: https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob /master/thirdparty /InferLLM/docs/hap_integrate.md.

Implementierungsideen und -schritte

Portieren Sie das leichtgewichtige LLM-Modellinferenz-Framework InferLLM auf das OpenHarmony-Standardsystem und kompilieren Sie ein Binärprodukt, das auf OpenHarmony ausgeführt werden kann.

InferLLM ist ein einfaches und effizientes LLM-CPU-Inferenz-Framework, das Quantisierungsmodelle lokal in LLM bereitstellen kann.

Verwenden Sie OpenHarmony NDK, um ausführbare InferLLM-Dateien auf OpenHarmony zu kompilieren.

Verwenden Sie insbesondere das Cross-Compilation-Framework OpenHarmony Lycium und schreiben Sie dann einige Skripte. Speichern Sie es dann im tpc_c_cplusplusSIG-Warehouse.

Schritte der lokalen Bereitstellung eines großen Sprachmodells

Kompilieren und beziehen Sie das mit der InferLLM-Drittanbieterbibliothek kompilierte Produkt.

OpenHarmony SDK herunterladen, Download-Adresse: http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList2.

Laden Sie dieses Lager herunter.

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1

# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM

Rufen Sie die InferLLM-Drittanbieter-Bibliotheksheaderdatei ab und die generierte Bibliothek generiert das Verzeichnis InferLLM-405d866e4c11b884a8072b4b30659c63555be41d im Verzeichnis tpc_c_cplusplus/thirdparty/InferLLM/. In diesem Verzeichnis gibt es ein kompiliertes 3-Verzeichnis. Bit- und 64-Bit-Bibliotheken von Drittanbietern. (Die relevanten Kompilierungsergebnisse werden nicht in das USR-Verzeichnis unter dem Lycium-Verzeichnis gepackt.)

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build

Schieben Sie die kompilierte Produkt- und Modelldatei zur Ausführung auf das Entwicklungsboard

Laden Sie die Modelldatei herunter: https://huggingface.co/kewin4933/InferLLM-Model/tree/main.

Packen Sie die ausführbare Lama-Datei, die durch Kompilieren von InferLLM generiert wurde, libc++_shared.so im OpenHarmony SDK und die heruntergeladene Modelldatei chinese-alpaca-7b-q4.bin in den Ordner llama_file.

# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data

# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件（8GB大小的交换文件）fallocate -l 8G /data/ram_ohos# 设置文件权限，以确保所有用户可以读写该文件：chmod 777 /data/ram_ohos# 将文件设置为交换空间：mkswap /data/ram_ohos# 启用交换空间：swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率（不同平台显示的可用频率会有所不同）cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies# 将 CPU 调频模式切换为用户空间模式，这意味着用户程序可以手动控制 CPU 的工作频率，而不是由系统自动管理。这样可以提供更大的灵活性和定制性，但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4

Portieren Sie die InferLLM-Drittanbieterbibliothek und stellen Sie das große Sprachmodell auf dem OpenHarmmony-Gerät rk3568 bereit, um den Mensch-Computer-Dialog zu realisieren. Der endgültige Laufeffekt ist etwas langsam, und das Popup des Mensch-Maschine-Dialogfelds ist ebenfalls etwas langsam. Bitte warten Sie geduldig.