在OpenHarmony本地部署大语言模型

---

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

本文将第二届openharmony技术大会上展示的《在openharmony本地部署大语言模型》成果开源，开源地址：https://#%#$#%@%@%$#%$#%#%#$%@_ba9f11ec++3497d9993b933fdc2bd61e5ee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/inferllm/docs/hap_integrate.md。

实现思路和步骤

移植轻量级LLM模型推理框架InferLLM到OpenHarmony标准系统，编译出能在OpenHarmony运行的二进制产物。

InferLLM 是一个简单高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型。

使用OpenHarmony NDK来编译OpenHarmony上的InferLLM可执行文件。

具体使用OpenHarmony lycium 交叉编译框架,然后编写一些脚本。然后把其存放在tpc_c_cplusplusSIG仓库。

本地部署大语言模型步骤

编译获取InferLLM三方库编译产物

下载OpenHarmony sdk,下载地址：http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList2.

下载本仓库。

LM Studio

LM Studio 是一个桌面应用程序，可以在本地计算机上运行 LLM大语言模型。

371 查看详情

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1

# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM

获取InferLLM三方库头文件及生成的库在tpc_c_cplusplus/thirdparty/InferLLM/目录下会生成InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目录，该目录下存在已编译完成的32位和64位三方库。(相关编译结果不会被打包进入lycium目录下的usr目录)。

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build

将编译产物和模型文件推送至开发板运行

下载模型文件：https://huggingface.co/kewin4933/InferLLM-Model/tree/main。

将编译InferLLM生成的llama可执行文件、OpenHarmony sdk中的libc++_shared.so、下载好的模型文件chinese-alpaca-7b-q4.bin 打包成文件夹 llama_file。

# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data

# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件（8GB大小的交换文件）fallocate -l 8G /data/ram_ohos# 设置文件权限，以确保所有用户可以读写该文件：chmod 777 /data/ram_ohos# 将文件设置为交换空间：mkswap /data/ram_ohos# 启用交换空间：swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率（不同平台显示的可用频率会有所不同）cat /sys/devices/system/cpu/cpufreq/policy0/scaling_*ailable_frequencies# 将 CPU 调频模式切换为用户空间模式，这意味着用户程序可以手动控制 CPU 的工作频率，而不是由系统自动管理。这样可以提供更大的灵活性和定制性，但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4

移植InferLLM三方库在OpenHarmmony设备rk3568上部署大语言模型实现人机对话。最后运行效果有些慢，跳出人机对话框也有些慢，请耐心等待。

以上就是在OpenHarmony本地部署大语言模型的详细内容，更多请关注其它相关文章！

# 三家  # 区域营销推广致胜因素  # 无锡优化网站怎么样  # 芜湖爱采购seo  # seo短视频获客系统  # 工程建设装备网站  # 温州网站模板优化设计  # 怎么优化一个网站的流量  # 邮箱推广营销案例分享  # 网站建设业务服务  # seo抖音简介优化  # 自己的  # 可执行文件  # 开源  # 鸿蒙  # 目录下  # 开发板  # 同比增长  # 已有  # 是一个  # 三方  # llama  # c++  # git  # linux  # llm模型  # 大语言模型 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 广州团建公司方案 | 绝密飞行 → X-PLANE无人机团建主题团建  “思享荟”沙龙热议AIGC与元宇宙 复旦大学赵星畅谈深度数字化  首个算网生态体！中国移动元宇宙产业联盟正式成立  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  实现人工智能和物联网的协同运作  上海发布大模型政策 打造AI“模”都  北交大推出国内首个开源交通大模型TransGPT，可免费商用  Dubbo负载均衡策略之 一致性哈希  V社谈AI制作游戏被ban：为确保开发者有素材所有权  智能公司为何纷纷投身机器人领域？  探索人工智能和物联网的动态融合  全面拥抱大模型浪潮，ISC 2025打造全球首场AI数字安全峰会  常见的五个人工智能误解  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  学而思网校推出首个基于自研大模型的《人工智能第一课》  美图设计室2.0使用教程  【趋势周报】全球人工智能产业发展趋势：OpenAI向美国专利局提交“GPT-5”商标申请  AI生成新闻网站数量激增，正在疯狂赚取广告收入  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶  华为云发布华为云盘古模型3.0和升腾AI云服务，亮点亮相2025华为开发者大会  用人工智能技术，亚马逊为用户生成产品评论摘要，帮助他们轻松选购  25个AI智能体源码现已公开，灵感来自斯坦福的「虚拟小镇」和《西部世界》  边喷火边跳踢踏舞，机器狗最新技能爆火全网！网友直呼真·热狗  周星驰支持的人工智能与 Web3 初创公司 Moonbox 完成 100 万美元融资  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  当一个网站的内容被 AI 完全接管  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  城市在采用人工智能方面进展如何？  报道称亚马逊正在测试AI生成产品评价摘要  能走、能飞、能游泳，科学家打造全能 M4 机器人  深企派遣无人机救援队赴京津冀开展防汛救灾任务  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  高通发布长期产品计划，为工业和企业物联网产品提供全新组合方案  马斯克称未来机器人数量将多于人类，特斯拉愿共享自动驾驶技术  再也不怕「视频会议」尬住了！谷歌CHI顶会发布新神器Visual Captions：让图片做你的字幕助手  英伟达推出 L40S GPU，AI 推理性能超过 A100 约 1.2 倍  音乐制作元工具AudioCraft发布开源AI工具  【趋势周报】全球元宇宙产业发展趋势：ChatGPT的出现，将元宇宙实现至少提前了10年  套娃不可取：研究人员证实用AI生成的结果训练AI将导致模型退化  NTU、上海AI Lab整理300+论文：基于Transformer的视觉分割最新综述出炉  小红书陷入麻烦！被指控未经许可使用用户图片进行AI训练  美图吴欣鸿：希望更多人用上AI时代的影像生产力工具  微软最新推出的NaturalSpeech2语音合成模型：提供更准确的语音重构，避免棒读效果  70年前他本想逃避考试，却影响了整个互联网  人工智能“Aria”现身 Opera浏览器100版本更新：新功能“标签岛”  美图设计室2.0新增哪些功能  “图壤·阅读元宇宙”亮相北京国际图书博览会  阿里云推出通义万相AI绘画大模型  Stability AI 推出文生图模型 SDXL0.9，GPU要求下探至消费级水平  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC 

 2024-06-06