高通QCS8550开发板 + DeepSeek-R1：打造智能化商场导购实践

目录

前言

DeepSeek-R1-Distill-Llama-8B 介绍

Dify简介

AidLux介绍

 搭建步骤

1.环境准备

2.下载运行Dify

 3.配置dify

 1. 安装aidllm及下载模型

2. 启动api服务

3. 导入模型

 商场店铺数据

4.测试

 5.示例

前言

在科技飞速发展的当下，智慧零售正以前所未有的态势重塑着商场的运营模式与顾客体验。商场智能导购作为智慧零售的关键一环，其精准度与高效性直接影响着消费者的购物决策和商场的运营效率。而要实现卓越的商场智能导购功能，强大的技术支撑必不可少。

高通 QCS8550 开发板在这一领域展现出了无可比拟的优势。它采用先进的 4 纳米制程工艺，不仅在制程上领先，更凭借内部搭载的八核 Kryo CPU，实现了强大的计算能力。其中，主频高达 3.2GHz 的超大核，能够轻松应对高强度、复杂的运算任务；四个主频 2.8GHz 的性能内核，在保障性能的同时兼顾了能效比；还有三个主频 2.0GHz 的效率内核，专门负责处理日常的轻负载操作，这种精心调配的内核架构，使得任务处理既高效又节能。

在图形处理方面，集成的 Adreno 740 GPU 表现卓越，支持 4K@60Hz 的显示输出，为高清多媒体展示提供了有力保障。在视频处理能力上，其支持 8K@30fps 的视频编码以及 8K@60fps 的视频解码，并且兼容 H.264 和 H.265 编码标准，无论是播放高清商品介绍视频，还是进行视频流分析，都能轻松胜任。尤为突出的是，QCS8550 整体 AI 算力高达 48TOPS，内部集成的高通 Hexagon 神经网络处理单元，还支持先进的 INT4 AI 精度格式，相比上一代产品，在持续 AI 推理方面实现了 60% 的能效提升，算力48TOPS。这意味着在商场智能导购场景中，无论是实时分析顾客行为、精准识别商品，还是提供个性化的推荐服务，QCS8550 都能以强大的算力作支撑，快速且精准地完成各项复杂任务，为 DeepSeek - R1 等智能算法的高效运行提供坚实基础。当 DeepSeek - R1 遇上高通 QCS8550 开发板 ，二者强强联合，有望为商场智能导购带来一场革新性的解决方案 ，彻底改变传统商场导购模式，为消费者带来前所未有的智能购物体验 。

高通QCS8550芯片参数https://www.qualcomm.com/products/technology/processors/qcs8550
DeepSeek-R1-Distill-Llama-8B模型下载https://hf-mirror.com/aplux/DeepSeek-R1-Distill-Llama-8B
本次测试采用的QCS8550硬件设备https://docs.aidlux.com/guide/hardware/ai-box/AIBoxA8550BM1-user-manual

DeepSeek-R1-Distill-Llama-8B 介绍

DeepSeek-R1-Distill-Llama-8B 是一个基于 Llama 架构的 8B 参数语言模型。以下是对它的详细介绍：

• 模型背景：它是 DeepSeek-R1 模型的蒸馏版本，以 Llama3.1-8B-Base 为基础模型。DeepSeek-R1 是 DeepSeek AI 开发的第一代推理模型，通过大规模强化学习进行训练，并在强化学习之前使用冷启动数据来增强推理性能，在数学、代码和推理任务上的表现与 OpenAI 的 o1 模型相当。
• 技术原理：采用知识蒸馏技术，将 DeepSeek-R1 大模型的知识和推理能力转移到较小的 Llama-8B 模型上。通过这种方式，在保持较高性能的同时，减少了计算资源的消耗，降低了模型的复杂度和存储需求，使得模型更加轻量化，部署成本更低。
• 模型特点
  • 推理能力强：在紧凑的开源包中封装了高级推理能力，在各种基准测试中表现出竞争力，适用于需要强推理能力的任务，如问题解决、代码生成和数学计算。
  • 多语言支持：该模型侧重英文，在英语任务上的表现优于 Qwen 系列，适合跨语言翻译、国际化客服等多语言场景。
  • 部署灵活：支持成本效益高的本地部署，允许用户在自己的硬件上运行模型，也可以部署在如 Amazon SageMaker 等云平台上。
• 应用场景
  • 科研领域：对于研究人员来说，是一个宝贵的工具，可用于在较小模型中利用高级推理能力，进行相关算法研究、模型优化探索等工作。
  • 实际应用：可用于多种自然语言处理任务，如文本生成、情感分析、问答系统等。在一些资源受限的环境中，如边缘计算设备、智能家居语音交互设备等，能够高效运行，提供自然语言处理服务。还可通过微调应用于特定领域，如在医疗领域，有项目利用该模型通过微调实现了专注于健康管理与医疗咨询的人工智能助手。
• 许可和可用性：该模型在 MIT 许可证下发布，允许商业使用和修改。可以通过 Hugging Face 等平台下载和使用。

Dify简介

Dify 是一个面向未来的开源 LLM 应用开发平台，融合了后端即服务与 LLMOps 理念，为开发者和企业提供生产级的生成式 AI 应用构建能力。以下是具体介绍：

• 技术架构：技术栈覆盖数据预处理到应用部署全生命周期。支持数百个开源与商业模型，独创蜂巢架构实现模型、插件、数据源动态编排，内置企业级 RAG 引擎，支持 20 多种文档格式语义化处理，有可视化工作流设计器和 LLMOps 监控体系。
• 核心优势：通过 ISO 27001 认证，支持千万级日请求处理；可对接云服务，支持私有化部署；提供声明式 YAML 配置标准，降低 AI 工程化门槛；具备 RBAC 权限管理等合规功能；通过智能路由算法降低模型调用成本 30%-50%。
• 产品功能：AI 应用工厂可低代码 3 分钟创建场景化应用；企业知识中枢能构建私有化 AI 大脑，支持 50 多种语言知识检索与推理；AI Gateway 统一管理模型 API，实现流量控制与安全审计；Workflow Studio 可视化编排复杂业务流。
• 应用场景：已赋能金融、医疗、制造等行业。如某头部车企构建智能客服系统降低人力成本，跨境电商企业生成商品描述提升内容生产效率，三甲医院建立医学知识库缩短诊断响应时间，游戏公司搭建 AI NPC 系统增加玩家互动时长。
• 开源社区：GitHub 社区贡献者超 200 人，月均提交代码量 1500+。提供贡献者成长体系，建立技术动态与应用案例同步平台，举办全球 AI 创新马拉松，累计孵化 300 多个优质开源项目。

AidLux介绍

AidLux 是成都阿加犀智能科技有限公司自主研发的 AIoT 应用开发和部署平台，具有以下特点：

• 多生态融合：基于 ARM 构建，支持 Android和 Linux 系统的生态融合。通过共享 Android Linux kernel 构建完整的 Linux 系统环境，与 Android 系统环境同时提供用户访问，既提供原生 Linux 系统类似的命令行体验，又基于 Web 构建了图形化桌面环境。
• 开发门槛低：集成业界主流 AI 深度学习框架，如 TensorFlow、PyTorch 等，无需复杂配置，安装即用。内置创新性的 CPU+GPU+NPU 智能加速技术，通过 “硬件 + 框架 + Op” 多层优化，提升深度学习运算性能，并提供统一 API 接口，支持不同 AI 框架模型自动转换。
• 开发语言丰富：支持 Python、C/C++、Java、JavaScript 等多种开发语言，仅会 Python 也可进行 AI 应用开发，入门简单，能让学习成果快速落地。
• 使用便捷：一键安装、自动部署、高效的AI推理引擎AidLite部署各种AI算法，过程快速简单。AidLux 桌面系统，支持高通PC、平板、手机和开发板等多种设备随时随地访问，实现移动开发平台。还支持各种外设，如网络、USB、串口等，扩展创意空间。提供一站式AI开发、测试、部署全流程支持，

AidLux 的应用场景广泛，可用于教学领域，支撑教学 + 开发 + 实践全过程，助力 AI 人才培养；也可用于工业场景，如工业视觉少样本缺陷检测等。此外，阿加犀智能科技还携手高通，以人形机器人解决方案推动具身智能产业创新发展，在人形机器人领域取得了一定成果。

 搭建步骤

1.环境准备

1. 将板卡用usb数据线连接到PC端，通过命令行界面adb调试查看本机IP 命令为ifconfig（例:192.168.100.100）
   [需含adb相应驱动，自行安装]，adb如何安装使用可以通过大模型查询

2. ssh -p 2222 aidlux@192.168.100.100登陆到A8550PM2环境
   sudo -i切换到root用户，密码aidlux

3. 首先卸载系统内预装的nginx，使80端口释放：

systemctl stop nginx
systemctl disable nginx
kill -9 nginx

 然后安装docker-compose：

sudo apt update
sudo apt install docker.io
sudo apt install docker-compose-v2

2.下载运行Dify

任选一个目录，如/home，下载配置文件

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

 3.配置dify

docker启动后，一共会有10个容器运行

​

之后即可通过192.168.100.100(示例)访问Dify的网页端界面，并创建一个管理员账号

​

 1. 安装aidllm及下载模型

• 安装aidllm--大模型推理引擎

aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg

aid-pkg是aidlux的包管理工具;

aid-llm是aidlux的大模型推理引擎； 

•  安装api服务

终端执行：

sudo aidllm install api

•  拉取模型文件

sudo aidllm remote-list

​

 (上述列表展示当前可下载的全部模型文件，其中Current Soc 表示模型可适配的高通芯片型号)

终端执行：sudo aidllm api pull <Url> ，把指定模型文件拉取到本地
如：sudo aidllm api pull aplux/aplux_qwen2-7B

查看本地已下载的模型：

 sudo aidllm list

 ​

2. 启动api服务

终端执行：

sudo aidllm api start

​

 当提示successfully，则表示API启动成功

当本地存在多个模型文件，则可以指定模型启动
终端执行：sudo aidllm api start -m <Name>
如：sudo aidllm api start -m aplux_qwen2.5-3B

查询状态： sudo aidllm api status
停止服务： sudo aidllm api stop
重启服务： sudo aidllm api restart

 ​

3. 导入模型

3.1.确认此时模型以正常启动，可在本机或其他设备上测试

curl -X POST ‘http://192.168.111.133:8888/v1/chat/completions’
–header ‘Content-Type: application/json’
–data-raw ‘{“model”: “aplux_qwen2-7b”,“api_key”: “”,“messages”: [{“role”: “system”,“content”: “You are a helpful assistant”},{“role”: “user”,“content”: “给我讲一个笑话”}],“stream”: true}’

3.2.安装插件

​

 ​

3. 3.添加模型，api-key可随意填写

​

 ​

这里我们添加LLM和embedding模型各一个

3. 4.模型添加完成后，即可添加应用、知识库结合使用

​

 商场店铺数据

导入文件后点下一步

若选择通用、经济方式，则不调用embedding模型，只用本地环境即可完成

 完成后保存。

4.测试

添加Agent

 然后即可与机器人对话，大模型会在知识库中寻找答案并思考回答

 5.示例

从上图能看出大模型能准确找到商场中对应的商店，提供速度可以关闭深度思考，精度也是能保证，同时能提高速度。