- 博客(175)
- 资源 (6)
- 收藏
- 关注
原创 小智AI 接入 Coze 智能体:流式输出+延时实测
本文分享了`小智AI服务端接入 Coze 智能体`的实现,并对`流式推理的延时`进行了实测。
2025-07-05 07:13:34
1157
原创 小智AI为何要用MQTT+UDP(续):客户端和服务端的交互逻辑
本文分享了 `小智 AI 通信协议之 MQTT+UDP`,并给出了客户端和服务端的整体交互逻辑。
2025-06-15 08:25:05
1027
原创 小智AI为何要用MQTT+UDP?怎么接入MQTT?
本文分享了 `小智 AI 通信协议之 MQTT+UDP`,并给出了 `EMQX` 搭建 `MQTT Broker` 的方案。
2025-06-13 11:39:28
1078
原创 搞不懂 MCP?那就动手搓一个...(续)
将 MCP 协议接入 OpenAI API,附源码。本文分享了 `MCPClient` 的 `nodejs` 实现,并实测对比了不同服务端部署带来的延时。
2025-06-05 10:57:20
811
原创 IndexTTS 音色克隆 + vLLM 加速推理
本文分享了`小智AI服务端 本地TTS`的实现,对`IndexTTS`的首包延时进行了实测。
2025-05-22 08:13:14
1653
原创 SparkTTS 音色克隆 + vLLM INT8量化加速推理
本文分享了`小智AI服务端 本地TTS`的实现,对 `SparkTTS` 采用 vLLM 进行推理加速,并实践了 INT8 量化,最后对首包延时进行了实测。
2025-05-20 11:38:18
758
原创 低延迟小智AI服务端搭建-本地TTS篇:CosyVoice流式推理
本文分享了`小智AI服务端 本地TTS`的实现,对`cosyvoice`的首包延时进行了实测。
2025-05-18 08:44:07
1923
原创 低延迟小智AI服务端搭建-本地TTS篇:fishspeech流式推理
本文分享了`小智AI服务端 本地TTS`的实现,对`fishspeech`的首包延时进行了实测。
2025-05-16 11:44:16
848
1
原创 低延迟小智AI服务端搭建-ASR篇
本文主要分享了`小智AI服务端ASR`的几种实现方案,对`本地部署-GPU推理`方案的配置和成本进行了估算。
2025-04-15 11:36:49
1940
原创 CPU实时的开源TTS引擎,支持中英混语合成,本地部署实测
本文分享了轻量级语音合成工具:`kokoro`,并进行了本地部署实测。抛开`语气 情绪`等细粒度控制不谈,`kokoro` 绝对的性价比之王!**对中文支持友好,CPU 实时可跑**,单凭这两点,强烈推荐您一试!
2025-03-30 08:28:42
3052
3
原创 定制你的DeepSeek专家:Unsloth 大模型微调教程
本文分享了开源大模型微调工具 `Unsloth`,并通过一个简单例子,带大家走完了微调deepseek qwen2.5 全流程。
2025-03-20 08:13:32
2372
2
原创 比肩满血DS,阿里开源 QwQ-32B 本地部署,Ollma/vLLM 实测对比,消费级显卡可跑,效果炸裂
本文带大家本地部署了最新开源的推理模型 `QwQ-32B`,并通过 Ollama/vLLM 进行了本地部署实测。
2025-03-13 09:37:47
2593
原创 最新开源TTS语音克隆,本地部署实测!跨语言、高保真。。。
最近,看到一款开源的语音合成(TTS)系统。今日分享,将介绍 `Spark-TTS`,并带大家本地部署体验,为本地 TTS 选型提供参考。
2025-03-10 08:38:27
5004
1
原创 Jetson 超频刷机教程!解锁端侧AI推理怪兽的算力极限,附实测对比
本文分享了 JetPack 6.2 的开发环境搭建,并用 Ollama 大模型推理做了一个简单的测速。
2025-03-06 08:29:31
1411
原创 成本不到50的AI对话机器人,如何自建服务端?自定义角色+语音克隆,个人隐私不外传
ESP-32 核心板的计算能力有限,所有对话数据,**都得发往公网服务器处理**。对在意个人隐私的用户而言,搭建本地服务,就在所难免。今天把`搭建本地服务端`的过程分享给大家,希望给有类似需求的朋友一点参考和帮助。
2025-02-27 10:36:11
3227
3
原创 跑本地大模型,强推的一款浏览器插件,敏感数据不外传
本文分享了一款浏览器插件 - `page-assist` ,提供跑本地 AI 大模型的 UI 界面,无需复杂的安装步骤,web 端体验非常丝滑。
2025-02-24 08:21:27
1400
原创 Nginx 助力 DeepSeek 本地部署,实现高可用、负载均衡的大模型应用
本文带大家采用 **Ollama** + **Nginx** 实现了**高可用**的大模型应用,并采用**Locust** 进行模拟压力测试。
2025-02-22 08:39:16
1613
原创 旧手机秒变 AI 神器:DeepSeek 离线部署,搭建个人网站,私人网盘。。。
本文分享了如何用 Termux 将旧手机打造成一款个人服务器,并尝试了本地部署 DeepSeek。
2025-02-19 06:59:01
1575
原创 免费GPU算力本地跑DeepSeek R1,无惧官方服务繁忙!
本文分享了如何用免费GPU 算力部署 DeepSeek 的推理模型,并内网穿透出来,任性调用。
2025-01-31 09:37:50
3875
原创 一款微信AI机器人开发框架!稳定可靠,小白友好
本文分享了一款稳定可靠的微信机器人开发框架:`wcf`,了解其基本原理并快速上手,下篇将带大家实操,从零打造`小爱`同款微信机器人。
2025-01-13 12:42:46
3588
2
原创 阿里开源TTS CosyVoice 再升级!语音克隆玩出新花样,支持流式输出,本地部署实测
最近看到阿里开源的 CosyVoice 又发布了重大更新。今日分享,将介绍 CosyVoice 2.0,并带大家本地部署体验,为本地 TTS 选型提供参考。
2025-01-03 08:16:52
12595
3
原创 4k star!升级版OneAPI,助力 Dify 兼容 OpenAI 格式
本文介绍了大模型接口管理工具-NewAPI,对 OneAPI 进行了二次开发,实现了对 Dify 的支持。除了 Dify 之外,还支持 Midjourney 绘图接口。
2024-12-30 08:52:44
4828
【飞桨AI实战】PaddleNLP大模型指令微调,从0打造你的专属家常菜谱管家(源码)
2024-08-16
FLUX + LoRA 实战代码+模型
2024-08-15
cloudflared-linux-amd64.deb
2024-08-06
Oracle Mobile Authenticator-甲骨文云服务验证APP-Android手机端验证
2024-07-02
一键获取中小学教材-python爬虫+PyQT6实战
2024-06-28
一键获取所有微信聊天记录-PyQT6实战
2024-06-28
【大模型指令微调实战】小说创作,一键直达天池挑战赛Top50
2024-06-28
从0到1搭建一个语音对话机器人,5分钟定制个人AI小助手(新手入门篇)
2024-06-15
【飞桨AI实战】大作业:从0到1搭建一个图像识别系统
2024-05-31
Linux系统中在图片/视频中渲染中文字幕的字体
2024-05-27
带你学AI基于PP-OCR和ErnieBot的字幕提取和智能视频问答
2024-05-18
【飞桨AI实战】人体姿态估计:零基础入门,从模型训练到应用开发
2024-04-17
【YOLOv8实战】手把手带你入门YOLOv8,你也能训练自己的检测器,以SAR目标检测为例(源码+数据集+Gradio界面)
2024-04-11
【人脸/口罩检测项目-手把手教程】Paddle模型训练+Flask后端+前端可视化
2024-04-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人