aksjebdjj的博客

原创 Assistant API介绍

对话记录--Threads：运行机制--Run：流式响应：功能工具--Tools：集成检索增强生成：

原创 维护LLM大模型应用

LangFuse 还支持用户数据的收集与标注，这些数据可以用于模型的后续训练和优化。为了确保 Prompt 更新或调整时可以进行版本对比或回滚，应该采用版本管理系统对不同版本的 Prompt 进行控制。这样可以方便地对 Prompt 进行升级或回退到之前的版本，以保证系统的稳定性。Prompt 是 LLM 应用的核心，优化和调试 Prompt 可以提高模型的输出质量。通过这两个工具，可以帮助开发者对 LLM 应用进行深度监控、调试、管理以及性能优化，确保系统始终处于高效稳定的运行状态。

原创 视觉生成模型对比

VAE（变分自编码器）、GAN（生成对抗网络）和扩散模型（Diffusion Models）是当前深度学习中广泛应用的三种生成模型，它们的原理各不相同，且适用于不同的任务类型。

原创 生成/判别式模型

特性生成式模型判别式模型学习目标联合分布 P(x,y)P(x,y)条件分布 $ P(y数据生成能力可以生成新数据无法生成新数据主要任务数据生成、密度估计、异常检测等分类、回归、序列标注等优势适合处理缺失数据、生成任务分类效果好，训练效率高劣势分类任务性能可能不佳，训练复杂无法生成数据，缺失数据处理能力较差典型模型朴素贝叶斯、GAN、VAE、HMM逻辑回归、SVM、神经网络。

原创 迭代器和生成器的区分

迭代器是一个实现了迭代协议的对象。__iter__(): 返回迭代器对象自身。__next__(): 返回下一个值，当没有更多值时会抛出异常。生成器是一种特殊类型的迭代器，使用yield关键字生成值。生成器函数在执行时会返回一个生成器对象，而不是直接返回值。每次调用生成器的__next__()方法时，函数会从上次yield的位置继续执行。迭代器是实现了特定接口的对象，可以使用iter()和next()方法遍历数据。生成器是迭代器的简化版，使用yield来生成值，便于内存管理和代码可读性。

原创 线程、进程、协程与同步、异步、并行、并发的区别

特性进程线程协程定义操作系统分配资源的基本单位进程中的执行单元轻量级执行单元内存隔离独立内存空间共享进程内存共享线程内存通信进程间通信机制共享内存，通信方便共享内存，通信方便调度操作系统内核调度操作系统内核调度用户态程序控制调度开销高较低非常低特性同步异步并行并发定义任务按顺序执行，阻塞任务非阻塞，可以并行执行任务同时执行任务在同一时间段交替执行特点阻塞后续任务非阻塞，适合I/O密集型任务需要多核CPU，真正同时执行交替执行，表现为同时执行。

原创 .py, .pyc 和 .pyi 文件区别

py文件是源代码文件，便于编写和维护。.pyc文件是编译后的字节码文件，加速执行过程。.pyi文件是类型存根文件，用于提供类型信息，帮助进行静态类型检查。

原创 大模型开发框架的比较

LangChain 设计为一个模块化和可扩展的框架，允许开发者根据需要选择和集成不同的组件。它支持与多个语言模型和API接口的无缝集成，使开发者能够快速构建和部署语言处理应用。: Semantic Kernel 强调在模型中集成深度的语义理解能力，通过改进的算法和索引机制提高信息检索的精准度。: LlamaIndex 设计为专注于大规模数据集索引和检索的框架，优化了数据处理和查询响应时间。

原创 huggingface上传下载常见问题

解决方案： 换镜像网址 https://hf-mirror.com/解决方案： 下载 使用git-lfs。

原创 将Django项目放入Docker中并在另一台电脑上运行的步骤

任务栏搜索功能，启用"适用于Linux的Windows子系统" + "虚拟机平台"：在另一台电脑上安装Docker Desktop。：在目标电脑的项目目录下，打开终端，运行以下命令。目录下打开命令提示符或PowerShell。目录复制到另一台电脑。在Django项目的。

原创 SDK和API的区分

API（应用程序编程接口）和 SDK（软件开发工具包）是两个密切相关但有所区别的概念，通常在软件开发和系统集成中使用。

原创 Git提交

【代码】Git提交。

原创 搭建mingsearch

提交代码到huggingface。

原创 模型微调与RAG的选择

微调大模型适合知识库稳定且对回答风格、准确性要求极高的场景，但需要付出较高的训练和更新成本。RAG方案适合动态知识库，能更灵活地处理大规模企业数据，尽管架构复杂，但响应速度更快，尤其在知识库频繁更新时更具优势。

原创 混合专家模型（MoE）介绍

混合专家模型（MoE）是一种机器学习范式，设计用于整合多个模型或“专家”的预测，以提高整体模型的性能。以下是MoE的基本概念、原理、用法和应用场景的详细介绍。MoE模型由两个主要部分组成：多个专家（Experts）和一个门控机制（Gating Network）。

原创 记录Git部署到huggingface

@hlbhl ➜ /workspaces/codespaces-blank $ mkdir -p /mindsearchmkdir: cannot create directory ‘/mindsearch’: Permission denied@hlbhl ➜ /workspaces/codespaces-blank $ mkdir -p ./mindsearch@hlbhl ➜ /workspaces/codespaces-blank $ cd mindsearch@hlbhl ➜ /works

原创 InternVL多模态

多模态微调 最麻烦的其实是数据准备：大体如下。一个字段要包含一个对应的图片。

原创 大模型智能体

通过大模型的语言理解能力，自动处理业务流程。

原创 大模型部署

1.设置最大kv cache缓存大小kv cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，kv cache可以显著减少重复计算量，从而提升模型的推理速度。理想情况下，kv cache全部存储于显存，以加快访存速度。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。LMDeploy的kv cache管理器可以通过设置参数，控制kv缓存占用的最大比例。

原创 大模型评测

原创 RAG-Llamaindex

原创 prompt是一门学问

I am developing a system to help models correctly compare floating-point numbers, ensuring they recognize that is greater than . This addresses a common issue where models misinterpret the comparison of numbers with different decimal places.Your task is t

原创 基础大模型

训练阶段通过提供优化的算法和高效的计算资源，支持大规模数据集的训练，确保模型性能的最优化。该体系结构包括从数据预处理、模型设计、训练到推理的完整链路，强调开放性和可扩展性，以便研究人员和开发者可以自由地进行创新和优化。此外，体系还强调了开放性，通过共享的代码库和文档，使得开发者能够轻松访问和修改模型代码，并在开源社区中获得支持和反馈。书生大模型全链路开源开放体系不仅降低了语言模型开发的门槛，还促进了研究和工业界的广泛合作，为推动人工智能技术的进步提供了坚实的基础。

原创 基础：微调

原创 基础二：讲故事

原创 大模型第二关

debug：注意区分单步调试和断点调试。以及进入函数内部的操作：↓。

原创 开发机学习