- 博客(209)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 魔搭社区（modelscope）和huggingface下载模型到本地的方法
魔搭社区（modelscope）和huggingface下载模型到本地的方法
2025-05-12 21:46:37
1419
原创 【记录一下】RagFlow 本地安装详细步骤（Windows + Linux）
RagFlow 本地安装详细步骤（Windows + Linux）
2025-04-28 19:44:44
3257
1
原创 文件有几十个T，需要做rag，用ragFlow能否快速落地呢？
（1）、RAGFlow支持分布式索引构建，采用分片技术，能够处理TB级数据。（2）、这些案例展示了RAGFlow在解析复杂文档和提高检索效率方面的优势。（1）、RAGFlow被用于历史辅导助手、机加工行业设备维保等场景。（1）RAGFlow能够处理多种格式的文件，并提供模板化分块处理。（3）、通过智能文档分块和混合检索机制，优化大规模数据处理。（2）提前完成数据清洗和向量化，存储于高效搜索引擎。（2）支持动态优化决策和混合检索模式，提高处理效率。（2）、它结合向量搜索和关键词搜索，提高检索效率。
2025-04-21 22:15:11
1289
原创 AutoGen Studio学习
user_proxy，这个代理的角色是initiator，它的功能是接收用户的任务，把任务交给Receiver进行分析、拆解travel_groupchat，这个代理的角色是Receiver，它的功能是把Initiator代理分配过来的任务进行理解、拆解前面不是说涉及多个代理吗？① 填写模型名称，deepseek有两个模型，一个是deepseek-coder，一个是deepseek-chat，这里选择。如下图，点击①Agents菜单，切换到代理列表界面，需要给如图所示2~6一共五个代理配置大脑。
2025-04-15 11:09:23
1403
原创 LlamaIndex学习
LlamaIndex（原名GPT Index，或曾被称为LangChain Index等类似名称的早期探索性版本）是一个用于构建和查询大规模语言模型（LLM）应用的开源框架和工具集，它专注于提升语言模型与外部数据源的交互能力，帮助开发者更高效地构建知识驱动的应用程序。
2025-04-14 17:46:00
1689
原创 多模态（多模态大模型的概念与本地部署调用）
模态是指一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。相较于图像、语音、文本等多媒体(Multi-media)数据划分形式，“模态”是一个更为细粒度的概念，同一媒介下可存在不同的模态。 比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。
2025-04-14 17:45:26
1216
原创 大模型推理部署---分布式推理与量化部署
对于一个7B（70亿）参数的模型，每个参数使用16位浮点数（等于 2个 Byte）表示，则模型的权重大致为：70亿个参数×每个参数占用2个字节=14G所以我们需要大于14GB的显存。所以我们需要大于14GB的显存。** 创建环境，安装依赖**在量化工作正式开始前，我们还需要验证一下获取的模型文件能否正常工作。进入创建好的环境并启动InternLM2_5-7b-chat。--tp 1启动完成后，访问 http://127.0.0.1:23333/ ，可以看到API 信息。
2025-04-12 11:40:03
874
原创 大模型压缩训练（知识蒸馏）
1、深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。2、模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）：①线性或非线性量化：1/2bits, int8 和 fp16等；
2025-04-12 11:39:36
811
原创 大模型评估框架-----OpenCompass模型评估简介
OpenCompass是一个开源项目，为机器学习和自然语言处理领域提供多功能、易于使用的工具和框架。它包含多个开源模型和开源数据集（BenchMarks），方便进行模型的效果评测。
2025-04-11 15:57:14
488
原创 【大模型微调分布式训练】LLama Factory与Xtuner分布式微调大模型
2.1 DeepSpeed概述定位：微软开源的分布式训练优化框架，支持千亿参数模型训练。核心目标：降低大模型训练成本，提升显存和计算效率。集成生态：与PyTorch无缝兼容，支持Hugging Face Transformers库。2.2 核心技术原理：通过分片优化器状态、梯度、参数，消除数据并行中的显存冗余。阶段划分：ZeRO-1：优化器状态分片。ZeRO-2：梯度分片 + 优化器状态分片。ZeRO-3：参数分片 + 梯度分片 + 优化器状态分片。
2025-04-10 11:38:17
1011
原创 XTuner学习
XTuner：大模型微调的高效实战工具一、核心定位与技术亮点1. 产品定位XTuner是由上海人工智能实验室（Shanghai AI Lab）开发的一款开源大模型微调工具库，专注于降低大语言模型（LLM）和多模态模型（VLM）微调的门槛。其设计目标是让开发者在有限硬件资源（如单卡8GB显存）下，也能高效完成模型优化，支持从训练到部署的全流程。2. 技术优势硬件适配性强单卡8GB显存即可微调70亿参数（7B）模型，支持多节点扩展至700亿参数以上模型。
2025-04-10 11:37:04
1190
原创 Hugging Face 模型微调训练（如何处理超长文本训练问题）
新闻分类是一种经典的自然语言处理任务。通常需要对新闻文本进行分类，将其归入不同的类别。2.1 加载Hugging Face的新闻分类数据集我们可以使用Hugging Face的datasets库来加载新闻分类数据集，如THUCNews。这是一个中文新闻分类数据集，适合用于文本分类任务。# 加载Hugging Face上的THUCNews数据集# 遍历数据集查看样本print(i)2.2 加载自定义CSV数据集如果你有自定义的新闻分类数据集，可以将其保存为CSV文件，并通过datasets库加载。
2025-04-09 10:34:09
987
原创 【学习】Hugging Face 模型微调训练
模型设计完成后，进入训练阶段。通过数据加载器（DataLoader）高效地批量处理数据，并使用优化器更新模型参数。# 实例化 DataLoader# 初始化模型和优化器# 训练循环for epoch in range(3): # 假设训练 3 个 epoch8.1 数据加载使用DataLoader实现批量数据加载。DataLoader自动处理数据的批处理和随机打乱，确保训练的高效性和数据的多样性。8.2 优化器。
2025-04-09 10:33:21
759
原创 Hugging Face 核心组件学习
Hugging Face 提供了transformers库，用于加载和使用模型。你可以使用以下命令来安装它：（电脑须安装基础环境：Anaconda, CUDA, cuDNN, pytorch）Hugging Face 是一个提供先进自然语言处理（NLP）工具的平台，支持 Transformer 模型的开发和应用。它拥有庞大的模型库和社区资源，能够满足从研究到工业应用的各种需求。希望这份介绍能够帮助你更好地了解和使用 Hugging Face 的核心组件。如果你有任何其他问题或需要进一步的帮助，请随时提问。
2025-04-09 09:56:42
1092
原创 【大模型微调】如何解决llamaFactory微调效果与vllm部署效果不一致如何解决
使用Qwen/Qwen1.5-0.5B-Chat训练对话模板不一样。回答的内容就会不一样。我们可以看到例如qwen模型的tokenizer_config.json文件，就可以看到对话模板，一般同系列的模型，模板基本都一致。可以通过更改chat_template(对话模板)内容，来实现自己想要的对话模板。
2025-04-09 09:53:21
1654
1
原创 数据可视化TensorboardX和tensorBoard安装及使用
TensorBoard 是 TensorFlow 官方提供的可视化工具，而 TensorBoardX 是其社区驱动的替代品，支持 PyTorch 等其他框架。通过 TensorBoard 或 TensorBoardX，你可以直观地监控模型训练过程，分析实验结果，从而更有效地优化模型。TensorBoard 通常与 TensorFlow 一起安装，但也可以单独安装。：可以通过 SSH 隧道将远程服务器的 TensorBoard 端口映射到本地。API 记录日志，然后使用 TensorBoard 可视化。
2025-03-26 13:21:42
2524
原创 Qwen大模型微调（QLora微调与GGUF模型转换）
GGUF 格式的全名为（GPT-Generated Unified Format），提到GGUF 就不得不提到它的前身GGML（GPT-GeneratedModelLanguage）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。
2025-03-25 12:50:26
1679
1
原创 Qwen打包部署（大模型转换为 GGUF 以及使 用 ollama 运行）
Qwen打包部署（大模型转换为 GGUF 以及使 用 ollama 运行）
2025-03-25 12:49:10
454
1
原创 【随手记】支持多模态输入的 AI Chatbot App
官方文档：https://docs.streamlit.io/中文文档：https://blog.csdn.net/weixin_44458771/article/details/135495928开发环境PyCharm Community Edition 2024Win10/11Streamlit 1.39.0app.py3.2、启动应用设置参数：script：D:/software/python/python-3.12.4/.venv/Scripts/streamlitscript paramet
2025-03-25 00:00:00
409
原创 【简单学习】Prompt Engineering 提示词工程
定义：Prompt Engineering 是设计和优化输入提示（prompt）以获得预期输出的过程。在与大型语言模型（如 GPT-4）交互时，如何构造提示会显著影响模型的回答质量。例子简单提示"告诉我关于猫的事情。优化提示"请详细描述猫的生物学特征、行为习惯以及它们在不同文化中的象征意义。通过优化提示，用户可以引导模型生成更详细和有用的回答。Prompt Engineering 是设计和优化输入提示以获得预期输出的过程。应用场景：定义特定功能的函数。示例提示。
2025-03-25 00:00:00
927
原创 LangChain Tools学习与 Agent智能体学习
在构建代理时，您需要为其提供一个Tool列表，以便代理可以使用这些工具。除了实际调用的函数之外，Tool由几个组件组成：属性类型描述namestr在提供给LLM或代理的工具集中必须是唯一的。str描述工具的功能。LLM或代理将使用此描述作为上下文。可选但建议，可用于提供更多信息（例如，few-shot示例）或验证预期参数。boolean仅对代理相关。当为True时，在调用给定工具后，代理将停止并将结果直接返回给用户。LangChain 提供了三种创建工具的方式：使用。
2025-03-25 00:00:00
1131
原创 【学习记录】大模型微调之使用 LLaMA-Factory 微调 Qwen系列大模型，可以用自己的数据训练
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括
2025-03-24 15:44:12
2234
原创 LangChain Chat Model学习笔记
LangServe 🦜️🏓 帮助开发者将 LangChain 可运行和链部署为 REST API。该库集成了 FastAPI 并使用 pydantic 进行数据验证。Pydantic 是一个在 Python中用于数据验证和解析的第三方库，现在是Python中使用广泛的数据验证库。● 它利用声明式的方式定义数据模型和Python 类型提示的强大功能来执行数据验证和序列化，使您的代码更可靠、更可读、更简洁且更易于调试。。
2025-03-23 00:00:00
1314
原创 LangChain 基础
即，逐个处理输入块，并产生相应的输出块。这种处理的复杂性可以有所不同，从简单的任务，如发出 LLM 生成的令牌，到更具挑战性的任务，如在整个 JSON 完成之前流式传输 JSON 结果的部分。如果这与您构建的内容无关，您也可以依赖于标准的命令式编程方法，通过在每个组件上调用invoke、batch或stream，将结果分配给变量，然后根据需要在下游使用它们。对于某些链，这意味着我们直接从 LLM 流式传输标记到流式输出解析器，您将以与 LLM 提供程序输出原始标记的速率相同的速度获得解析的增量输出块。
2025-03-23 00:00:00
630
原创 【记录一下】LMDeploy推理大模型学习笔记及遇到的问题
LMDeploy 是一个用于大型语言模型（LLMs）和视觉-语言模型（VLMs）压缩、部署和服务的 Python 库。其核心推理引擎包括 TurboMind 引擎和 PyTorch 引擎。前者由 C++ 和 CUDA 开发，致力于推理性能的优化，而后者纯 Python 开发，旨在降低开发者的门槛。LMDeploy 支持在 Linux 和 Windows 平台上部署 LLMs 和 VLMs，最低要求 CUDA 版本为 11.3。
2025-03-22 02:00:00
1233
原创 【记录一下】Microsoft登录反复跳转【需要家长或监护人同意才能使用该帐户】页面
【记录一下】Microsoft登录反复跳转【需要家长或监护人同意才能使用该帐户】页面
2025-03-21 14:34:30
2463
原创 linux环境安装ollama，Anaconda3【有点乱，大概只有自己看得懂】
如果需要使用 GPU 加速，需根据 CUDA 版本选择对应的 PyTorch 安装命令。你正在尝试安装 PyTorch 及其相关库。如果问题仍未解决，请提供完整的错误日志以便进一步诊断。如果仍有问题，请提供具体的错误信息，以便进一步诊断。，根据你的 CUDA 版本选择对应的安装命令。如果仍有问题，可以尝试重启终端或检查。如果是多环境的话，需要安装conda。激活的ollama环境下安装。找到profile.d文件，有个蓝色的图标表示已激活。
2025-03-21 10:28:28
1241
原创 【笔记一下】RAG 专题基础学习
检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。CSVLoader接受一个csv_args。
2025-03-13 11:26:38
1280
炸裂：Jenkins持续集成入门到精通居然如此简单，泪目了
2024-09-06
MySQL8.0参考手册中文版
2022-09-26
Dynamsoft SourceAnywhere for VSS Standard ClientT免费下载
2022-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人