手动尝试加载权重，继续进行训练

大模型权重加载之——Meta device

一、概述 二、本地化多语种 LLM 训练概述 三、教程预备知识 四、数据收集和清理 五、模型下载和提取 六、分词器训练 导入必要的库 准备训练语料库 训练单语分词器 七、分词器合并 八、第一部分小结 九、准备工作 十、模型修改 加载并提取嵌入层 生成新的嵌入层 修改并输出新模型 十一、数据预处理 十二、持续预训练 十三、模型推理 十四、结束语

根据ava格式，自制动物数据集在slowfast上进行训练

使用YOLOv8从下载YOLOv8开始一步一步教你训练自己的数据集，本篇博客只注重实操，不注重原理

模型进度可以在训练期间和训练后保存。这意味着模型可以在它停止的地方继续，并避免长时间的训练。保存还意味着您可以共享您的模型，其他人可以重新创建您的工作。当发布研究模型和技术时，大多数机器学习实践者共享:用于创建模型的代码以及模型的训练权重或参数共享此数据有助于其他人了解模型的工作原理，并使用新数据自行尝试。注意：小心不受信任的代码(TensorFlow模型是代码)。有关详细信息，请参阅安全使用Te...

engine目录下model.py文件中的Model类——一个统一加载模型和使用模型训练、预测、验证已经网络层等操作的基类

前面我们介绍了基于硅基流动训练私有大模型《10分钟教你微调自己的私有大模型》，该平台有三个不好的点就是可选的模型有限，训练时间需要排队等待耗时长，另外还要 给钱。今天我们换一个平台，使用：魔搭平台 + llamaFactory训练私有模型。平台会赠送服务器时长这样我们就可以不用花钱就可以训练自己的大模型了(学习使用)

Baichuan7B lora 微调训练流程详解。

然而，在这些宏观优化的背后，构成我们代码的每一条基础语句——无论是PyTorch的张量操作还是纯Python的“胶水代码”——都存在其固有的、微小的性能开销。GPU的威力在于其大规模并行性，这点开销在处理大型张量时会被完全摊销，但对于小规模、高频率的操作，延迟是必须考虑的因素。然而，普遍共识和大量测试表明，对于中到大规模的迭代，列表推导式因其在C层面的优化，性能通常会显著优于显式循环。通过量化这些基础操作的固定开销，我们能更深刻地理解代码的真实成本，从而做出更明智的决策，打造出极致性能的AI系统。

在本节中，我们将介绍如何在 PyTorch 和 TensorFlow 框架中使用 Hugging Face 模型库，我们将讨论如何获取不同的模型以及使用不同管道的步骤，例如，双向自回归 Transformer (BART)、BERT 和 TAPAS 等模型，同时介绍 GPT-2 (Generative Pretrained Transformer 2) 文本生成。需要注意的是，本节主要集中在如何准备环境以及如何使用预训练模型，而不是模型训练，模型训练将在后续学习中详细讨论。

在这一节里面我们会过一遍对模型权重的常用操作，比如： - 如何下载常用模型的预训练权重 - 如何下载常用模型的无训练权重（只下载网络结构） - 如何加载模型权重 - 如何保存权重 - 加载模型权重后进行推理的注意事项

PyTorch是Facebook开发的Python深度学习框架，具有动态计算图、GPU加速和自动微分等核心特性。其核心数据结构为张量（Tensor），支持多种创建方式（如从列表、NumPy数组生成）和特殊张量（全零、全一等）。张量运算包括基本算术、矩阵运算和统计函数。形状操作涵盖维度调整、交换和拼接等功能，如reshape、unsqueeze和cat方法。PyTorch兼具灵活性和高效性，是深度学习研究和开发的理想工具。

橙色的静态编译线和绿色的动态编译线在初始波动后，几乎保持为水平直线，远低于Eager模式。: 在模型极其简单时，编译的固定框架开销（投资）超过了它节省下来的（少量）核函数启动开销（回报）。当操作链很长时，这种“死亡千纸割”式的累积开销变得无法忽视，构成了性能的主要瓶颈。都将其视为一个整体进行优化，其执行时间几乎与操作数量无关，彻底消除了核函数启动次数带来的性能瓶颈。）组成的模型，系统性地将其操作语句数量从1增加到30，并在GPU上精确测量每次调用的平均延迟。的性能曲线则讲述了一个关于“投资回报”的故事。

本文章会持续更新，目前已包含Flatten层的使用和图示Linear层的使用和图示ReLU层的使用和图示Softmax层的使用和图示之前的文章已经完成了FashionMNIST分类网络的搭建。现在我们来总结一下里面用到的layer，用一个3x28x28的minibatch来看看每一层以及模块的作用是什么。其代表着3张28x28灰度图的照片，作为一个minibatch。现在我会将它传入各种不同的层，看看每个层的作用会是什么。