Libra项目最佳实践教程

Libra项目最佳实践教程

Libra Simple PyTorch implementation of "Libra: Building Decoupled Vision System on Large Language Models" (accepted by ICML 2024) 项目地址: https://gitcode.com/gh_mirrors/libra3/Libra

1. 项目介绍

Libra是一个基于大型语言模型的解耦视觉系统构建项目。它通过结合大型语言模型和视觉信息处理技术，旨在提高视觉任务的处理效率和灵活性。该项目已经被ICML 2024接受，并在GitHub上开源，提供了PyTorch实现的简单示例，包括预训练、微调和推理等。

2. 项目快速启动

环境准备

首先，确保安装了以下依赖项：

pip install -r requirements.txt

数据准备

项目支持webdatasets、COCO和LLaVA-instruction格式的数据。数据文件夹结构如下：

DATASETS/
├── laion/
│   ├── 00000.tar
│   ├── 00001.tar
│   ├── ...
│   └── 07776.tar
├── instruction/
│   ├── llava_v1_5_mix665k.json
│   ├── data/
│   |   ├── coco/
│   |   ├── gqa/
│   |   ├── ...
│   └── └── vg
└── coco/
├── annotations/
│   ├── coco_karpathy_train.json
│   └── ...
├── train2017/
├── val2017/
├── train2014/
└── ...

预训练模型准备

如果要从头开始训练Libra，需要进行以下准备：

• 准备Huggingface版本的llama-2-7b-chat-hf模型，并重命名文件夹为llama-2-7b-chat-hf-libra。
• 将视觉标记器权重合并到预训练的llama路径中。
• 下载预训练的CLIP模型并合并到预训练模型路径中。

启动预训练

使用以下命令启动预训练：

torchrun --nnodes=5 --nproc_per_node=8 train.py --cfg-path libra/configs/libra_pretrain.yaml

3. 应用案例和最佳实践

模型推理

项目提供了一个简单的Jupyter演示，可以用于模型推理。

微调指令

项目支持LLaVA指令格式的数据微调。使用以下命令进行微调：

torchrun --nnodes=1 --nproc_per_node=8 train.py --cfg-path libra/configs/libra_instruction.yaml

模型权重下载

项目提供了预训练的基础模型（Libra-Base）和微调后的模型（Libra-Chat）。

4. 典型生态项目

Libra项目是基于以下开源项目构建的：

• LAVIS
• Huggingface Trainer
• deepspeed

这些项目为Libra提供了底层支持和工具，使得Libra能够更加高效地进行开发和部署。

以上就是Libra项目最佳实践教程，希望能够帮助开发者快速上手并利用Libra项目构建解耦视觉系统。

Libra Simple PyTorch implementation of "Libra: Building Decoupled Vision System on Large Language Models" (accepted by ICML 2024) 项目地址: https://gitcode.com/gh_mirrors/libra3/Libra