Jetson AGX Orin智能边缘版·通义千问Qwen2.5-VL（3B/7B）

Plain Text
sudo su
apt install git-lfs
git lfs install

Plain Text
git clone https://hf-mirror.com/Qwen/Qwen2.5-VL-3B-Instruct
git clone https://hf-mirror.com/Qwen/Qwen2.5-VL-7B-Instruct

bash
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-aarch64.sh
bash   Anaconda3-2024.10-1-Linux-aarch64.sh
source ~/.bashrc
conda create -n vllm_qwen2_5_vl_p310 python=3.10 -y
conda activate vllm_qwen2_5_vl_p310
export PATH=/usr/local/cuda-12.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64:$LD_LIBRARY_PATH

Plain Text
wget https://pypi.jetson-ai-lab.dev/jp6/cu126/+f/6cc/6ecfe8a5994fd/torch-2.6.0-cp310-cp310-linux_aarch64.whl
wget https://pypi.jetson-ai-lab.dev/jp6/cu126/+f/dda/ce98dc7d89263/torchaudio-2.6.0-cp310-cp310-linux_aarch64.whl
wget https://pypi.jetson-ai-lab.dev/jp6/cu126/+f/aa2/2da8dcf4c4c8d/torchvision-0.21.0-cp310-cp310-linux_aarch64.whl
wget https://pypi.jetson-ai-lab.dev/jp6/cu126/+f/652/25e6674790fda/vllm-0.7.4+cu126-cp310-cp310-linux_aarch64.whl
wget https://pypi.jetson-ai-lab.dev/jp6/cu126/+f/15d/c12c4bbdf0380/triton-3.3.0-cp310-cp310-linux_aarch64.whl
wget https://pypi.jetson-ai-lab.dev/jp6/cu126/+f/0c4/2995b499445fe/xformers-0.0.30+56be3b5.d20250310-cp310-cp310-linux_aarch64.whl

pip install torch-2.6.0-cp310-cp310-linux_aarch64.whl
pip install torchaudio-2.6.0-cp310-cp310-linux_aarch64.whl
pip install torchvision-0.21.0-cp310-cp310-linux_aarch64.whl
pip install "numpy<2"
pip install vllm-0.7.4+cu126-cp310-cp310-linux_aarch64.whl
pip install triton-3.3.0-cp310-cp310-linux_aarch64.whl
pip install xformers-0.0.30+56be3b5.d20250310-cp310-cp310-linux_aarch64.whl

# 安装完成后，读取对应版本号如下
python3 -c "import torch; print(torch.__version__)"
# 获得torch版本为2.6.0

python3 -c "import torchvision; print(torchvision.__version__)"
# 获得torchvision版本为0.21.0

python3 -c "import torch; print(torch.version.cuda)"
# 获得cuda版本为12.6

python -c "import vllm; print(vllm.__version__)"
# 获得vllm版本为0.7.4

bash
echo 1 > /sys/devices/system/cpu/cpu8/online
echo 1 > /sys/devices/system/cpu/cpu9/online
echo 1 > /sys/devices/system/cpu/cpu10/online
echo 1 > /sys/devices/system/cpu/cpu11/online

mv /var/lib/nvpmodel/status /var/lib/nvpmodel/status_bak
vim /etc/nvpmodel.conf
#将< PM_CONFIG DEFAULT=N >中的N修改为0并保存，系统会进行重启操作
jetson_clocks

python
demo.py
#从 transformers 库中导入的用于条件生成任务的模型类Qwen2_5_VLForConditionalGeneration，专门针对 Qwen2.5-VL 模型。
#AutoProcessor类可以自动根据模型名称或路径加载对应的处理器，用于对输入数据进行预处理和后处理。
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
#process_vision_info类用于处理视觉信息，例如提取图像或视频的相关特征。
from qwen_vl_utils import process_vision_info

MODEL_PATH="/home/nvidia/qwen/Qwen2.5-VL-3B-Instruct"

#from_pretrained用于从预训练的模型权重文件中加载模型。
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
        MODEL_PATH,  #指定了本地模型文件所在的路径。
        torch_dtype="auto", #自动选择合适的张量数据类型，以优化内存使用和计算效率。
        device_map="auto", #自动将模型分配到可用的设备（如 GPU 或 CPU）上。
        local_files_only=True #示只从本地加载模型文件，不尝试从远程仓库下载。
)

# 加载处理器，根据指定的模型路径加载对应的处理器。
processor = AutoProcessor.from_pretrained(MODEL_PATH)

messages = [
    {
        "role": "user", #表示消息的发送者是用户。
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {
                 "type": "text",
                 "text": "请描述一下图片."
                        },
        ],
    }
]

# 预处理输入：预处理是指在将原始数据输入到模型之前对其进行的一系列处理操作。其目的是将原始数据转换为模型能够理解和处理的格式，同时提高数据的质量和可用性，从而提升模型的性能和效率。
#第一步：应用对话模板
# apply_chat_template根据对话模板对输入的消息进行处理，生成适合模型输入的文本。
text = processor.apply_chat_template(
    messages,
        tokenize=False,         #表示不进行分词操作
        add_generation_prompt=True        #表示添加生成提示
)
#第二步：处理视觉信息
#process_vision_info处理消息中的视觉信息，返回图像和视频的输入数据。
image_inputs, video_inputs = process_vision_info(messages)
#第三步：分词和填充
#processor调用处理器对文本、图像和视频输入进行进一步处理，包括分词、填充等操作。
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,  #表示对输入进行填充，使所有输入序列长度一致。
    return_tensors="pt", #表示返回 PyTorch 张量。
)
#将输入数据移动到与模型相同的设备上，确保计算可以正常进行。
inputs = inputs.to(model.device)

#模型推理，调用模型的生成方法，根据输入数据生成输出序列。
#**inputs 表示将输入数据作为关键字参数传递给 generate 方法。
#max_new_tokens=128 限制了生成的最大新令牌数。
generated_ids = model.generate(**inputs, max_new_tokens=128)

#后处理输出：后处理是指在模型输出结果之后对其进行的一系列处理操作。其目的是将模型输出的原始结果转换为人类可读的格式，同时对结果进行优化和调整，使其更符合实际需求。
#第一步：去除输入部分
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
#第二步：解码为文本
#batch_decode，将生成的 ID 序列解码为文本。
output_text = processor.batch_decode(
    generated_ids_trimmed, #将生成的 ID 序列中输入部分的 ID 去除，只保留模型生成的部分。
        skip_special_tokens=True,         #表示跳过特殊令牌
        clean_up_tokenization_spaces=False #表示不清理分词产生的空格。
)

#打印输出结果
print(output_text)

Plain Text
# 运行demo
python demp.py