【模型】llama factory vllm

RockWang.

已于 2025-02-18 20:16:51 修改

阅读量209

点赞数 3

CC 4.0 BY-SA版权

分类专栏：环境配置文章标签： qwen2-vl

于 2025-02-18 19:29:33 首次发布

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/xi_shui/article/details/145713136

环境配置专栏收录该内容

11 篇文章

订阅专栏

export CUDA_VISIBLE_DEVICES=0,1,2,3
DISABLE_VERSION_CHECK=1  TORCHRUN_DISABLED=1 python3 scripts/vllm_infer.py --model_name_or_path qwen2_5vl_lora_sft_v2 --dataset car_item --template qwen2_vl --tensor-parallel-size 8

CUDA_VISIBLE_DEVICES=7 CUDA_LAUNCH_BLOCKING=1 DISABLE_VERSION_CHECK=1  TORCHRUN_DISABLED=1 python3 scripts/vllm_infer.py --model_name_or_path qwen2_5vl_lora_sft_v2 --dataset car_item --template qwen2_vl --tensor-parallel-size 1 --gpu-memory-utilization 0.5 --max-model-len 5000 --pipeline_parallel_size 1
todo:不知道为何，有点问题，有时间再研究先记录下