首页llamafactory-cli vllm

llamafactory-cli vllm

时间: 2025-01-27 13:04:06 浏览: 73

### LLaMA-Factory CLI VLLM 使用指南 #### 安装配置为了安装并配置 `llamafactory-cli` 和其子命令 `vllm`，需遵循特定步骤以确保环境设置正确。推荐使用虚拟环境来管理依赖项。首先创建一个新的 Python 虚拟环境： ```bash python3 -m venv llama-env source llama-env/bin/activate # Linux/MacOS # 或者对于 Windows 用户: # .\llama-env\Scripts\activate.bat ``` 接着更新 `pip` 并安装所需的软件包版本： ```bash pip install --upgrade pip setuptools wheel pip install transformers==4.41.2 -i https://mirrors.aliyun.com/pypi/simple/ ``` 完成上述操作之后，可以继续通过以下方式安装 `llamafactory-cli` 工具及其扩展模块 `vllm`: ```bash pip install llamafactory-cli[vllm] -i https://mirrors.aliyun.com/pypi/simple/ ``` #### 基本命令介绍一旦成功安装了工具链，则可以通过执行下面这条指令获取更多有关如何使用的指导信息[^1]: ```bash llamafactory-cli help ``` 这会显示一系列可用选项以及具体参数说明，其中包括但不限于启动服务、加载预训练模型、调整超参数等功能特性。针对 `vllm` 的特别功能，通常涉及更复杂的微调流程或是高级推理任务的支持。具体的用法应当参照官方提供的最新文档资料进行学习和实践[^2]。

阅读全文