瑞芯微RKLLM-Toolkit一键安装脚本、模型转化脚本

安装显卡驱动

# 一、安装显卡驱动

1、使用命令查看显卡型号：

sudo apt update

sudo apt upgrade

lspci | grep -i nvidia # NVIDIA显卡

lspci | grep -i amd # AMD显卡

2、Nouveau是Ubuntu默认的开源驱动，与NVIDIA驱动冲突。需通过以下步骤禁用：

sudo nano /etc/modprobe.d/blacklist.conf

3、在文件末尾添加：

blacklist nouveau

options nouveau modeset=0

4、保存后更新系统并重启：

sudo update-initramfs -u

sudo reboot

5、验证是否禁用成功：

lsmod | grep nouveau # 无输出即成功

6、通过PPA仓库自动安装：

sudo add-apt-repository ppa:graphics-drivers/ppa

sudo apt update

7、查看推荐驱动版本：

ubuntu-drivers devices # 输出中带"recommended"的版本

8、安装驱动

sudo apt install nvidia-driver-535

sudo reboot

9、验证安装

nvidia-smi # 显示GPU信息即安装成功

脚本

#!/bin/bash

# RKLLM-Toolkit 安装脚本 - 优化版，避免重复下载和安装
set -e  # 遇到错误时退出

echo "开始 RKLLM-Toolkit 安装..."

# 1. 创建目录（如果不存在）
if [ ! -d "/home/tuners" ]; then
    echo "创建 /home/tuners 目录..."
    sudo mkdir -p /home/tuners
else
    echo "/home/tuners 目录已存在"
fi

cd /home/tuners

# 2. 检查并克隆仓库
if [ ! -d "rknn-llm" ]; then
    echo "克隆 rknn-llm 仓库..."
    sudo git clone https://gh-proxy.com/https://github.com/airockchip/rknn-llm.git
else
    echo "rknn-llm 仓库已存在，跳过克隆"
fi

# 3. 检查并安装 conda
if [ ! -d "$HOME/miniconda3" ] && [ ! -f "$HOME/miniconda3/bin/conda" ]; then
    echo "安装 Miniconda..."
    sudo mkdir -p ~/miniconda3
    
    # 检查是否已下载安装包
    if [ ! -f "$HOME/miniconda3/miniconda.sh" ]; then
        echo "下载 Miniconda 安装包..."
        wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
    else
        echo "Miniconda 安装包已存在，跳过下载"
    fi
    
    bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
    rm -f ~/miniconda3/miniconda.sh
    source ~/miniconda3/bin/activate
    conda init --all
else
    echo "Miniconda 已安装，跳过安装步骤"
    source ~/miniconda3/bin/activate
fi

# 4. 检查并创建 conda 环境
if conda env list | grep -q "RKLLM-Toolkit"; then
    echo "RKLLM-Toolkit 环境已存在，激活环境..."
    conda activate RKLLM-Toolkit
else
    echo "创建 RKLLM-Toolkit conda 环境..."
    conda create -n RKLLM-Toolkit python=3.8 -y
    conda activate RKLLM-Toolkit
fi

# 5. 进入工具包目录
cd /home/tuners/rknn-llm/rkllm-toolkit

# 6. 检查并安装 toolkit
if python -c "import rkllm.api" 2>/dev/null; then
    echo "RKLLM-Toolkit 已安装，跳过安装步骤"
else
    echo "安装 RKLLM-Toolkit..."
    pip3 install --timeout 300 --retries 3 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com rkllm_toolkit-1.2.1-cp38-cp38-linux_x86_64.whl
fi

# 7. 验证安装
echo "验证安装..."
python -c "from rkllm.api import RKLLM; print('RKLLM Toolkit 安装成功！')"

echo "安装完成！"
echo "使用方法："
echo "1. 激活环境: conda activate RKLLM-Toolkit"
echo "2. 进入工具包目录: cd /home/tuners/rknn-llm/rkllm-toolkit"
echo "3. 开始使用 RKLLM-Toolkit"

在任意目录下创建这个脚本

拷贝内容进去，

赋予脚本执行权限

执行脚本进行安装

等待安装完成

模型转换脚本

conda activate RKLLM-Toolkit

python /home/zenglg/ai_env/rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export/generate_data_quant.py -m /home/zenglg/ai_env/rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo