前言
在 OpenCompass 中评估一个模型通常包括以下几个阶段:配置 -> 推理 -> 评估 -> 可视化。
一、环境准备
#新建一个conda环境
conda create -n opencompass python=3.10
conda activate opencompass
#克隆源代码
cd /root
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .
#安装依赖
apt-get update
apt-get install cmake
pip install -r requirements.txt
pip install protobuf
二、准备评估测试集
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip
三.评测
#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1
python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug
命令解析
python run.py
--datasets ceval_gen \ # 数据集准备