大模型笔记之-OpenCompass 评测 InternLM-1.8B 实践

前言

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。

一、环境准备

#新建一个conda环境
conda create -n opencompass python=3.10
conda activate opencompass
#克隆源代码
cd /root
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

#安装依赖
apt-get update
apt-get install cmake
pip install -r requirements.txt
pip install protobuf

二、准备评估测试集

cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip

三.评测

#环境变量配置
export MKL_SERVICE_FORCE_INTEL=1

python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug

命令解析

python run.py
--datasets ceval_gen \ # 数据集准备