HERODING23的博客

最近在做和大模型通用抽取相关的任务，需要将所有数据集转换为相同的格式，便于构建指令微调数据集。在处理数据时需要将不同格式的NER数据集转换为方便处理的json格式数据，这是一项非常繁杂的工作。在NER领域，没有一个统一的格式规范，博主收集了近30份NER数据集，总结出常见的NER数据集格式包括BIO、BIEO、excel格式的BIO、数据标签分离、内嵌式json等，每种格式可能只有两三个数据集，如果单独为其进行编码需要耗费不少精力，拖慢工作进度。