自己制作的数据集每个类别都相互在一起,数据集并未打乱,这会导致网络在学习过程中对权重参数产生一定的拉扯,降低了模型的鲁棒性。而且在训练时使用shuffle只是打乱每个轮次训练数据的顺序,并没有彻底改变数据集的顺序问题。
此前参考两位博主的代码第1篇、第2篇,但是两个工作在我使用的时候都出现了xml文件名与images图像无法对应,标签都乱了(这是最主要的问题,会导致模型训练得乱七八糟);要么就是只改xml文件名,其中的<filename>属性并未对应修改。
针对标签乱了的问题,我仔细检查几次运行得结果,发现是读取jpg文件和xml文件时顺序不一样,所以最后无法对应,因此参考这篇博客这篇,安装natsort模块,限制了模型读取文件的顺序。
首先,你需要安装natsort模块。你可以使用以下命令在终端中安装:
pip install natsort
接下来使用此方法可以彻底打乱数据集,并且保证:
- xml文件名与images图像名之间的对应关系
- xml文件中<filename>属性与xml文件名之间的对应关系
只需修改输入路径和输出路径,代码如下:
import numpy as np
import cv2
import os
#import random
import xml.etree.ElementTree as ET
from natsort import natsorted
#原始图片路径和xml文件路径
image_root = 'E:/test/'
xml_root='E:/testlabel/'
image_name = os.listdir(image_root)
xml_name=os.listdir(xml_root)
#限制模型读取的顺序,按照文件夹显示的顺序,保证xml和jpg文件的一一对应
image_list = natsorted(image_name)
xml_list = natsorted(xml_name)
#打乱后的输出图片路径和xml文件路径
image_output = 'E:/test2/'
xml_output='E:/testlabel2/'
index = [i for i in range(len(image_list))]
print(len(image_list))
print(len(xml_list))
np.random.shuffle(index)
a=np.array(index)
num=1
#从1开始命名,可以改为自己需要的数字
for i in a:
img_name=image_list[i]
xml_name=xml_list[i]
print('修改第', i+1, '个',' 生成第',num,'个')
img_path = image_root + img_name
xml_path = xml_root+xml_name
I = cv2.imread(img_path)
xmlDoc = ET.parse(xml_path)
root = xmlDoc.getroot()
sub1 = root.find('filename')
img_save_path = image_output + str(num) + '.jpg'
xml_save_path = xml_output+str(num)+'.xml'
sub1.text =str(num)+'.jpg'
cv2.imwrite(img_save_path, I)
xmlDoc.write(xml_save_path)
num+=1