weight_decay
weight_decay是权重(weight,bias)惩罚的系数,是caffe进行模型正则化的方法。caffe的惩罚项可以在 ‘L1’和 ‘L2’ 中选择,默认的惩罚项为 ‘L2’,可以在相应的solver.prototxt文件中更改为L1:
regularization_type: "L1"
因为L1比L2取值要大,所以更改为L1时weight_decay要相应减小。
weight_decay是权重(weight,bias)惩罚的系数,是caffe进行模型正则化的方法。caffe的惩罚项可以在 ‘L1’和 ‘L2’ 中选择,默认的惩罚项为 ‘L2’,可以在相应的solver.prototxt文件中更改为L1:
regularization_type: "L1"
因为L1比L2取值要大,所以更改为L1时weight_decay要相应减小。