在模型评估与调整的过程中, 我们往往会遇到“过拟合”或“欠拟合”的情况。 如何有效地识别“过拟合”和“欠拟合”现象, 并有针对性地进行模型调整, 是不断改进机器学习模型的关键。 特别是在实际项目中, 采用多种方法、 从多个角度降低“过拟合”和“欠拟合”的风险是算法工程师面试必备知识。
欠拟合与过拟合现象
过拟合是指模型对于训练数据拟合呈过当的情况, 反映到评估指标上,就是模型在训练集上的表现很好, 但在测试集和新数据上的表现较差。
欠拟合指的是模型在训练和预测时表现都不好的情况。
通常,欠拟合的模型不能很好地捕捉到数据的特征, 不能够很好地拟合数据。过拟合的模型过于复杂, 把噪声数据的特征也学习到模型中, 导致模型泛化能力下降, 在后期应用过程中很容易输出错误的预测结果。