机器学习算法中的模型选择与假设评估

在掌握了机器学习算法后，接下来就需要对算法进行选择，在不同的问题下选择最合适的算法和模型进行处理。要知道在碰到不同的问题时应当走哪条解决方案，选择对了尝试的方向，才能够尽快的达到最优的解同时保证最优的性能。这篇文章就简要介绍一下碰到常规问题时如何解决，这些都是经验结论，在应对一些基础问题时一般都可以起到一定作用。

一、写在前面

首先需要了解大体上应当如何处理这类问题。当我们在预测时碰到问题，得到了较大的误差时，往往可以采用下面的方法：

• 增加训练样本
• 减小特征数量
• 尝试其它额外的特征
• 尝试特征的多项式组合
• 调整惩罚系数

当我们需要对假设进行评估时，需要注意一个假设在训练样本上可能具有很小的误差，但是它依旧可能是不准确的（比如过拟合的情况下）。因此在需要评估假设时，往往会把给的训练集样本进行分割，一个经验值是按照7:3的比例将数据集分割为训练集（training set）和测试集（test set）。因此新的训练和测试过程应该按照如下的步骤：

1. 根据样本学习得到Θ，同时最小化Jtrain(Θ) ；
2. 计算测试集的误差Jt