正则化的应用

带正则化的成本函数继续沿用上周用到的根据房屋大小预测房租的例子。用二次函数对数据进行拟合时会得到拟合效果相当好的结果但用非常高阶的多项式进行拟合就会得到一条过拟合的曲线。通过正则化的思想我们需要使参数和变得非常小无限接近于以达到几乎消除了和的效果那我们得到的拟合效果则会更接近二次函数拟合后的并且考虑到并保留了部分特征。假如我们有很多特征我们可能不知道哪些是最重要的特征哪些是需要经过正则化的对预测结果影响很小的特征。正则化的通常实现方式就是对所有特征“雨露均沾”对它们进行“惩罚”这样就很可能会得到一个更平滑、更简单、性能强且不太容易过拟合的函数。套用在预测房价的例子上如果我们有每个房子的一百个特征数据但是我们很难判断出哪些特征要包含哪些特征要排除。接下来就构建一个使用所有特征的模型我们在后面添加上其中指的是特征数量是正则化参数得到。不难看出两项函数都除以了目的是使计算更简洁、调参更合理。这个经过“升级”的全新的代价函数会在可能有的两个目标一、二项分别指平方误差代价函数、正则化项之间进行权衡。当我们试图最小化第一项时算法通过最小化预测值和与实际值之间的平方差来很好地训练集最小化第二项时算法也尝试使参数保持较小值使其减少过拟合的程度。值的选择指定了这两个目标之间的相对重要性即如何在这两个目标之间取得平衡。不同的值会会影响学习算法。以下举例两个极端当时我们最终会拟合出一个“山路十八弯”的过拟合曲线当是一个非常大的数意味着在正则化项施加了非常大的权重而最小化这个代价函数的唯一方法既是确保所有的值都无限接近于得出的结果约等于算法拟合出一条欠拟合的水平直线。带正则化线性回归的梯度下降之前我们使用的是梯度下降来处理原始的代价函数以下是梯度下降涉及到的公式带正则化的线性回归在公式上并无差别只是对于代价函数的定义略有不同。原本对的导数的表达式为对的导数的表达式为我们现在一样需要在后面额外添加正则化项即:但我们同样不对参数进行正则化因为我们希望只对进行更新通过正则化对进行缩小。将正则化线性回归的梯度下降算法整合得出.对成本函数和梯度下降算法进行正则化目的都是为了能够在迭代过程中持续约束参数的大小使得最终得到的参数能够保证算法预测更准确防止模型过拟合进一步提高模型的泛化能力。