正则化（避免过拟合）

如何解决过拟合问题：

过拟合问题往往源自过多的特征，通常会考虑两种途径来解决：

a) 减少特征的数量：

-人工的选择保留哪些特征；

-模型选择算法（之后的课程会介绍）

b) 正则化

-保留所有的特征，但是降低未知量的系数值；

-正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力量。这里主要通过两个方面谈谈正则化问题。

1)对代价函数进行正则化

过拟合

 

直观来看，如果我们想解决这个例子中的过拟合问题，最好能将x3,x4的影响消除，也就是让 , 劲量趋于0

假设我们对 , 进行惩罚，并且令其很小，一个简单的办法就是给原有的Cost function加上两个略大惩罚项，例如：

 

这样在最小化Cost function的时候， , 都趋于0.

正则化：

参数 , 取小一点的值，来劲量“简化”的hypothesis，避免出现过拟合；

我们对 进行惩罚，也就是正则化：

 

经过正则化的Cost Function有如下的形式：

 

其中 称为正则化参数.

 

2）线性回归的正则化和逻辑回归的正则化

线性回归的正则化和逻辑回归的正则化的思路和上面都差不多，主要是通过对代价函数进行正则化处理，如

线性回归

 

逻辑回归

 

然后利用梯度下降或者是梯度上升算法来求解目标函数。