l1 相比于 l2 为什么容易获得稀疏解？

假设损失函数L和某个参数 x 的关系如图所示：

则最优的 x 在绿色点处， x 非零。

现在使用 L2 正则化，新的损失函数 $L+C{x}^2$ 如图中蓝色线所示：（加了一个大于等于0的数字，图像变化）

最优的 x 点在黄色处，但 x 非零。

$$\begin{gathered} f(x)=L+C{x}^2 \\ {f}^{\prime }(x)=L^{\prime }+2Cx \\ {f}^{\prime }(x)=0 \end{gathered}$$

当导数等于0的时候，因为 $L^{\prime }$在x等于0时不等于0，因此x等于0时导数方向不变，即最优点不是0。

而如果使用L1正则化，则新的损失函数 $L+C|x|$ ,图像如下

$$\begin{gathered} f(x)=L+C|x| \\ {f}^{\prime }(x)=\{\begin{array}{l}{L}^{\prime }-C,x<0\\ L^{\prime }+C,x>0\end{array}. \\ {f}^{\prime }(x)=0 \end{gathered}$$

导数为0的时候，可知函数在x=0的两段导函数不同，即有可能存在导函数不同号的情况，即x=0的点是个极值点。

两种 regularization 能不能把最优的 x 变成 0，取决于原先的损失函数在 0 点处的导数。
如果本来导数不为 0，那么施加 L2 regularization 后导数依然不为 0，最优的 x 也不会变成 0。
而施加 L1 regularization 时，只要 regularization 项的系数 C 大于原先损失函数在 0 点处的导数的绝对值，x = 0 就会变成一个极小值点。

上面只分析了一个参数 x。事实上 L1 regularization 会使得许多参数的最优值变成 0，这样模型就稀疏了。

参考

https://www.zhihu.com/question/37096933