L1范数符合拉普拉斯分布，是不完全可微的。表现在图像上会有很多角出现。这些角和目标函数的接触机会远大于其他部分。就会造成最优值出现在坐标轴上，因此就会导致某一维的权重为0 ，产生稀疏权重矩阵，进而防止过拟合。
L2范数符合高斯分布，是完全可微的。和L1相比，图像上的棱角被圆滑了很多。一般最优值不会在坐标轴上出现。在最小化正则项时，可以是参数不断趋向于0，最后活的很小的参数。
画图表示：
L2正则：
在
在L2正则下，w从P1向P2移动，w减小，L2正则项使参数变小。
L1正则：
在L1正则下，w向w2轴移动，到达w2轴即变为零，因为容易稀疏化。 参考
Deep Learning Chapter 7.1.1 & 7.1.2
比较全面的L1和L2正则化的解释