深度学习中的正则化和归一化

https://blog.csdn.net/wuxusanren/article/details/131175185

归一化是一种将数据按比例缩放，使之落入一个小的特定区间的过程。归一化的主要目的是消除不同量纲及单位影响，提高数据间的可比性，同时也有助于加快算法的收敛速度。如softmax等，也常用于数据预处理

正则化是制定一些规则，防止模型过拟合，通常是在loss中体现，如L1正则化（loss + λ |weight|，有助于产生稀疏解，不重要的参数会变成0，因为绝对值的倒数是不变的），L2正则化（loss ＋　λ * weight**2，有助于使模型参数趋于平滑，即参数值不会太大也不会太小，因为次方倒数随着随着数值变大而变大，数值变小而变小）; 还有dropout，early stop等防止过拟合