深度学习11-13

1.神经元的个数对结果的影响：
（http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html）

（1）神经元3个的时候

（2）神经元是10个的时候

神经元个数越多，可能会产生过拟合现象。

2.正则化和激活函数

（1）隐层1的神经元增加一个，相当于输入层输入一组参数

（2）正则化的作用
1）惩罚力度对结果的影响
惩罚力度=训练的loss+r(w)
惩罚力度小的时候，模型奇形怪状。
随着浪荡增大，测试集的效果更好

2）神经元，参数个数对结果的影响
64，128，256，512
（3）激活函数
sigmoid函数当梯度为0（斜率为0）的时候，不进行更新和传播，即梯度消失。

所以提出reLu函数，变量x<0,直接为0.

3.标准化

（1）数据预处理
把点中心化：把实际坐标值-均值。放缩：除以标准差

（2）参数初始化
（d,h)矩阵的行和列数

（3）Drop-out：在神经网络的训练过程中，在某一次的迭代中，每一层随机的按照固定的比例杀死一些神经元，不参与后序的更新与传播。杀死的神经元可能会在其他迭代中派上用场。Drop-out是个比例。防止神经网络训练过程太复杂。测试阶段没必要杀死。
过拟合是神经网络的一个大问题。

（4） 文字作填充、图像作标准化

根据loss值反向传播求出w1,w2,w3

过拟合解决方法：drop-out或者relu函数

5.卷积神经网络应用领域

（1）