线性代数|机器学习-P34神经网络和学习函数

1. 神经网络

构建一个神经网络步骤如下：

• 1. 构建一个神经网络
• 2. 构造一个学习函数$F(x,v)$,x代表权重$A_k,b_k$，v代表样本特征向量,ReLu激活函数
     $$\begin{array}{c}{v}_1=\mathrm{ReLu}[F(A_1,b_1,v_0)]\to v_1=\mathrm{ReLu}[A_1{v}_0+b_1]\end{array}$$
• 3. 不断循环迭代上诉公式，构建神经网络
     $$\begin{array}{c}{v}_k=\mathrm{ReLu}[A_k{v}_{k-1}+b_k]\end{array}$$
• 神经网络图如下：
  

2. 损失函数

神经网络损失函数如下：
L ( x ) = { 1 N ∑ i = 1 N [ F ( x , x i ) − t r u e i ] 2 } \begin{equation} L(x)=\{\frac{1}{N}\sum_{i=1}^N[F(x,x_i)-true_i]^2\} \end{equation} L(x)={N1​i=1∑N​[F(x,xi​)−truei​]2}​​

• 常见的损失函数如下：
  – 最小平方损失函数
  – L1范数损失函数
  – 交叉熵损失函数
  – Hinge损失函数

3. 距离矩阵

假设我们有两个点$x_i,x_j$，用D表示点之间的距离如下：
$$\begin{array}{c}{d}_{ij}=||x_i-x_j|{|}_2^2\end{array}$$

• 距离向量化分解：
  $$\begin{array}{c}{d}_{ij}=||x_i-x_j|{|}^2=(x_i-x_j{)}^T(x_i-x_j)=x_i^T{x}_i-x_i^T{x}_j-x_j^T{x}_i+x_j^T{x}_j\end{array}$$