神经网络解决分类问题采用softmax和交叉熵损失。
Softmax
Softmax回归将神经网络输出转换成概率结果。
$$
\operatorname{softmax}(y)_{i}=\frac{e^{y_{i}}}{\sum_{j=1}^{n} e^{y_{j}}}
$$
特点：
1.N个神经元经过softmax会输出N个概率结果。
2.所有概率结果相加为1。
3.sigmoid只能做二分类，而softmax解决多分类问题。
交叉熵损失
$$
H_{y^{\prime}}(y)=-\sum_{i} y_{i}^{\prime} \log \left(y_{i}\right)
$$
即：loss = y_true * log(y_predict)
为了能够衡量距离，目标值需要进行one-hot编码，能与概率值一一对应。
