softmax与交叉熵损失

神经网络解决分类问题采用softmax和交叉熵损失。

Softmax回归将神经网络输出转换成概率结果。

$\operatorname{softmax}(y)_{i}=\frac{e^{y_{i}}}{\sum_{j=1}^{n} e^{y_{j}}}$
特点：

1.N个神经元经过softmax会输出N个概率结果。

2.所有概率结果相加为1。

3.sigmoid只能做二分类，而softmax解决多分类问题。

$H_{y^{\prime}}(y)=-\sum_{i} y_{i}^{\prime} \log \left(y_{i}\right)$

即：loss = y_true * log(y_predict)

为了能够衡量距离，目标值需要进行one-hot编码，能与概率值一一对应。