全连接层(fully connected layers,FC)
在 CNN 中,全连接常出现在最后几层,用于对前面设计的特征做加权和。比如 mnist,前面的卷积和池化相当于做特征工程,后面的全连接相当于做特征加权。
一般使用ReLU激活函数
最后一层全连接层一般使用softmax进行分类
1、全连接层作用:
全连接的一个作用是维度变换,尤其是可以把高维变到低维,同时把有用的信息保留下来。
全连接另一个作用是隐含语义的表达(embedding),把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言,就是分类的显示表达
2、简述LSTM如何解决梯度消失
LSTM有能力向单元状态中移除或添加信息,通过门结构来管理,包括“遗忘门”,“输出门”,“输入门”。通过门让信息选择性通过,来去除或增加信息到细胞状态. 模块中sigmoid层输出0到1之间的数字,描述了每个成分应该通过门限的程度。0表示“不让任何成分通过”,而1表示“让所有成分通过!
一个对RNN和LSTM分析比较好的连接 (注意理解体会一下他说的公式)
3、激励函数:
作者这篇激励函数写的也很好 (我们实际中一般遇见都是非线性问题,所以对特征做了加权线性 *** 作需要通过非线性的激励函数做非线性的变换)
激励函数选择
4、BP的反向推导( 详细参考 )( 参考2 )
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)