全连接层

全连接层,第1张

看了几天的CNN ,一直没太理解FC在网络中的作用。

连接层(fully connected layers,FC)

在 CNN 中,全连接常出现在最后几层,用于对前面设计的特征做加权和。比如 mnist,前面的卷积和池化相当于做特征工程,后面的全连接相当于做特征加权。

一般使用ReLU激活函数

最后一层全连接层一般使用softmax进行分类

1、全连接层作用:

全连接的一个作用是维度变换,尤其是可以把高维变到低维,同时把有用的信息保留下来。

全连接另一个作用是隐含语义的表达(embedding),把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言,就是分类的显示表达

2、简述LSTM如何解决梯度消失

LSTM有能力向单元状态中移除或添加信息,通过门结构来管理,包括“遗忘门”,“输出门”,“输入门”。通过门让信息选择性通过,来去除或增加信息到细胞状态. 模块中sigmoid层输出0到1之间的数字,描述了每个成分应该通过门限的程度。0表示“不让任何成分通过”,而1表示“让所有成分通过!

一个对RNN和LSTM分析比较好的连接 (注意理解体会一下他说的公式)

3、激励函数:

作者这篇激励函数写的也很好 (我们实际中一般遇见都是非线性问题,所以对特征做了加权线性 *** 作需要通过非线性的激励函数做非线性的变换)

激励函数选择

4、BP的反向推导( 详细参考 )( 参考2 )


欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/bake/11607650.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-17
下一篇 2023-05-17

发表评论

登录后才能评论

评论列表(0条)

保存