Pytorch Kaiming 初始化(Initialization)中fan

Pytorch Kaiming 初始化(Initialization)中fan,第1张

Pytorch Kaiming 初始化(Initialization)中fan

mode:‘fan_in’ (default)或者‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。

在使用过程中,一般都要默认设置fan_out
见Pytorch官网详解

欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/zaji/5710487.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存