sigmoid和tanh激活函数与其导数的绘图详解

sigmoid和tanh激活函数与其导数的绘图详解,第1张

        激活函数(Activation Function)主要针对学习复杂的和非线性的函数,有着十分重要的作用,尤其是在多层神经网络中,应用非常广泛,对于线性函数,我们在前面说到的线性回归和Softmax回归,有兴趣的可以先熟悉下,便于后期更加理解非线性函数的实际意义。线性回归(Linear Regression)模型的构建和实现https://blog.csdn.net/weixin_41896770/article/details/124192672

Softmax回归模型的构建和实现(Fashion-MNIST图像分类)https://blog.csdn.net/weixin_41896770/article/details/124377665

        这两个模型都属于线性的,对于深度学习的多层叠加,如果是线性模型,不管叠加多少层,输出还是线性的,这对于学习复杂的非线性的函数来说,就显得没辙。所以这个时候我们引入了激活函数,使得神经网络可以逼近任何的非线性函数。
        常见的激活函数有(ReLU、Sigmoid、tanh[双曲正切]),这里主要讲解sigmoid和tanh以及它们的求导过程,本人将步骤画出来了,通过图片让大家看得更直观。

        上面是数学公式的求导过程,现在我们分别来绘制出激活函数与对应的导数的图(MXNet已包含了这些函数的绘制,可以方便调用),大家也可以不通过MXNet框架提供的函数,自己绘图来检验上面的求导是否正确,想了解更多如何绘制图形可以参看:

Python画图(直方图、多张子图、二维图形、三维图形以及图中图)https://blog.csdn.net/weixin_41896770/article/details/119798960

import d2lzh as d2l
from mxnet import autograd,nd

#定义一个绘图函数
def xyplot(x,y,n):
    d2l.set_figsize(figsize=(5,2.5))
    d2l.plt.plot(x.asnumpy(),y.asnumpy())
    d2l.plt.xlabel('x')
    d2l.plt.ylabel(n+'(x)')
#sigmoid函数
x=nd.arange(-10,10,0.1)
y=x.sigmoid()
xyplot(x,y,'sigmoid')

#sigmoid导数
x=nd.arange(-10,10,0.1)
x.attach_grad()
with autograd.record():
    y=x.sigmoid()
y.backward()
xyplot(x,x.grad,'grad of sigmoid')

#tanh函数
x=nd.arange(-10,10,0.1)
y=x.tanh()
xyplot(x,y,'tanh')

tanh函数看起来和sigmoid长的特别像,区别在于tanh函数是关于原点对称

#tanh导数
x=nd.arange(-10,10,0.1)
x.attach_grad()
with autograd.record():
    y=x.tanh()
y.backward()
xyplot(x,x.grad,'grad of tanh')

欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/langs/741289.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-28
下一篇 2022-04-28

发表评论

登录后才能评论

评论列表(0条)

保存