算法评价与神经网络算法

算法评价与神经网络算法 前言

随着大数据和信息传输技术的兴起、人们的数据处理工作指数型增长，传统的编程方法和数学模型不再适用于这样大数据量、高噪音的工作，神经网络的使用就变得愈加广泛。作为传统机器学习的一个分支，神经网络实现了更高层次的自动化。对于多种神经网络，我们期望了解并评价这些模型。

算法评价

算法效率

通常使用时间复杂度和空间复杂度，来计算运算时间的相对消耗及计算使用存储空间的相对消耗。

算法效果

对于参数量较大的算法或一些黑箱性质的算法，通常算法效果也是算法评价的重要指标。通常使用在测试集上的损失来衡量神经网络的表现效果。

基础神经网络算法介绍

CNN[]

全连接神经网络是最基础的神经网络，他实现了通过训练逼近多个输入对应多个输出的函数。卷积神经网络主要在卷积神经网络的基础上加上了卷积层。通过多对一的卷积层实现了将大数据量的矩阵转换成了较小数据量的矩阵。卷积层，可以起到提取提取大数据量特征的作用。由此，实现了图像处理中常用的卷积神经网络，可以实现图像的分类。

RNN[]

全连接神经网络还可以应用在反馈神经网络中。循环神经网络算一种反馈神经网络，他将全连接神经网络的输出以及新的输入，同时作为输出，通过反复将神经网络的输出作为输入，可以起到把握时序信息的作用。

基本的单层循环往神经网络模型是将一个输入矩阵多次输入一个单层全连接神经网络，将得到的输出作为下一次的输入，这样反复进行，故而称为循环。

倘若将前一次的输入得到的输出与下一次输入这两个举证进行融合，在作为这一次的输入如此循环，最终的输出的结果将包含之前所有输入的举证所包含的信息，也就是说这样可以使输出结果包含持续性的信息，我们将这个模型称为编码器。

对于循环神经网络的训练，倘若我们希望神经网络的矩阵可以预测持续化的数据，我们需要将每一次的输出不但作为第二次的输入，还要与目的的输出进行比较，从而优化参数取值。

GAN[]

传统神经网络主要应用于分类和拟合，而用于生成的神经网络表现效果并不好，效果很模糊，直到len Goodfellow发明了GAN。相比CNN等多层感知神经网络，GAN使用生成器G与判别器D协同训练。

GAN基本模型包含了两个域，两个映射函数和两个评价函数。随机域(z)的数据经过生成函数G(x)映射到判别域(x)，判别函数D(x)用于判别判别域(x)中数据属于真实数据的概率。两个评价函数分别评价生成器G生成数据的可信程度、判别器区分出判别域中数据更可能是真实数据还是由生成器生成。

 

上图是原GAN论文中的示意图。从（a）到（d），平行线以上体现了生成器根据随机数据的生成结果越来越接近真实数据的过程。其中黑色实点表示真实数据在数据空间的分布曲线，绿色实线表示生成数据在数据空间的分布曲线。蓝色虚线为判别器判断数据空间中对应值为真实数据的概率。平行线中间展示了生成器将随机域的取样往判别域映射的过程。生成结果在不断往真实数据的空间分布靠近。

在GAN的训练过程中，将D与G分开训练。通常训练k组D后训练一组G，为了确保判别器的准确程度。

一些近年的技术

除以上之外，近几年其他神经网络技术也取得了重大成就，诸如迁移学习、小样本学习及actor-critic[]神经网络等深度强化学习。这些神经网络的应用为我们这些年轻学者提出了更多要求。