运用神经网络算法中的学习算法实现数据建模

李盛熙,崔亚茹,赵华

山东协和学院 商学院 山东济南 250107

摘要：神经网络是当今最具魅力的一个新兴学科生长点,已发展成为现代科学技术的新热点,其迅猛发展将对整个信息科学产生巨大的影响。神经网络在数学建模中的应用也非常的广泛。

关键词： 神经网络 数学建模  BP神经网络  

一、前言

人工神经网络的研究始于20世纪40年代。人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特点主要是具有非线性特性、学习能力和自适应性，是模拟人的智能的一条重要途径。它是由简单信息处理单元(人工神经元，简称神经元)互联组成的网络，能接受并处理信息。网络的信息处理由单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的连接权来处理的。20世纪80年代以来。神经网络的理论和应用研究都取得了很大的成绩．在模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等领域得到了广泛的应用

二、神经网络基本理论

人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互联而成。这些处理单元（PE-Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。

三、BP神经网络

3.1  BP神经网络结构

BP神经网络由多个网络层构成，通常包括一个输入层、若干个中间层和一个输出层。BP网络的特点是：各层神经元仅与相邻层神经元之间有连接；各层内神经元之间没有任何连接；各层神经元之间也没有反馈连接。BP网络具有很强的非线性映射能力，根据Kolrnogorov定理，一个3层BP神经网络能够实现对任意非线性函数进行逼近。

设BP网络的输入层、中间层和输出层分别有NI、NJ和NK个神经元。中间层第j个神经元的输入为：

      

式中，为输入层中第个神经元到中间层第个神经元的权值；为输入层中第i个神经元的输出。

输出层第k个神经元的输入为：

         

式中，为中间层中第个神经元到输出层第个神经元的权值；为中间层中第k个神经元的输出。

输入层、中间层和输出层的输出分别为：

                                                           

式中和分别为中间层第个神经元和输出层第个神经元的阈值。

BP网络的训练采用基于梯度法的学习律，其目标是使网络输出与训练样本的均方误差最小。设训练样本为P个，其中输入向量为；输出向量为；相应的教师值(样本)向量为。则第P个样本的均方误差为：

式中， 和分别为第k个输出神经元第p个样本的教师值和实际输出值。

输出层的权值调整为：

 

式中，为学习率；为动量因子。

中间层的权值调整为：

阈值的调整与权值相类似，不再赘述。

3.2  学习算法讨论

在实际应用中，BP算法存在着训练时间长、收敛速度慢的缺点。在BP基本算法中增加动量项是一种常用且有效的方法，通过实验对改进学习算法中学习率和动量因子对收敛速度的影响进行仿真研究。不同学习率和动量因子时所需的学习次数如表1所示。

表1  不同学习率和动量因子下所需的学习次数

	0.01	0.02	0.03	0.04	0.05
0.3 0.4 0.5 0.6 0.7 0.8	7950 6817 5683 4549 3142 2266	4041 3444 2875 2307 1742 1181	2702 2320 1941 1565 1195 843	2045 1758 1475 1196 927 678	1650 1421 1195 975 769 568

根据以上分析可知, 对于网络的实现有四个基本的步骤:

 网络建立:通过函数 newff 实现, 它根据样本数据自动确定输入层 、输出层的神经元数目;隐层神经元数目以及隐层的层数、隐层和输出层的变换函数、训练算法函数需由用户确定。

初始化;通过函数 init 实现, 当 newff 在创建网络对象的同时, 自动调动初始化函数 init, 根据缺省的参数对网络进行连接权值和阈值初始化。

网络训练:通过函数 train 实现, 它根据样本的输入矢量 P、目标矢量 T;和预先已设置好的训练函数的参数;对网络进行训练。

网络仿真:通过函数 sim 实现, 它根据已训练好的网络, 对测试数据进行仿真计算。

四、神经网络的发展展望

随着人们对人工神经网络的日益关注，人工神经网络正向前发展着。神经网络作为人工神经网络应用最多的网络，也会不断向前发展。结合目前情况来看，神经网络今后的发展主要有以下几个方面：

（一） 应用研究新特点——多学科综合

目前，人工神经网络与其它传统方法相结合。将推动人工智能和信息处理技术不断发展。近年来．人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

（二） 理论研究的新方向——从神经网络到神经系统

生物神经网络以神经元为基本信息处理单元，对信息进行分布存储与加工。这种信息加工与存储相结合的群体协同工作方式使得人脑呈现出目前计算机无法模拟的神奇智能。至今为止，人工神经网络很少考虑其群体协同工作方式。当强调大量神经元的“系统”属性时，自然要研究构成系统的方式及系统中各组成环节的关系，从而可望出现具有各种特定功能的人工神经系统。那么作为人工神经网络的主要应用代表的BP神经网络，也会呈现出从神经网络到神经系统的发展。

参 考 文 献

[1] 谢承泮.神经网络发展综述[J].科技情报开发与经济，2006，16(12)：1

[2] 张玲，张钹.人工神经网络理论及应用．浙江，浙江科学技术出版社，1997. 52-60

[3] 韩中庚.数学建模方法及其应用.北京，高等教育出版社，2005.6（2006重印）

[4] 姜启源.数学模型（第二版），北京：高等教育出版社，1993.8（1998重印）

[5] 赵静 但琦，数学建模与数学实验，高等教育出版社  施普林格出版社，2000.11