数据挖掘结课论文人工神经网络

数据挖掘技术——人工神经网络

（）

摘 要 人工神经网络是数据挖掘常用技术之一，它通过对人脑或自然神经网络若干基本特性的抽象和模拟，使数学模型拥有大脑的某些机理与机制，从而实现某些功能。本文主要介绍了人工神经网络的发展、基本特征、工作原理、未来研究方向等。 关键词：数据挖掘; 人工神经网络; 网络模型; 学习规则; 人工智能 1

Surveying DataMining: Artificial Neural Networks Abstract: Artificial neural network is one of the technologies commonly used in data mining, it is the human brain, or through some basic properties of natural neural networks and simulation of abstraction, so that the brain has a certain mathematical model of the mechanism and the mechanism to achieve certain functionality. This paper describes the development of artificial neural network, the basic features, working principle, future research directions. Key word: DataMining; Artificial Neural Networks; Network model; regulation; Artificial Intelligence

引言

人类具有高度发达的大脑，大脑是思维活动的物质基础，人脑的机构，机制与功能中凝聚着无比的奥秘与智慧。而人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），就是一种模仿人类神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。

人工神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。它广泛应用于工业、农业、医疗等方面，可以很容易的解决具有上百个参数的问题。目前，人工神经网络虽然已取得了许多应用，但仍有些问题值得进一步研究尤其是在实际应用方面。随着研究的不断深入，人工神经网络必将得到不断的完善，并取得更好的应用效果。

1.人工神经网络的概念和基本特征[1]

1.1基本概念：人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel）就是以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。

1.2基本特征[2]：（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性

关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不1作者简介：

仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

2.人工神经网络产生背景和发展历史[3]

2.1人工神经网络产生的背景

自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学家的研究热情。生物学家、神经学家经过长期不懈的努力，通过对人脑的观察和认识，认为人脑的智能活动离不开脑的物质基础，包括它的实体结构和其中所发生的各种生物、化学、电学作用，并因此建立了神经元网络理论和神经系统结构理论，而神经元理论又是此后神经传导理论和大脑功能学说的基础。在这些理论基础之上，科学家们认为，可以从仿制人脑神经系统的结构和功能出发，研究人类智能活动和认识现象。另一方面，19世纪之前，无论是以欧氏几何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，从总体上说，这些经典科学都是线性科学。然而，客观世界是如此的纷繁复杂，非线性情况随处可见，人脑神经系统更是如此。复杂性和非线性是连接在一起的，因此，对非线性科学的研究也是我们认识复杂系统的关键。为了更好地认识客观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型，就这样应运而生了。所以，人工神经网络的创立不是偶然的，而是20世纪初科学技术充分发展的产物。

2.2人类神经网络的发展

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出 ，中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

3.神经网络基本功能及其原理

3.1神经网络基本功能

（1）联想记忆功能

（2）非线性映射功能

（3）分类与识别功能

（4）优化计算功能

（5）知识处理功能

3.2神经网络原理

人工神经网络（ANN）是模拟人脑神经元活动的过程，其中包括对信息的加工、处理、存储、搜索等过程。ANN不能对人脑进行逼真描述，但它是人脑的某种抽象、简化和模拟。

（1）网络模型：人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为前向网络和反馈网络。

（2）学习类型：神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度(权值)的调整。ANN学习规则主要有四种，即联想式学习、误差传播学习、概率式学习和竞争式学习。有效的学习规则，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。

4.人工神经网络模型的建立

（一）确定系统框架

1. 完成对神经元网络的拓朴结构设计：

（1）神经元个数

（2）神经元网络层次

（3）网络单元的连接

2. 确定神经元的作用函数和阈值

作用函数用得较多的有两种：

（1）阶梯函数 （2）S型函数

阈值的选取可为定值如i=0或i=0.5，或者进行迭代计算。

（二）学习样本

学习样本是实际问题中已有结果的实例、公认的原理，规则或事实。

（三）学习算法

对不同的网络模型采用不同的学习算法，但都以Hebb规则为基础。

1. Perceptron(感知机)模型：采用delta规则。

2. Back-propagation(反向传播)模型：采用误差反向传播方法。

（四）推理机

推理机是基于神经元的信息处理过程。

1. 神经元j的输入：

其中，Wjk为神经元j和下层神经元k之间的连接权值。Ok为k神经元的输出。2. 神经元j的输出

Oj=f(Ij-j)

j为阈值，f为神经元作用函数。

（五）知识库

知识库主要是存放各个神经元之间连接权值。

由于上下两层间各神经元都有关系，

用数组表示为：

(Wij)

i行对应上层结点，j列对应下层结点。

（六）输入模式转换

实际问题的输入，一般是以一种概念形式表示，而神经元的输入，要求以(-∞,∞)间的数值形式表示。这需要将物理概念转换成数值。

建立两个向量集：

（1）实际输入概念集：各输入节点的具体物理意义，一般采用表的形式。

（2）神经元输入数值集：各输入节点的数值。

（七）输出模式转换

实际问题的输出，一般也是以一种概念形式表示。而神经元的输出，一般是在[0,1]间的数值形式，这需要将数值向物理概念的转换。

5.使用神经网络需注意的问题[4]

第一，神经网络很难解释，目前还没有能对神经网络做出显而易见解释的方法学。 第二，神经网络会学习过度，在训练神经网络时一定要恰当的使用一些能严格衡量神经网络的方法。

第三，除非问题非常简单，训练一个神经网络可能需要相当可观的时间才能完成。 第四，建立神经网络需要做的数据准备工作量很大。

6.人工神经网络的研究方向及应用[4]

1、神经网络的软件模拟和硬件实现的研究。

2、神经网络在各个领域中应用的研究。这些领域主要包括 ：数据挖掘、模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制、地理、军事、交通、矿业、农业和气象。例如神经网络在商业领域的运用，市场营销——此领域需要检查客户的行为以便构造微观市场细分和邮寄表, 并且还要寻找理想的客户群。财经分析—此领域包括现金流分析和欺诈检查。商业运作—此领域包括传送计划和后勤分析。

随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。

结束语

数据分析与挖掘这门课程让我了解到了很多这个领域的知识和现状，也让我学到了一些数据挖掘方面的技术方法，其中包括决策树、关联规则等，但是最令我感兴趣的就是人工神经网络这一部分内容，平时很喜欢看一些关于人工智能的科幻电影，比如《人工智能》《机器人管家》《机械公敌》等，在这些影片中，人类设计开发的机器人或计算机系统拥有了和人类一样的智能，并逐渐融入到人类的生活中去，以前一直认为这只是一种不切实际的幻想，但是学完了人工神经网络之后感觉这一幻想有可能在不久的将来被实现，关于这一问题最好

的例子就是1997年5月11日，一台名为“深蓝“的计算机将人类有史以来最伟大的国际象棋名家卡斯帕罗夫击败，这在一定程度上带来了恐惧，并由此引发了一场有关人类创造物与自身关系的深层讨论。

但是我个人认为人工神经网络是人类智慧的结晶，如果人类能够合理运用和控制，这一技术必定会造福人类。

参考文献：

[1] 谢邦昌.商务智能与数据挖掘 ——Microsoft SQL Server应用[M].机械工业出版

社.2008.1-25.

[2] 蒋宗礼.人工神经网络导论[M].高等教育出版社.2001.1-13.

[3] 中国知网.人工神经网络技术及其应用[C].覃光华.四川大学.2003.

[4] 百度百科.人工神经网络[EB/OL].

http://baike.baidu.com/view/19743.htm.2011-5-29.