计算机论文
当前位置:首页 > 论文范文 > 计算机论文 > 列表页

清华大学计算机论文

小草范文网  发布于:2016-10-29  分类: 计算机论文 手机版

篇一:清华大学高材生写的计算机方面论文

摘要

纵观近几年的IT发展,移动互联网的发展势头迅猛。上网和交流的方式不再局限于通过传统的PC机,以平板电脑,智能手机为工具的网民数量大增。而这又反过来刺激着移动互联网的前进,并且改变我们的生活。

Android这种基于Linux的开放源代码的操作系统的产生,在很大程度上促进了移动互联网的发展。然而在移动设备之间进行通信以及交流的过程中,就会产生一些问题。这些问题主要集中在两个方面:一是按照以前的习惯,使用传统的运营商来提供的通信服务,这样的成本较高,而且在跨服务之间会有相对的不稳定性情况;二是安全性,众所周知,安全性是通信交流的保障。所以基于这两方面的考虑,分析论证在以Android系统为依托,实现VoIP协议来进行语音通话。VoIP协议已经证明是可行的,主要需要解决的是在Android系统下开发这种能够保证通话安全的通话系统。从目前的技术条件看,使用Android手机VoIP安全通信系统,摒弃了传统的运营商,而以移动互联网作为媒介进行通信,这使得成本大大的降低,并且在对通信过程中的安全性予以保证。

把Android系统和VoIP作为基本框架,提出基于Android系统来实现VoIP协议的方案。深入分析研究了Android系统与VoIP协议的设计与实现方式,介绍了Android系统的基本框架开发和VoIP实现方法,并且保证安全通信,基于此提出了基于Android系统的安全VoIP语音客户端,提供了通过互联网来进行网络语音通话的服务。从Android系统的界面布局,Android系统的语音通话逻辑功能控制,Android的SIP协议栈实现,保证语音通话的安全性等角度对基于Android的安全VoIP语音通信客户端进行具体的实现与优化。最后,对Android安全语音通信客户端进行了系统功能和稳定性的测试分析。实际测试运行表明,Android手机VoIP语音通话系统可以良好的达到预期运行效果,同时给用户提供一种新的语音通话方式选择。

关键词:安卓系统,网络语音协议,语音通话,安全

Abstract

In recent years IT develops greatly ,especially the mobile Internet. The way of chatting on line is not only due to conventional PC, the number of using tablet computers, smart phones as a tool increases rapidly. It in turn stimulates the advance of mobile Internet, and changes our lives.

Android , based on Linux open source operating system ,largely contributed to the development of the mobile Internet. However, communication between the mobile device and the exchange process, will pro(本文来自:WwW.xiaOCaofAnweN.Com 小草范文 网:清华大学计算机论文)duce some problems. These problems are mainly focused on two aspects: First, in accordance with past practices, the use of traditional carriers to provide communication services will bring about high cost, and there will be instability of the situation when communicates across services; Second about security, as we all know, security is the protection of communication. So basing on these two considerations, analyzing and demonstrating in the Android system as the basis to realize VoIP protocol for voice calls. VoIP protocol has been proven to be feasible, the main need to be addressed in the Android system is to develop this call that can guarantee security intercom system. Looking from the current technical conditions, using an Android phone VoIP security communications system, abandoned the traditional carriers ,the mobile Internet as a medium for communication, which reduces the cost and in the communication process, safety is guaranteed.

Android system and VoIP protocol as the basic framework proposed measures to implement VoIP voice calls based on the Android system. Depth analysis of the Android system and VoIP design and implementation of the agreement, the basic framework for development of the Android system and VoIP implementation, VoIP voice calls based on the Android system based on this, providing a network voice calls via the Internet services.Voice calls from the layout of the Android system, the Android system logic function control, Android SIP protocol stack to achieve the voice call history to achieve four angles on the Android-based VoIP voice calls to a specific implementation and optimization. Finally, based on Android VoIP voice calls system functions and system stability was tested.Actual test run showed that, Android phones VoIP voice intercom system can achieve the desired good operating results, providing users a new and safe voice call.

Keywords: Android system, VoIP, Voice calls, Safety

目录

摘要 .................................................................................................................................... I Abstract ............................................................................................................................. II 1 序言

1.1 课题背景 .................................................................................................................... 1

1.2 课题来源研究目的和意义 ........................................................................................ 4

1.3 论文组织结构 ............................................................................................................ 5 2 相关技术研究

2.1 Android系统应用程序的开发方式 ........................................................................... 7

2.2 VoIP协议比较与分析 .............................................................................................. 10

2.3 IPSec加密以及VoIP安全 ....................................................................................... 15

本章小结 ......................................................................................................................... 16 3 Android手机VoIP安全语音通信客户端的设计

3.1设计总框架 ............................................................................................................... 17

3.2 UI层 .......................................................................................................................... 18

3.3 Engine层 ................................................................................................................... 22

3.4 SIP层 ........................................................................................................................ 25

3.5 网络传输层及安全加密 .......................................................................................... 27

本章小结 ......................................................................................................................... 30 4 Android手机VoIP安全语音通信客户端的实现

4.1 UI界面实现 .............................................................................................................. 31

4.2 语音通话逻辑功能实现 .......................................................................................... 34

4.3 IPsec实现 ................................................................................................................. 38

本章小结 ......................................................................................................................... 40 5 Android手机VoIP安全语音通信客户端系统测试及分析

5.1 功能测试 .................................................................................................................. 42

5.2 性能测试 .................................................................................................................. 44

5.3 测试分析 .................................................................................................................. 44

本章小结 ......................................................................................................................... 45

6 总结与展望 ................................................................................................................. 46

致谢 ................................................................................................................................. 47

参考文献 ......................................................................................................................... 48

1 序言

近年来,移动互联网发展飞速,智能手机和平板电脑普及逐渐加快,随着网速以及带宽的提高,网络资费也在不断下降。这样,通过手中的智能设备连接到移动互联网来获得快速,安全以及低成本的服务逐渐演化成以一种潮流。现代社会已经离不开手机通话,但是传统运营商的垄断导致话费较高,并且还会存在不安全的因素。而伴以Android系统智能手机的普及,使得基于Android的VoIP语音通话技术是解决高通话成本和保障安全的的良好的解决方案。

Android操作系统[1]是一种以Linux为基础的开放源代码操作系统,主要使用于智能手机和平板电脑等移动设备。基于Android的安全的VoIP[2]语音通信客户端,即是通过在Android平台上开发实现VoIP协议,使移动设备之间能够安全的进行语音通话[3]。

1.1课题背景

1.1.1 Android系统概述以及发展

Android是一种基于Linux的自由及开放源代码的操作系统,主要使用于移动设备,如智能手机和平板电脑,由Google公司和开放手机联盟领导及开发。Android操作系统最初由Andy Rubin开发,主要支持手机。2005年8月由Google收购注资。2007年11月,Google与84家硬件制造商、软件开发商及电信营运商组建开放手机联盟共同研发改良Android系统。随后Google以Apache开源许可证的授权方式,发布了Android的源代码。第一部Android智能手机发布于2008年10月。Android逐渐扩展到平板电脑及其他领域上,如电视、数码相机、游戏机等。2011年第一季度,Android在全球的市场份额首次超过塞班系统,跃居全球第一。 2012年11月数据显示,Android占据全球智能手机操作系统市场76%的份额,中国市场占有率为90%。 Android的系统架构和其操作系统一样,采用了分层的架构。一版来看,分为四个层[4,5],从高层到低层分别是应用程序层、应用程序框架层、系统运行库层和Linux内核层。

应用程序:Android会同一系列核心应用程序包一起发布,该应用程序包包括客户端,SMS短消息程序,日历,地图,浏览器,联系人管理程序等。所有的应用程序都是使用JAVA[6]语言编写的。

应用程序框架:开发人员也可以完全访问核心应用程序所使用的API[7]框架。该应用程序的架构设计简化了组件的重用;任何一个应用程序都可以发布它的功能块并且任何其它的应用程序都可以使用其所发布的功能块(不过得遵循框架的安全性)。同样,该应用程序重用机制也使用户可以方便的替换程序组件。

系统运行库:Android 包含一些C/C++库,这些库能被Android系统中不同的组件使用。它们通过 Android 应用程序框架为开发者提供服务。

Linux内核层:Android是基于Linux2.6内核,其核心系统服务如安全性、内存管理、进程管理、网路协议以及驱动模型都依赖于Linux内核。

1.1.2 VoIP协议概述以及发展

在70年代,人们已开始了VoIP的研究,然而当时系统的话音质量不能令人满意。进入90年代后,随着Internet在全球范围内兴起和话音编码技术的发展,IP分组话音通信技术获得了突破性的进展和较为广泛的应用。1996年, ITU-T通过了局域网上支持可视电话通信的信令协议,也就是现在应用最为广泛的H.323协议族。2002年,另一大阵营IETF发布了RFC3261规范,即基于SIP的信令协议标准。SIP[8]与H.323[9]提供的功能和服务基本上都是相同的,但是由于SIP在设计上更能体现Internet体系结构的优势,同时基于文本方式的信令使用简单且易于扩展。相信SIP协议将逐步代替H.323协议成为VoIP

的核心信令协议。本课题采用SIP协议来实现语音通话客户端。

语音代理

图1.1 VoIP的模型结构

篇二:计算机应用技术毕业论文

毕业论文

课题名称:网络信息安全与防范

专业及班级:计算机应用技术

学号: 201251210112260

姓名:何荣星

指导教师: 刘老师

继续教育学院

摘要 网络发展的早期,人们更多地强调网络的方便性和可用性,而忽略了网络的安全

性。当网络仅仅用来传送一般性信息的时候,当网络的覆盖面积仅仅限于一幢大楼、

一个校园的时候,安全问题并没有突出地表现出来。但是,当在网络上运行关键性的

如银行业务等,当企业的主要业务运行在网络上,当政府部门的活动正日益网络化的

时候,计算机网络安全就成为一个不容忽视的问题。

随着技术的发展,网络克服了地理上的限制,把分布在一个地区、一个国家,

甚至全球的分支机构联系起来。它们使用公共的传输信道传递敏感的业务信息,通过

一定的方式可以直接或间接地使用某个机构的私有网络。组织和部门的私有网络也因

业务需要不可避免地与外部公众网直接或间接地联系起来,以上因素使得网络运行环

境更加复杂、分布地域更加广泛、用途更加多样化,从而造成网络的可控制性急剧降

低,安全性变差。

随着组织和部门对网络依赖性的增强,一个相对较小的网络也突出地表现出一

定的安全问题,尤其是当组织的部门的网络就要面对来自外部网络的各种安全威胁,

即使是网络自身利益没有明确的安全要求,也可能由于被攻击者利用而带来不必要的

法律纠纷。网络黑客的攻击、网络病毒的泛滥和各种网络业务的安全要求已经构成了

对网络安全的迫切需求。

本文对现有网络安全的威胁以及表现形式做了分析与比较,特别对为加强安全应

采取的应对措施做了较深入讨论,并描述了本研究领域的未来发展走向。

关键词: 网络安全;信息网络;网络技术;安全性

目录

摘要……………………………………………………………….I

第一章绪论……………………………………………………………1

1.1课程背景……………………………………………...1

1.1.1计算机网络安全威胁及表现形式………………………...1

1.1.1.1常见的计算机网络安全威胁………………………...1

1.1.1.2常见的计算机网络安全威胁的表现形式……………2

第二章网络信息安全防范策略……………………………………….3

2.1 防火墙技术…………………………………………………….3

2.2 数据加密技术…………………………………………………..3

2.2.1 私匙加密………………………………………………..3

2.2.2公匙加密…………………………………………...4

2.3访问控制…………………………………………………………4

2.4防御病毒技术 ……………………………………………….4

2.5安全技术走向…………………………………………………..4

结论………………………………………………………………….5

参考文献………………………………………………………………..5

第一章 绪论

1.1 课题背景

随着计算机网络技术的飞速发展,信息网络已经成为社会发展的重要保证。信息网络涉及到国家的政府、军事、文教等诸多领域,存储、传输和处理的许多信息是政府宏观调控决策、商业经济信息、银行资金转账、股票证券、能源资源数据、科研数据等重要的信息。其中有很多是敏感信息,甚至是国家机密,所以难免会吸引来自世界各地的各种人为攻击(例如信息泄漏、信息窃取、数据篡改、数据删添、计算机病毒等)。通常利用计算机犯罪很难留下犯罪证据,这也大大刺激了计算机高技术犯罪案件的发生。计算机犯罪率的迅速增加,使各国的计算机系统特别是网络系统面临着很大的威胁,并成为严重的社会问题之一,从而构成了对网络安全的迫切需求。

1.1.1计算机网络安全威胁及表现形式

计算机网络具有组成形式多样性、终端分布广泛性、网络的开放性和互联性等特征,这使得网络容易受到来自黑客、恶意软件、病毒木马、钓鱼网站等的攻击。

1.1.1.1常见的计算机网络安全威胁

(1) 信息泄露

信息被透漏给非授权的实体。它破坏了系统的保密性。能够导致信息泄露的威胁有网络监听、业务流分析、电磁、射频截获、人员的有意或无意、媒体清理、漏洞利用、授权侵弛、物理侵入、病毒、术马、后门、流氓软件、网络钓鱼等。

以上泊位646个,民航机场129个,航线1120条,里程151万公里,管道运输2.5万公里。货运量总计135亿吨,货物周转量总计43359亿吨公里。通讯事业方面,公用通信网的通信能力和技术水平明显提高。邮电通信网已经覆盖全国所有城镇,全国城乡电话网总容量超过1亿门,网络规模居世界第2位。数字数据网总容量达到46万个端口,已具备提供现阶段国民经济信息化所需要的通信能力。以现代信息技术为基础的专用物流信息网络开始在一些部门和地区建立,一些长期困扰物流业发展的基础性工作取得了突破性进展。

(2) 完整性破坏

通过漏洞利用、物理侵犯、授权侵犯、病毒、木马、漏洞等方式文现。

(3) 拒绝服务攻击

对信息或资源可以合法地访问,却被非法地拒绝或者推迟与时间密切相关的操作。

共 7 页第 1 页

(4) 网络滥用

合法用户滥用网络,引入不必要的安全威胁,包括非法外联、非法内联、移动风险、设备滥用、业务滥用。

1.1.1.2常见的计算机网络安全威胁的表现形式

(1) 自然灾害

计算机信息系统仅仅是一个智能的机器,易受自然灾害及环境(温度、湿度、振动、冲击、污染)的影响。目前,我们不少计算机房并没有防震、防火、防水、避雷、防电磁泄露或干扰等措施,接地系统也疏于周到考虑,抵御自然灾害和意外事故的能力较差。日常工作中因断电而设备损坏、数据丢失的现象时有发生。由于噪音和电磁辐射,导致网络信噪比下降,误码率增加,信息的安全性、完整性和可用性受到威胁。

(2) 网络软件的漏洞和“后门”

网络软件不可能是百分之百的无缺陷和无漏洞的,然而,这些漏洞和缺陷恰恰是黑客进行攻击的首选目标,曾经出现过的黑客攻入网络内部的事件,这些事件的大部分就是因为安全措施不完善所招致的苦果。另外,软件的“后门”都是软件公司的设计编程人员为了自便而设置的,一般不为外人所知,一旦“后门”洞开,其造成的后果将不堪设想。

(3) 黑客的威胁和攻击

这是计算机网络所面临的最大威胁。黑客攻击手段可分为非破坏性攻击和破坏性攻击两类。非破坏性攻击一般是为了扰乱系统的运行,并不盗窃系统资料,通常采用拒绝服务攻击或信息炸弹;破坏性攻击是以侵入他人电脑系统、盗窃系统保密信息、破坏目标系统的数据为目的。黑客们常用的攻击手段有获取口令、电子邮件攻击、特洛伊木马攻击、钓鱼网站的欺骗技术和寻找系统漏洞等。

(4) 垃圾邮件和间谍软件

一些人利用电子邮件地址的“公开性”和系统的“可广播性”进行商业、宗教、政治等活动,把自己的电子邮件强行“推入”别人的电子邮箱,强迫他人接受垃圾邮件。与计算机病毒不同,间谍软件的主要目的不在于对系统造成破坏,而是窃取系统或是用户信息。

共 5页 第 2 页

篇三:清华大学本科毕业论文

第1章 概 论

1.1 计算机、生物神经网络与人工神经网络

神经网络作为人工智能的一个分支,在近二十年来,受到人们的广泛关注。工业革命以来,人类大量采用机器来减轻人们的体力劳动,并获得了巨大的效益。同样,人类为了通过使用某种机器来减轻人类的脑力劳动,也一直进行着不懈的努力。到了20世纪40年代,由于计算机的发明,使得人类的文明进入到计算机时代。通过使用计算机,人们可以解决科学计算和工程设计中的一些复杂的问题,在一定程度上减轻了人们的脑力劳动。然而,计算机需要在人们事先编制好的程序的指挥下才能工作,从这个意义上讲,计算机并没有真正意义上的智能。目前,计算机的主要应用仍然是信息处理和科学计算,对于智能计算,像分析、推理、判断、综合等方面,现代计算机仍然显得能力低下。

因此,智能计算机的开发研究成了一个十分引人关注的问题,科学家们也为此投入了巨大的研究热情,一些发达国家也投入大量的人力物力来开发智能计算机。然而,由于人类对于智能的理解还十分肤浅,开发智能计算机也遇到了巨大的挑战,可以说,到目前为止,智能计算机还仅仅是一个梦想。揭开智能之谜还需要进行大量的研究,这里面涉及到诸多方面的理论知识,包括计算机理论、信息处理、语言学、认知科学、数学、生理学、解剖学、哲学等方面的知识。因此,智能计算机的发展还需有一个相当漫长的过程。 在应用方面,对于智能计算和智能计算机的发展也是非常迫切的。例如,一些危险行业以及恶劣的工作环境,人们需要机器人来帮助工作,然而,机器人技术的发展离不开智能计算和智能计算机。可以说,智能计算机在当今人类社会发展的进程中,已经被提到了议事日程,是当今人类社会所面临的一项迫切而又重大的科技问题。

自从20世纪40年代人类发明计算机以来,可以说其发展速度一日千里。计算机改变了人们的生活方式,带来了信息技术的革命。传统计算机的存储能力、计算速度的发展非常快,主要得益于硬件的发展。相对而言,计算机体系结构的发展比较缓慢,基本上还是冯·诺依曼体系。它只能在人的指挥下工作,没有学习、创造等反映智能特征的能力。对于许多模式识别的问题,现代计算机的工作能力和效率还远不如人。笔者认为,智能计算及其发展需要突破传统的冯·诺依曼体系,建立新型的计算机体系结构,当然,任重道远,需要科学家们的不懈努力。

智能计算的核心问题是关于人脑功能的模拟问题,这需要回答什么是智能、什么是计算、什么是智能计算等复杂的问题。然而,遗憾的是,人类对于这些问题尚缺乏深刻的认识,还处在探索阶段。尽管如此,人类并没有在研究智能计算机的道路上止步不前,目前认为,人类的大脑中的神经元对于人脑的智能起着关键的作用,这些神经元的数量非常多,组成了十分复杂的生物神经网络。神经网络系统理论是以人脑的智能功能为研究对象,研究人类大脑的信息处理能力与方法,特别是研究与人类大脑的智能信息处理能力相关的信

息处理理论与方法,建立智能计算的理论与方法,为智能计算机的研究开发奠定理论基础。

由于生物神经网络的复杂性,目前人们主要是通过人工神经网络的方法进行研究,所以本书中考虑的神经元不是生物神经元,而是模拟生物神经元的人工神经元,人工神经元是对生物神经元极其简单的抽象,可以使用现代电子、光学等技术制造出来。所谓人工神经网络是由人工神经元按照一定的拓扑结构互连而成的网络,用来模拟人的大脑的一些行为。虽然由这些人工神经元组成的网络的能力远远不及人脑的那么强大,但是可对其进行训练,可以实现一些有用的功能。目前主要是利用人工神经网络模拟一些比较低级的行为,至于如何模拟人的智能中比较高级的功能,还需要进行大量的深入研究。

人类是智慧生命,生命的每一天都要处理许多复杂的事物,要完成生理的、心理的等复杂的信息处理,比如呼吸、运动、阅读、思考等,而完成这些功能需要使用一个复杂的生物神经网络。人的大脑有约为1011个神经元,每一个生物神经元都是生物组织和化学物质的有机结合。某些神经结构是与生俱来的,而其他一些则是在实践中形成的。这些神经元高度互连的集合,构成了生物神经网络,网络中的每个神经元都是基本的处理单元,一种观点认为,每一个生物神经元都是一个复杂的微处理器。

人类大脑的工作机理十分复杂,目前,人类对大脑的认识还很肤浅,揭开大脑思维之谜任重道远,需要坚持不懈的努力。一般认为,所有生物神经功能,包括记忆在内,都存储在神经元以及各个神经元之间的相互连接上,这种连接称为连接权或简称为权。生物神经网络的学习过程被看作是在生物神经网络的神经元之间建立新的连接或对已有的连接进行修改的过程。

正是基于对生物神经网络的这样一个基本认识,使得人们想到利用一些简单的“人工神经元”构造一些人工系统,然后对其进行训练,目的是使这些系统具有一定的智能。

本书主要是对于大脑的学习能力进行了一些人工模拟,本书中的所有算法都是作者提出的,这些算法不同于传统的算法,希望能够起到抛砖引玉的作用。

1.2 本书的目的与价值

创新是本书的目的。本书中提出了一系列全新的前馈神经网络理论与算法,这些新的理论与算法主要分成两类:一类本书将其取名为代数算法,另一类本书将其取名为样条函数神经网络算法。

衡量一个新理论与方法的价值在于把它和已有的传统方法相比较,如果新理论与方法能革除传统理论方法的缺点,那么新理论方法就有价值,革除得越彻底,价值就越大。衡量本书的价值应与传统的优化类算法进行比较(例如BP算法等梯度下降类最优化算法)相比较。

1.代数算法

代数算法不再采用以梯度下降为核心思想的误差反向传播学习算法,只要隐层神经元个数与样本个数满足一个简单的代数关系,代数算法便能快速实现给定样本的精确映射(或者说,准确地“回想”起所学过的样本)。

(1)本书提出的代数算法在理论和应用上能使代价函数为0。对BP(反向传播)算法而言,通常代价函数大于0,这意味着代数算法的精度远高于BP算法。或者更确切地说,代数算法能准确地获得全局最优点,而BP算法通常无法获得全局最优点。

(2)从时间复杂度上来看,代数算法无须迭代计算,是一种多项式阶算法,而BP算法的时间复杂度目前尚未见到理论上的报道,但通过一些实验研究认为其时间复杂度为指数阶(见第3章)。多项式阶算法的时间效率远优于指数阶算法,因而本书算法较BP算法要快得多,可求解问题的规模也要大得多。

(3)从工程应用上看,代数算法给出了隐层所需神经元个数的准确计算方法,而BP算法只能给出一些经验数据,这意味着本书新方法在工程应用中具有比BP算法优越得多的指导作用。

综上所述,可以认为代数算法开辟了多层前馈人工神经网络算法的一个新领域,在理论和应用上都具有重要的价值。

另外,本书的另一个重要创新是对工程上常用的三层神经网络的极限逼近能力进行了深入的分析,得出了一系列重要的结果。这些结果指出,必然存在代价函数最小值为0的三层神经网络(此时对应的解为全局最优解);如果三层神经网络的隐层神经元个数固定(即为某一确定的不可调整的常数),则对一些给定的样本,该三层神经网络的代价函数最小值将大于0,这意味着此时三层神经网络的逼近精度是有限的,它不可能使神经网络以任意精度趋近于0。这一结论深刻地揭示了隐层神经元个数的选择将直接影响到三层神经网络的极限逼近能力,或者说,将直接影响到三层神经网络的全局最小代价函数值的大小。不仅如此,还给出了一个非常有实用价值的便于计算的估计公式。利用这一估计公式,可使网络在训练之前就知道该网络对给定训练样本的极限逼近能力,这一结果对前馈网络训练学习算法的停机准则有重要的理论指导意义。以上的创新构成了本书的核心与精华。

2.样条函数神经网络算法

虽然代数算法克服了传统算法的主要缺点(例如速度慢,难以求得全局最优值,无法确定隐层神经元个数等),但由于代数算法实现精确映射的一个充分条件是隐层神经元的个数等于训练样本的个数(见第3章),这使得当训练的样本数量很多时会使得神经网络隐层神经元的个数太多,使得神经网络的结构复杂。另外,代数算法与传统算法的共同缺点是训练后的权值是常数,难以反映样本的内在信息。为了克服代数算法的缺点,本书作者提出了样条函数神经网络算法。样条函数神经网络算法首先改造了传统神经网络的结构,使得神经网络的结构与训练样本个数无关。另外,样条函数神经网络算法将常数权改成了权函数,即看成输入样本的函数,采用三次样条函数来实现。这样做将权与样本之间建立起了联系,可以反映训练样本的信息。训练后的神经网络,其权函数可以很好地反映样本的特征信息。

样条函数神经网络算法同样可以实现代价函数为0的精确映射,能够方便地求得全局最优点。不仅如此,样条函数神经网络算法还具有很好的泛化能力(见第6章)

另外,从时间复杂度上来看,样条函数神经网络算法的主要计算工作是求线性方程组,确定三次样条函数,是一种多项式阶算法,因而样条函数神经网络算法较BP算法要快得

多,可求解问题的规模也要大得多。

总之,样条函数神经网络算法既具有代数算法的优点,又克服了代数算法和传统算法的缺点,是一种非常好的算法,笔者认为值得推广。

1.3 神经网络的发展历史简介

人工神经网络的发展起源于何时,说法不一。一般认为,其起源可追溯到Warren McCulloch和Walter Pitts于1943年的论文[1],这篇文献根据已知的神经细胞生物过程原理,构造了一个简单的人工神经元模型,后来,人们称它为M-P模型。文献[1]介绍了第一个神经元数学模型,其神经元的输入信号加权和与阀值比较再决定神经元是否输出。这是人类历史上第一次对大脑工作原理描述的尝试,从原理上证明了人工神经网络可以计算任何算术和逻辑函数。

20世纪40年代末期,Donala O.Hebb在文献[2]中首先定义了一种调整权的方法,称为Hebb学习规则(Hebbian rule)。这本著作的主要假定是行为可以由神经元的行为来解释。在这本书中Hebb提出的第一个学习规则,可以认为是在细胞一级进行学习的基本原理。Donald Hebb指出,经典的条件反射是由单个神经元的性质引起的。他提出了生物神经元的一种学习机制。

20世纪50年代后期,Frank Rosenblatt定义了一种以后常用的神经网络结构,称为感知器(perceptron)。Frank Rosenblatt[3]提出了感知机网络和联想学习规则。Rosenblatt构造了一个感知机网络,演示了进行模式识别的能力。这是人工神经网络第一个实际应用,这次成功应用引起了许多学者对神经网络的研究兴趣。但后来的研究表明基本的感知机网络只能解决有限的几类问题。

20世纪60年代,两个训练自适应神经元的方法——感知机规则及LMS算法规则相继出现。Bernard Widrow和Ted Hoff在文献[4]中介绍了能进行快速、准确学习的神经网络,文中假设系统的输入和对每一个输入所期望的输出,然后神经网络计算实际输出与所希望的输出的误差,采用梯度下降法调整权值,以达到最小均方误差(最小均方误差算法或LSM算法)。另外,Bernard Widrow和Ted Hoff提出了一个新的学习算法用于训练自适应线性神经网络。

在这些方法出现后的若干年内,神经网络领域的一些新技术得到迅速发展,如Steinbuch的学习矩阵,Widrow的Madaline规则,竞争学习,等等。

20世纪70年代,Grossberg提出了自适应共振理论。Grossberg研究了两种记忆机制 (短期记忆和长期记忆),提出了一种基于可视系统的自组织神经网络[5],这是一种连续时间竞争网络,是构成自适应谐振理论(ART)网络的基础。

另外,Kohonen创立了自组织理论。

20世纪80年代,Hopfield及一些学者提出了Hopfield网络模型[6],这是一种全连接的反馈型网络。Hopfield提出了按内容寻址的神经网络,同时还给出了有关他的网络是如何工作的以及该网络能够做什么的完整描述。

另外,Hinton等提出了Boltzman机。Kosko发展了Hopfield及Grossberg的一些概念,提出了双向自联想记忆网络,该网络中使用了微分Hebb及竞争学习规则。另外,20世纪80年代末期,Chua等人提出了细胞神经网络。

多层前馈网络是目前应用最为广泛的神经网络模型之一,其神经元结点分层排列,组成输入层、隐层和输出层,每层的神经元只接收前层神经元的输出信号。多层前馈神经网络的反向误差传播训练算法(可简称为BP算法)首先是由Werboss在他的博士毕业论文中提出,但不幸的是,他首先发表于1974年的这一成果并没有引起当时科技界的重视。直到1982年,Parker重新发现了这一方法,不久以后Rumelhart、Hinton和Williams也重新报导了这一方法[8],才使得该算法广为流传。

Rumelhart等人使用的神经元不同于以往人们在Madaline网络中使用的神经元。早期的Madaline网络中使用的神经元是硬限幅(Signums)神经元,而BP算法中网络所使用的神经元是可微分的非线性神经元或Sigmoid函数神经元。Rumelhart等人提出的BP算法(或如他们自己称作的广义S规则)克服了Minskey和Papert(1969)所指出的感知机算法的局限性[9]。BP算法似乎再次打开了Minskey和Papert早已关闭的研究大门。

BP算法很快在神经网络中占据了主导地位。一些学者转为企业家开发、销售廉价的BP算法软件,而另一些人却平静地用BP算法预测股票价格,成百上千的科技工作者在科技学会上报道BP算法的应用成果。一些企业投资者与大公司资助个人(PC)机及工作站上的BP算法加速板的开发。大众媒体也把BP算法喻为人们期待已久的机器智能研究的突破,它能从经验中学习,并预示着制造业的自动化;如不同语言间的翻译,能自我修复的机器人,等等。生理学家们在寻找人脑中枢神经系统中的BP算法,而理论家们猜想BP算法能学会任意样本函数。

BP算法的普及也引起了人们激烈的批评,BP算法的主要缺点(这些缺点是本质的,也是致命的)是常不收敛,或收敛于局部极小,即使收敛其速度也很慢,这使得BP算法只能解决小规模的问题。由于BP算法的这些缺点,人们对它进行了改进研究。以往,人们的改进研究大都集中在变学习率,加惯性项,寻求良好的初始条件等方面。应该承认,这些改进研究有一定的效果,但它们都没有摆脱BP算法思想框架的束缚——梯度下降思想,正因为如此,它们不可能从根本上克服BP算法的本质缺点。

20世纪90年代以来,神经网络在向纵深发展的同时,也在与模糊技术、遗传算法、进化计算等智能方法相结合的方向上发展。

虽然在几十年的发展过程中,神经网络理论取得了一些进步,但其发展过程并非一帆风顺,曾经历了较长一段时间的低潮期,直到20世纪80年代后期才进入发展的高潮期。但是,正当人们满怀热情地应用神经网络的已有成果去解自己的实际工作中的问题时,人们发现了大量原有模型和算法所存在的问题,因此,必须从理论上再做进一步的研究。本书正是在这样的背景下对多层前馈网络算法进行了进一步深入的研究,取得了重要的成果。

本书首次提出了一系列全新的理论和算法,并将其称为代数算法(详见第3章)和样条函数神经网络算法(详见第6章),这些理论和算法摆脱了梯度下降思想的束缚,使复杂的非线性映射问题转变为线性代数方程组的求解问题,因而从根本上克服了BP算法的本质缺点。具体内容请读者见书中的各章。 [7]

本文已影响