篇一：《大数据时代》正规毕业论文
大数据时代
摘要：随着网络信息化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的"大数据"时代，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。
关键字： 大数据云计算海量发展影响
Abstract：As the network information age has become more common, mobile Internet, social network, the electronic commerce of the Internet greatly expand the borders and application fields, we are in a data the explosive growth of "big data" era, large data in the social economy, politics, culture, people life and other aspects have far-reaching influence, the big data age to the human data to control ability puts forward new challenges and opportunities.
Key word: Big Data Cloud computing Mass Development Influence
一、大数据时代产生的背景
进入2012年以来，大数据（Big Data）一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，它已经出现过在《纽约时报》、《华尔街时报》的专栏封面，进入美国白宫网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国君证劵、国泰君安、银河证劵等写进了投资推荐报告，大数据时代来临据。
有人说21世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的同时，也无偿贡献了自己的“行踪”。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基
于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
二、什么是大数据？
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
（一）、大数据四个特性
海量性：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
多样性：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
高速性：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。
易变性：大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统
的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。
（二）、大数据三个特征 除了有四个特性之外，大数据时代的数据还呈现出其他三个特征。
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求 。
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
三、大数据时代对生活、工作的影响
大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。
“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。
四、大数据时代的发展方向、趋势
虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。
未来，数据可能成为最大的交易商品。但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来，未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。
大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。
大数据的发展会催生许多新兴新职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环。随着大数据的共享越来越大，隐私问题也随之而来，比如说每天手机产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化，大数据在国家和企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。
随着社会的不断发展，大数据对IT技术架构的挑战，大数据的生态环境问题，大数据的应用及产业链将日益突出。
五、企业应如何应对大数据时代
近些年，大数据已经和云计算一样，成为时代的话题。大数据是怎么产生的，商业机会在哪？研究机会在哪？这个概念孕育着一个怎样的未来？企业如何应对？
一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面五个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面五点。
（一）、以企业的数据为目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
（二）、以业务需求为准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
（三）、重新评估企业基础设施
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
（四）、重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapReduce，NoSQL等技术都是近年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
（五）、培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。
参考资料
[1] 李建义. 数据库原理及开发. 北京：中国水利水电出版社， 2005
[2] 维克托·迈尔·舍恩伯格. 大数据时代. 浙江：浙江人民出版社 2012
[3] 艾伯特-拉斯洛·巴拉巴西 .爆发. 北京：中国人民大学出版社 2012
[4] 大数据时代降临 ．半月谈网 ．2012-09-22
[5] IT部门如何应对大数据时代？ ．CIO时代网 ．2012-02-27
[6]“大数据”时代来临决策不能只凭经验 ．东方早报网 ．2012-04-11
[7]“大数据时代”来临 ．北京晚报网 ．2012-06-15
[8] 大数据时代来临：国内IT企业布局已然落后 ．新浪网 ．2012-06-01
篇二：基于Hadoop数据分析系统设计(优秀毕业设计)
摘要 随着云时代的来临，大数据也吸引越来越多的关注，企业在日常运营中生成、积累的用户网络行为数据。这些数据是如此庞大，计量单位通常达到了PB、EB甚至是ZB。Hadoop作为一个开源的分布式文件系统和并行计算编程模型得到了广泛的部署和应用。本文将介绍Hadoop完全分布式集群的具体搭建过程与基于Hive的数据分析平台的设计与实现。
关键字
Hadoop，MapReduce，Hive
Abstract With the advent of cloud, big data also attract more and more attention, the enterprise of the generation and accumulation in the daily operation of the user network behavior data. The data is so large, the measuring unit is usually achieved the PB, EB, and even the ZB. The Hadoop distributed file system as an open source, and parallel computing
programming model has been widely deployed and application. This article introduces Hadoop completely distributed cluster process of concrete structures, and the design and implementation of data analysis platform based on the Hive.
key words Hadoop，MapReduce，Hive
目录
第一章
第二章
第三章
3.1
3.2
3.3
3.4
3.5
3.6 某某企业数据分析系统设计需求分析 ...................................................... 3 HADOOP简介 .............................................................................................. 4 HADOOP单一部署 ...................................................................................... 7 HADOOP集群部署拓扑图 ................................................................................. 7 安装操作系统CENTOS ...................................................................................... 8 HADOOP基础配置 ........................................................................................... 14 SSH免密码登录 ............................................................................................ 17 安装JDK ......................................................................................................... 18 安装HADOOP .................................................................................................. 19
3.6.1安装32位Hadoop ...................................................................................... 19
3.6.2安装64位Hadoop ...................................................................................... 28
3.7
3.8 HADOOP优化 ................................................................................................... 32 HIVE安装与配置 ............................................................................................ 33
3.8.1 Hive安装 ..................................................................................................... 33
3.8.2 使用MySQL存储Metastore ..................................................................... 33
3.8.3 Hive的使用 ................................................................................................. 36
3.9 HBASE安装与配置 .......................................................................................... 37
9.1 Hbase安装 ..................................................................................................... 37
9.2 Hbase的使用 ................................................................................................. 39
3.10 集群监控工具GANGLIA .................................................................................. 43
第四章 HADOOP批量部署 .................................................................................... 48
4.1 安装操作系统批量部署工具COBBLER .............................................................. 48
4.2 安装HADOOP集群批量部署工具AMBARI ......................................................... 54
第五章
第六章
第七章 使用HADOOP分析网站日志 ................................................................... 63 总结 ............................................................................................................ 67 参考文献 .................................................................................................... 67
致谢.............................................................................................................................. 68
第一章 某某企业数据分析系统设计需求分析
某某企业成立于1999年，其运营的门户网站每年产生大概2T的日志信息，为了分析网站的日志，部署了一套Oracle数据库系统，将所有的日志信息都导入Oracle的表中。随着时间的推移，存储在Oracle数据库中的日志系统越来越大，查询的速度变得越来越慢，并经常因为查询的数据量非常大而导致系统死机。日志信息的分析成为了XX企业急需解决的问题，考虑到单机分析的扩展性与成本问题，且XX企业当前有一部分服务器处于闲置状态，最终决定在现有服务器的基础上部署一套分布式的系统来对当前大量的数据进行分析。结合淘宝目前已经部署成功的数据雷达系统，同时由于XX企业预算有限，为了节约资金，决定采用开源的Hadoop来部署公司的数据分析系统。
? 采用Hadoop集群优势：
1. 高可靠性，能够维护多个工作数据副本，确保能够针对失败的节点重新分布
处理。
2. 高扩展性，在计算机集簇间分配数据并完成计算，这些集簇可以很容易扩展
到数以千计的节点中去。
3. 高效性，以并行的方式工作，通过并行处理加快处理速度。
4. 高容错性，自动保存数据多个副本，并能够自动将失败任务重新分配。
5. 廉价性，框架可以运行在任何普通的PC上。
? 采用Hadoop集群劣势：
1. 采用单master的设计，单master的设计极大地简化了系统的设计和实现，
由此带来了机器规模限制和单点失效问题。
2. 编程复杂，学习曲线过于陡峭，让许多人难以深入。
3. 开源性，在广大社区维护不断推进Hadoop的发展的同时，一旦代码出现漏
洞并未被发现，而又被有心的人利用，将会对数据的安全造成毁灭性的后果。
4. 缺乏认证，Hadoop并没有对使用Hadoop的权限进行细致的划分。
第二章 Hadoop简介
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成分布式系统，MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoop轻松地组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。
2.1 Hadoop生态系统
Hadoop已经发展成为包含多个子项目的集合。核心内容是MapReduce和Hadoop分布式文件系统（DHFS）。它也包含了Common、Avro、Chukwa、Hive、Hbase等子项目，他们在核心层的基础上提供了高层服务，为Hadoop的应用推广起到了重要作用。如图2.1所示：
图2.1 Hadoop结构图
Hadoop Core/Common
从Hadoop 0.20版本开始，Hadoop 的Core 项目便更名为Common.，它是Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，主要包括FileSystem、PRC和串行化库。
Hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分
篇三：毕业论文——信用卡数据分析系统
摘要
随着信用卡发行量的增多、交易额的增大、市场的拓展以及竞争的日益激
烈，不论是银行市场开拓人员还是管理决策人员都迫切地希望建立起一套信用卡业务管理和分析系统，以便安全高效地开展信用卡的各项业务。
本文介绍的是一个模拟信用卡数据分析系统，其主要功能是利用业务系统所积累的有关客户的各类数据来获取信息，从客户关系、风险控制、透支等多方面进行分析，然后导出图形、报表与结论。更着重介绍了对“风险控制”模块的设计与实现，此模块包括：透支总量的对比分析；透支持卡人的特征分析；透支持卡人的年龄层次分析；冻结/止付/挂失卡的比例；持卡人、担保人的信用评估等，经过对这些分析可以加以改进各项设事、减少风险度、有效地提高客户忠诚度，并与之保持长期的和有益的业务关系。
本系统是以数据库为基础，然后结合软件开发与设计，从而实现其各个分析功能，给卡户和商户提供友好的操作、查询、分析等界面。并在可视化界面中，通过数据表、图形和报表等多方面给予用户直观的分析结果，可方便地进行查询分析。
关键词：风险控制，信用卡，商户，客户，信用评估
Abstract
With the growing number of credit cards’ circulation , the growth of trade quantity , the expedition of market and the competition is becoming fiercer and fiercer, not only the marketing developing people of the bank but also the people who managing and making decision are eager to have a credit card management and analysis system. So that they can deal with the all kinds of business safely and effectively.
In this paper, we introduce you a system which simulate the credit card’s data analysis system. And the main function of it is to make use of the data of the customer which accumulate from business system . And analyze through the part of customer relationship, the control of risk, overdraft and so on, at the end send out the char, result and report. And more, introduce how to design and realize the module of “control of risk”. This module contains: the analysis of the total number of overdraft; the analysis of overdraft card holder’s character; the analysis of the relationship between the total number of overdraft and card holder’s age; the analysis of the rate of the frozen ,lost, stop payment; the credit evaluation of the card holder and the cautioner. Through these analysis, some facilities may be improved , the risk may become lower, improve the faithfulness of the customers and keep the long time business relationship with them.
This system is based on the database system, and combined with the design and exploitation by software to realize the analysis function and offer the card holder or businessman the friendly operation, inquiry, analysis form. And more give the user intuitionistic analysis result through data report and chart so that inquire or analysis more convenient.
Key words: the control of risk, Credit Card, Shop, Customer，credit evaluation
目录
前言.................................................................................................................................. 5
第1章 信用卡数据分析系统编程理论基础 .............................................................. 6
1.1 风险控制理论.................................................................................................... 6
1.1.1 信用卡风险的类型和特点：................................................................. 6
1.1.2 信用卡风险管理的作用和手段：......................................................... 6
1.2 数据库理论........................................................................................................ 7
1.2.1 ODBC连接数据库................................................................................. 7
1.2.2 结构化查询语言基础............................................................................. 8
1.2.3 ADO对象的数据库操作......................................................................... 9
第2章需求分析 ...................................................................................................... 12
2.1 项目建议书...................................................................................................... 12
2.2 数据实现流程图.............................................................................................. 13
2.3 使用软件的比较：......................................................................................... 14
2.4 计划任务：...................................................................................................... 15
第3章总体的设计方案 .......................................................................................... 17
3.1 概述.................................................................................................................. 17
3.2 调用数据库表的结构...................................................................................... 17
3.3 系统结构图...................................................................................................... 19
3.4 各功能模块：.................................................................................................. 19
第4章 系统实现 ........................................................................................................ 23
4.1 系统流程图：.................................................................................................. 23
4.2登陆界面的实现： .......................................................................................... 26
4.3主界面的实现： .............................................................................................. 27
4.4风险控制界面的实现： ............................................................
4.5透支持卡人的特性分析的实现： .................................................................. 29
4.5.1 透支持卡人特征分析主画面的实现................................................... 29
4.5.2 透支持卡人特征分析对比分析图的实现：....................................... 31
4.5.3 透支持卡人特征分析输出报表的实现：........................................... 32
4.6 透支持卡人年龄层次分析界面的实现：...................................................... 32
4.6.1 透支持卡人年龄层次分析主界面的实现：....................................... 32
4.6.2 透支金额年龄层次分析对比分析图的实现：................................... 34
4.7 冻结/止付/挂失卡的比例分析的实现： ....................................................... 37
4.8 透支总量的对比分析的实现：...................................................................... 37
4.9 持卡人、担保人的信用评估的实现：.......................................................... 37
第5章 信用卡数据分析系统软件说明书 ................................................................ 40
5.1 软件概述.......................................................................................................... 40
5.2 功能.................................................................................................................. 40
5.3 软件安装.......................................................................................................... 40
5.3.1系统要求 ............................................................................................... 40
5.3.2安装前的准备 ....................................................................................... 40
5.3.3安装 ....................................................................................................... 40
5.4 运行说明.......................................................................................................... 40
第6章 对使用VB.NET建立本系统的展望............................................................ 42
第7章小结 ................................................................................................................. 43
参考文献........................................................................................................................ 44
附 录.............................................................................................................................. 45
附录A: 外文资料翻译－原文部分：.................................................................. 45
附录B: 外文资料翻译－译文部分： .................................................................. 50
前言
随着中国金融体制改革的逐渐深入以及中国加入WTO，中国银行业面临着前所未有的竞争压力。各银行既通过开发新的产品和服务，来提高自身的竞争力，也希望能够发挥自身的竞争优势满足客户需求，提高客户忠诚度、提高决策水平和效率。
货币的电子化发展趋势使银行卡成为商业银行所提供的重要金融工具，在银行业务量中占有越来越大的比重。银行卡业务的开发、应用、服务、管理的水准直接关系到银行的经济收益。多年来,大部分银行在银行卡业务开展方面投入了大量的人力与财力。目前，在全国范围内无论从地域、发卡量、设备装机量方面都已构成相当大的规模，同时也积累了大量的业务数据。通过对银行卡业务数据的分析，可以有效地为银行进行银行卡业务的客户关系管理、风险管理、收益分析和绩效评估等服务。从而可以为银行识别不同的客户群体，按照收益和风险对客户分类，确定目标市场，实现差异化服务，并为银行卡经营管理决策分析提供准确的信息。
客户关系分析通过建立客户单一的视图，对客户的基本情况、账户信息、交易数据等进行分析。根据客户的属性，从不同角度深层次分析客户，确定不同客户群的特征和行为。例如，分析持卡人的构成，如性别、年龄、收入、地域等因素；按不同的客户群分析不同人群的交易、消费行为和模式等；评估客户的忠诚度；分析客户服务的信息，对市场活动进行评估和分析。
风险管理是识别、防范和控制银行卡申办和使用过程中的各种风险，通过对客户的资信评估，确定信用等级、分析透支情况、降低透支风险等。其中资信评估是重要的部分，通过建立资信评估系统，对客户进行信用等级分类。
本文介绍了信用卡分析系统的设计过程和具体实现步骤。采用SQL Server2000开发数据库。有了数据库的支持，再以VB为开发界面，开发信用卡数据分析系统，并提供用户以图形比较、文字报表的形式来观察分析结果，既清晰又直观。本系统开发的难点在于利用VB的数据环境来控制输出相应的数据报表，下文将对其实现过程做详细的阐述。