毕业设计我帮你

hadoop服务器安装与配置

摘要：Hadoop分布式文件系统。是由apache公司负责研发的一种免费的分布式文件系统。

Hadoop虽主要的负责在Internet 上对搜索关键字进行内容的分类，Hadoop也可以解决许多要求极大伸缩性的问题。

Hadoop采用并行运算技术，因此效率大大提高。

    Abstract：Hadoop is a distributed file system developed by Apache, a distributed file system

Although Hadoop is mainly responsible for the classification of search keywords on Internet, Hadoop can solve many problems that require great scalability

Hadoop uses parallel computing technology, so the efficiency is greatly improved

 

第一章 绪论

1.1 课题背景

随着社会时代的进步和科学技术的飞速发展，人们对于数据的需求变得越来越高。大量的数据存储，分析，调取则渐渐变成了一项复杂而又艰巨的任务。与其说我们是在一个网络信息化的时代，倒不如说是我们正是正处在一个信息爆炸的时代。所以，当2012年大数据的概念被引入到生活中时，许许多多的大数据公司如雨后春笋一般迅速的发展。人们对于数据量的需求与日剧增，而个人电脑或者说是性能很优越的电脑也无法单独处理PB或是TB级别的数据量的。大数据的存储，读取，搜索似乎变成了一项很艰巨的任务。

但是，早在2002年，Hadoop的出现便很巧妙地解决了大数据存储难，容量大，以及读取方面的一些难题。Hadoop最早则是作为一个由Apache基金会所开发的分布式系统基础架构。Hadoop的设计初衷便是为了能让大数据的存储，调用，即使是在廉价的PC机上也可以很轻松的运行。Hadoop实现的是一种分布式的文件系统，每一个节点互相复制，学习，共同组成了一个庞大的数据集合。而数据的调用则是通过namenode的访问来轻松完成的。Hadoop的出现，为庞大的数据工作量提供了可行的解决方案。

1.2 项目描述

数据量的与日俱增和数据量的爆炸性增长对我们的数据研究带来了不便，Hadoop则恰恰刚好解决了这些难题，通过部署Hadoop分布式项目实现Hadoop对大量系统文件的快速读取，调用，筛选，从而快速的完成大量数据的运算。

一般的计算机无法完成大量数据存储，调用和计算。通过Hadoop分布式文件系统，将数据文件存储到每一个Datanode，Namenode对datanode进行读取，完成数据的快速读取，map和reduce对数据进行映射和筛选。从而迅速完成大数据量的工作。

目录

 

第一章 绪论 3

1.1 课题背景

第二章JDK的安装与配置 4

2.1Hadoop的下载与解压 4

第三章SSH服务开启与免密登陆配置 8

3.1 Openssh下载 8

3.2Openssh安装与配置 8

3.3ssh免密登陆配置 23

第四章Hadoop分布式配置 23

4.1Hadoop文件包下载 23

4.2Hadoop文件的配置 24

第五章 结论与展望 36

第六章 小结与致谢 37

参考文献 39

 

结论与展望
二十一世纪以来，社会进入到飞速发展的时代，二十一世纪更是被人们所形象的描述为信息时代，信息技术，网络技术也随着时代的进步在飞速发展。随之而来的则是云技术，大数据等名词的出现。伴随这些到来的信息变革，数据量的日益丰富与更新，Hadoop分布式技术应运而生。
 通过这次毕业设计，能自己动手搭建相关Hadoop节点与mapreduce。还可以通过对节点的控制，方便的查看数据控制。实现Hadoop对大数据量的访问与查找。不仅仅只是毕业设计，更是为了在以后的工作中逐渐积累经验，查找问题并解决问题提供了一个很好的参考模板。
 毕业设计（论文）是大学生在学校里很重要的一次经历和实践。与其说它是一次尝试，更不如说是它是检验大学生在校学习的一次考试。是对你从学校毕业走上工作岗位，解决问题，积累经验的一次考试。它的意义是深远的，它让我们重新认识了自己，经历了很多，也许会有波折，困难，但只要下定决心，不懈努力，就没有什么是不可能完成的。
 在此次设计中也遇到了不少的问题，例如最开始的时候服务器的ssh端口无法成功开启。后来的jdk环境路径配置错误，到最后hadoop-env,sh，hdfs-site.xml等文件配置的出错，前前后后改了很多次，最后看书，请教老师，才得以解决这些问题。
虽然在做Hadoop的过程中遇到了很多问题，但也正是这样才锻炼了自己遇到困难解决问题的耐心和决心，是一次很宝贵的经历。
 Hadoop分布式听起来也许离我们还很遥远，但是其实它就在我们身边，阿里巴巴，ebay等一些很知名的国际网络公司巨头都采用hadoop分布式技术，因为它是开源的，免费的，能够便捷快速的提供对大量数据的访问和查找。
二十一世纪是一个愈来愈信息化的时代，信息数据的与日俱增，也造成了大量的信息垃圾，信息冗余，与查询信息的困难。Hadoop分布式系统巧妙地解决了这些难点。与其说二十一世纪是信息时代，其实更是一个大数据时代，云的时代。
通过这次在电脑上部署Hadoop分布式文件系统，使我对大数据和mapreduce函数有了更深刻的认识。更加明白了大数据文件的组成部分和大数据工作的流程。包括了数据的存储，分析，查询，归纳，筛选。也更加明白了每一个函数在大数据中的工作和意义。

参考文献 
（美） 怀特    Hadoop权威指南   【M】清华大学出版社  2010
蔡斌，陈湘萍   Hadoop技术内幕  【M】机械工业出版社  2013
周品           Hadoop云计算实战 【M】清华大学出版社  2012
陆嘉恒         Hadoop实战第二版 【M】机械工业出版社  2012