经典Hadoop大数据平台架构与实

一、什么是ApacheHadoop?1.1定义和特性

可靠的、可扩展的、分布式计算开源软件。

ApacheHadoop软件库是一个框架,允许使用简单的编程模型,在计算机集群分布式地处理大型数据集。

它可以从单个服务器扩展到数千台机器,每个机器都提供本地计算和存储。

每一台计算机都容易出现故障,库本身的目的是检测和处理应用层的故障,因此在一组计算机上提供高可用性服务,而不是依靠硬件来提供高可用性。

1.2主要模块:

HadoopDistributedFileSystem(HDFS):一个分布式文件系统,它提供对应用程序数据的高吞吐量访问。

?HadoopYARN:作业调度和集群资源管理的框架。

?HadoopMapReduce:基于YARN的大型数据集并行处理系统。

二、Hadoop安装(以hadoop-1.2.1为例)2.1准备条件

Linux操作系统

安装JDK以及配置相关环境变量

下载Hadoop安装包,如:hadoop-1.2.1.tar.gz(







































北京哪能治疗白癜风
北京哪家医院能治好白癜风



转载请注明:http://www.92nongye.com/hxjs/204621084.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了