MapReduce深入解析

分布式计算框架

MapReduce

1、概念

MapReduce是一个基于集群的计算平台,是一个简化分布式编程的计算框架,是一个将分布式计算抽象为Map和Reduce两个阶段的编程模型(这句话记住了是可以用来装逼的)

2、执行流程

MapReduce程序执行图。

1. JobClient:运行于client node,负责将MapReduce程序打成Jar包存储到HDFS,并把Jar包的路径提交到Jobtracker,由Jobtracker进行任务的分配和监控。
2. JobTracker:运行于name node,负责接收JobClient提交的Job,调度Job的每一个子task运行于TaskTracker上,并监控它们,如果发现有失败的task就重新运行它。
3. TaskTracker:运行于data node,负责主动与JobTracker通信,接收作业,并直接执行每一个任务。
4. HDFS:用来与其它实体间共享作业文件。

MapReduce作业流程

1、JobClient通过RPC协议向JobTracker请求一个新应用的ID,用于MapReduce作业的ID

2、JobTracker检查作业的输出说明。例如,如果没有指定输出目录或目录已存在,作业就不提交,错误抛回给JobClient,否则,返回新的作业ID给JobClient

3、JobClient将作业所需的资源(包括作业JAR文件、配置文件和计算所得得输入分片)复制到以作业ID命名的HDFS文件夹中

4、JobClient通过submitApplication()提交作业

5、JobTracker收到调用它的submitApplication()消息后,进行任务初始化

6、JobTracker读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个TaskTracker

7、TaskTracker通过心跳机制领取任务(任务的描述信息)

8、TaskTracker读取HDFS上的作业资源(JAR包、配置文件等)

9、TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask)

10、TaskTracker将Reduce结果写入到HDFS当中

3、工作原理

4、Map任务处理

1、读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数

2、重写map(),对第一步产生的<k,v>进行处理,转换为新的<k,v>输出

3、对输出的key、value进行分区

4、对不同分区的数据,按照key进行排序、分组。相同key的value放到一个集合中

5、(可选) 对分组后的数据进行归约

5、Reduce任务处理

1、多个map任务的输出,按照不同的分区,通过网络复制到不同的reduce节点上

2、对多个map的输出进行合并、排序。

3、重写reduce函数实现自己的逻辑,对输入的key、value处理,转换成新的key、value输出

4、把reduce的输出保存到文件中


文章作者: Jack风
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Jack风 !
评论
  目录