大数据之-Hadoop3.x_Yarn_总结---大数据之hadoop3.x工作笔记0157

?

这段时间我们学习了yarn,我们来总结一下

首先yarn的工作机制要很清楚:

1.首先我们说有个yarn的客户端,有个resourcemanager

2.yarn的客户端就是我们说的那个waitforcomplecation,他就会,像resourcemanager,去请求,

3.然后resourcemanager就会返回一个信息,就说,没问题,你把你要执行的内容,放到这个路径把,然后返回了个集群路径

4.然后yarn的客户端也就是我们写的程序,被yarnrunner执行的时候,他就会向给的集群路径,放上xml,切片和jar包,

其中xml,是说这个job要按照这个xml的配置去执行,然后,切片决定了,要开启多少个maptask,然后jar包是执行的任务.

5.然后yarnrunner放完了,文件以后就会给resourcemanager发个请求,就说我文件放好了,然后我要开始请求启动一个

mrappmaster来运行任务了.

6.这个时候resourcemanager收到请求以后会把请求放到队列中去,因为同时会有很多请求,到resourcemanager这里

7.然后等在队列中的这个任务,轮到他运行的时候,就会有个nodemanager获取到这个任务,他一看让他去创建一个mrappmaster,他就去创建个mrappmaster,当然他会先创建一个container,然后再去创建mrappmaster,然后这个mrappmaster,他就会去对应的集群地址获取,相应的文件,然后,再根据切片数量去给resourcemanager发送请求,比如说我要运行2个maptask

8.resourcemanager收到请求以后,也是放到队列中去

9.然后等有nodemanager空闲的时候,就会领到这个任务,当然这个有可能是一个nodemanager,也有可能是两个nodemanager,因为有可能是一个nodemanager,然后开启了两个容器,去运行两个maptask这样,当然也有可能是两个nodemanager去运行这两个maptask,当然开始执行这个maptask任务的时候,也是先去创建container,然后再去执行maptask,当maptask执行完了以后,就会把整理好的分区数据放到对应的磁盘上.

10.然后mrappmaster,就又会申请就说我要执行reducetask,然后resourcemanager收到请求以后

就又放到了队列中

11.等有资源的时候就会有个节点nodemanager,领到任务,然后启动容器,然后去运行.reducetask,等

12.等reducetask运行完了以后,mrappmaster就会给resourcemanager发请求就说,我已经运行完了

你可以释放资源了,然后resourcemanager就可以去回收对应的资源了.

?