网站首页 > 博客文章 正文
Yarn的工作流程
注意点说明:
1. Yarn Job执行的过程中,只会在某一个NodeManager节点上开启一个名为MRAppMaster的进程;
2. MRAppMaster进程的作用是:
(1) 为所有的NodeManager执行任务向ResourceManager申请资源(CPU+内存+网络等);
(2) 触发任务(MapTask,ReduceTask)的正式执行;
3. 真正负责计算的进程名为YarnChild,NodeManager是YarnChild进程的守护进程,负责监控YarnChild的运行状态;
4. Yarn Job执行完毕之后,诸如YarnChild,MRAppMaster进程都会结束,但是,ResouceManager,NodeManager进程一直处于待命状态,等待下一个Yarn Job任务的到来;
5. Container不是一个进程,Container中记录了MRAppMaster进程向RM进程申请的资源信息,申请的资源最终是给YarnChild进程使用的;
Yarn的工作流程:
(1)首先,客户端向整个集群提交MapReduce作业,并向ResouceManager申请一个作业id;
(2)然后,ResouceManager给客户端返回该作业资源的提交路径和作业id;
(3)这时候,客户端根据ResouceManager返回来作业提交路径,将jar包、切片信息和配置文件信息提交到指定路径下;
(4)当客户端提交完资源后,开始向ResouceManager申请运行MRAppMaster;
(5)ResouceManager收到客户端的请求之后,会将客户端提交的job初始化成一个个task,并且放入到容量调度器中;
(6)当某一个空闲的NodeManager领取到该作业之后,该NodeManager就开始创建Container容器,启动MRAppMaster进程,并且下载客户端提交的资源到本地;
(7)接着,MRAppMaster进程向ResouceManager申请运行多个MapTask任务资源;
(8)ResouceManager将运行的MapTask任务分配给空闲的NodeManager,NodeManager分别领取到任务后,开始创建容器,并且启动运行MapTask任务;
(9)当所有的MapTask任务运行完成之后,MRAppMaster进程向ResouceManager申请运行多个ReduceTask任务资源;
(10)当所有的ReduceTask任务运行完毕之后,MapReduce程序会向ResouceManager申请注销自己,并释放资源;
(每日1小题,进步1点点)
猜你喜欢
- 2024-10-14 国庆期间别偷懒,大数据平台只差YARN了
- 2024-10-14 为什么我们从Yarn切换到pnpm(yarn设置淘宝镜像)
- 2024-10-14 flink的yarn模式部署(flink的三种部署方案)
- 2024-10-14 yarn的安装和使用(yarn安装教程)
- 2024-10-14 yarn 的安装和使用(yarn安装教程)
- 2024-10-14 操作学习-Spark on Yarn(spark on yarn执行流程)
- 2024-10-14 全面解析:Hadoop基础——YARN(hadoop yarn工作原理)
- 2024-10-14 Node简史及好书推荐(nodejs相关书籍)
- 2024-10-14 大数据之-Hadoop3.x_Yarn_常用命令---大数据之hadoop3.x_0147
- 2024-10-14 大数据系列文章之Yarn组件及其执行流程
你 发表评论:
欢迎- 07-07Xiaomi Enters SUV Market with YU7 Launch, Targeting Tesla with Bold Pricing and High-Tech Features
- 07-07Black Sesame Maps Expansion Into Robotics With New Edge AI Strategy
- 07-07Wuhan's 'Black Tech' Powers China's Cross-Border Push with Niche Electronics and Scientific Firepower
- 07-07Maven 干货 全篇共:28232 字。预计阅读时间:110 分钟。建议收藏!
- 07-07IT运维必会的30个工具(it运维工具软件)
- 07-07开源项目有你需要的吗?(开源项目什么意思)
- 07-07自动化测试早就跑起来了,为什么测试管理还像在走路?
- 07-07Cursor 最强竞争对手来了,专治复杂大项目,免费一个月
- 最近发表
-
- Xiaomi Enters SUV Market with YU7 Launch, Targeting Tesla with Bold Pricing and High-Tech Features
- Black Sesame Maps Expansion Into Robotics With New Edge AI Strategy
- Wuhan's 'Black Tech' Powers China's Cross-Border Push with Niche Electronics and Scientific Firepower
- Maven 干货 全篇共:28232 字。预计阅读时间:110 分钟。建议收藏!
- IT运维必会的30个工具(it运维工具软件)
- 开源项目有你需要的吗?(开源项目什么意思)
- 自动化测试早就跑起来了,为什么测试管理还像在走路?
- Cursor 最强竞争对手来了,专治复杂大项目,免费一个月
- Cursor 太贵?这套「Cline+OpenRouter+Deepseek+Trae」组合拳更香
- 为什么没人真的用好RAG,坑都在哪里? 谈谈RAG技术架构的演进方向
- 标签列表
-
- ifneq (61)
- 字符串长度在线 (61)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)