spark学习笔记之三:调度流程剖析_spark pipeline 流程图-程序员宅基地

技术标签: spark  调度流程  

程序员->IDEA编写代码->jar包->放到集群计算->
提交spark应用程序的机器->shell中spark-submit脚本提交程序->运行Driver进程(client模式和提交机器相同)->new sparkContext对象->sparkContext在初始化的时候,会启动UI,设置spark的env,做的最重要的事情就是构造出一个TaskScheduler和一个DAGScheduler->
  • TaskScheduler->负责它对应的一个后台进程,去连接Master,向Master注册这个Application->Master接收到Application注册过来的请求之后,会用资源调度的算法,在spark集群的Worker上为这个App启动多个Executor进程->Executor启动之后会反向注册到TaskScheduler上面来->所有Executor都反向注册到Driver上之后,Driver结束SparkContext初始化,会继续执行我们自己编写的代码。
  • DAGScheduler -> Job的切分(action)->stage的切分(宽依赖)->生成包含多个task(pipeline)的taskSet->TaskScheduler将taskSet打散->TaskScheduler会(通过分配算法)把Taskset里面的每一个Task提交到Executor上去执行->Executor的线程去运行包含Task的TaskRunner
->总结,最后整个这个Spark应用程序的执行就是Stage分批次的做为Taskset提交到Executor里面执行,每个Task针对RDD的一个partition,执行我们的算子和函数,task并行执行。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/struct_slllp_main/article/details/76210206

智能推荐

表单输入框长度控制_a-form怎么设置输入框宽度-程序员宅基地

文章浏览阅读967次。表单输入框长度控制在编写代码时,表单中存在提示(预设)字符,但是往往字符较长时无法显示完全,所以想调整一下输入框中的长度,结果一时卡壳了,百度查了下才知道,使用style即可;<input type="text" name="name" style="width:165px;" placeholder="输入所有人关键字查询"&a_a-form怎么设置输入框宽度

会做饭,擅长烹饪,会给你的工作生活带来怎样的不同?_工作做的好不好和做饭有关系吗?-程序员宅基地

文章浏览阅读7.9k次。Neverland ,旅行/纹身/厨房/健身/美黑/jazzhiphop/猫狗124 人赞同体验感如下:1.我变成周围长辈口中的“别人家孩子”,各种被夸,长辈来我家做客,我都会亲自下厨讨个乖巧。2.我妈住院的时候,我每天早起做汤炒菜,然后去医院照顾我妈,医生护士每次来查房都要问我今天吃什么,后来干脆多带两双筷子去。3.自从微信加了男友的家人,没事po个图以表贤惠。_工作做的好不好和做饭有关系吗?

中 找多个平面_照明系统图和照明平面图怎么看?非常系统的讲解,电气初学者必备...-程序员宅基地

文章浏览阅读854次。照明系统图的作用是表明:照明的安装容量、计算负荷;导线的型号、根数、配线方式、管径;配电箱、开关、熔断器的型号、规格等。照明平面图的作用是表明:线路的敷设位置、敷设方式;灯具、开关、插座、配电箱的安装位置、安装方法、标高等。一、电气系统图系统图是安装图纸中必不可少的一部分,电气系统图即电气系统控制图。是用来表明供电线路与各设备工作原理及其作用,相互间关系的一种表达方式。如下图,就是一个系统图。大家..._设计院画的照明平面图只有线旁边标注了4、5的那种怎么看控制回路

mac系统navicat登陆总提示1045_navicat mac连接显示1045 - access denied for user 'wm23-程序员宅基地

文章浏览阅读2k次。解决方法: mysql>grant all on *.* to aaa@‘%‘ identified by ‘123456‘; (记得在此语句后面加上英文的分号) _navicat mac连接显示1045 - access denied for user 'wm231013user1'@'120.225.21

云计算、大数据和 AI_python大视觉 统计学习-程序员宅基地

文章浏览阅读516次。<div class="rich_media_content"> <p style="white-..._python大视觉 统计学习

用Python来写一个自动更新程序(01)_python 自动更新py代码-程序员宅基地

文章浏览阅读2.6k次,点赞2次,收藏12次。做一个简单的PYTHON自动更新程序_python 自动更新py代码

随便推点

Typora的换行缩进的问题_typora缩进-程序员宅基地

文章浏览阅读1.6w次,点赞8次,收藏9次。非常好用的markdown编辑器我们换行会带着上一个标签的格式,需要点击command + entry来解决同样带来光标不是在行首的问题,需要**command + [**来解决_typora缩进

5GC基础:架构和网元_5gc架构-程序员宅基地

文章浏览阅读6.6k次,点赞4次,收藏27次。5GC架构和主要网元介绍_5gc架构

图的遍历-DFS_修改递归方式实现的图的深度优先搜索算法,将输出-程序员宅基地

文章浏览阅读3.8k次,点赞14次,收藏43次。用DFS遍历一个无环有向图,并在DFS算法退栈返回时打印相应的顶点,则输出的顶点序列是()。 逆拓扑有序拓扑有序 无序的 无法确定 _修改递归方式实现的图的深度优先搜索算法,将输出

阿里云Cent OS服务器搭建环境jdk1.7+mysql+tomcat7.0_aliyun centeros mysql-程序员宅基地

文章浏览阅读1.1k次。第一步:连接服务器由于是在阿里云上租的服务器,所以我连接服务器用了两种方式 方式一:直接在阿里云上选择远程连接 方式二:通过Secure CRT连接远程桌面,利用Secure CRT连接远程桌面时,将选项->会话选项->外观中的字符编码修改为UTF-8可防止中文乱码第二步:搭建环境 1、 搭建jdk(1)在本机下好jdk,版本为jdk-7u80-linux-x64,通过FTP将jdk上传至服_aliyun centeros mysql

python 将一个文件中内容添加到另一个文件指定位置_python如何将一个文本的部分数据插入到另一文本的指定行-程序员宅基地

文章浏览阅读2.1w次,点赞4次,收藏13次。目的:将文件test.txt内容添加到文件test.html指定字符串的前面文件内容: test.txt内容如下: 10.110.210.310.410.510.610.710.810.910.1010.1110.1210.1310.1410.1510.1610.1710.1810.1910.2010.2110.22 text.html内容如_python如何将一个文本的部分数据插入到另一文本的指定行

iphone与计算机连接,将 iPhone 与电脑同步-程序员宅基地

文章浏览阅读452次。将 iPhone 与电脑同步您可以使用 iCloud 让照片、文件、日历等等在使用您的 AppleID 登录的所有设备间自动保持最新。(您甚至可以使用 WindowsPC 前往 iCloud.com 访问 iCloud 数据。)AppleMusic 等其他服务可让您在所有设备间访问更多内容。对于 iCloud 和如 AppleMusic 等服务,不需要同步。如果不想使用 iCloud 或其..._苹果手机和电脑同步如何处理

推荐文章

热门文章

相关标签