spark 关于spark-submit 参数调优策略_spark批间隔-程序员宅基地

技术标签: spark-submit  spark  spark conf  

--sparksubmit
   --num-executors  
        该参数主要用于设置该应用总共需要多少executors来执行,Driver在向集群资源管理器申请资源时需要根据此参数决定分配的Executor个数,并尽量满足所需。在不带的情况下只会分配少量Executor。这个值得设置还是要看分配的队列的资源情况,太少了无法充分利用集群资源,太多了则难以分配需要的资源。

   --executor-memory
        设置每个executor的内存,对Spark作业运行的性能影响很大。一般4-8G就差不多了,当然还要看资源队列的情况。num-executor*executor-memory的大小绝不能超过队列的内存总大小。

   --executor-cores
        设置每个executor的cpu核数,其决定了每个executor并行执行task的能力。Executor的CPU core数量设置为2-4个即可。弹药注意,num-executor*executor-cores也不能超过分配队列中cpu核数的大小。具体的核数的设置需要根据分配队列中资源统筹考虑,取得Executor,核数,及任务数的平衡。对于多任务共享的队列,更要注意不能将资源占满    

  --driver-memory
        运行sparkContext的Driver所在所占用的内存,通常不必设置,设置的话1G就足够了,除非是需要使用collect之类算子经常需要将数据提取到driver中的情况。
  --total-executor-cores    
        是所有executor总共使用的cpu核数 standalone default all cores

--conf

 --conf spark.default.parallelism
        此参数用于设置每个stage经TaskScheduler进行调度时生成task的数量,此参数未设置时将会根据读到的RDD的分区生成task,即根据源数据在hdfs中的分区数确定,若此分区数较小,则处理时只有少量task在处理,前述分配的executor中的core大部分无任务可干。通常可将此值设置为num-executors*executor-cores的2-3倍为宜,如果与其相近的话,则对于先完成task的core则无任务可干。2-3倍数量关系的话即不至于太零散,又可是的任务执行更均衡。!!个人建议配置该参数      

    --conf spark.storage.memoryFraction
        参数说明:该参数用于设置RDD持久化数据在Executor内存中能占的比例,默认是0.6。也就是说,默认Executor 60%的内存,可以用来保存持久化的RDD数据。根据你选择的不同的持久化策略,如果内存不够时,可能数据就不会持久化,或者数据会写入磁盘。
        参数调优建议:如果Spark作业中,有较多的RDD持

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39861172/article/details/81629053

智能推荐

matlab里svd(Y,'econ')_svdy-程序员宅基地

文章浏览阅读7.4k次,点赞7次,收藏23次。Y=randn(m,n)%m>n[u,s,v]=svd(Y)u:m*m s:m*nv:n*n[u1,s1,v1]=svd(Y,'econ')u1:m*ms1:m*mv1:n*m‘econ’economic size,相当于把多余的部分去除掉了、根据截图的结果能清楚地明白‘econ’的作用了_svdy

C++:六种排序算法的时间比较_c++实现排序算法性能比较-程序员宅基地

文章浏览阅读7k次,点赞16次,收藏126次。/* 说明:以下排序算法将分别对1000、1万、10万、100万个随机数进行排序,记录排序所需时间,并进行比较。VS2017 */1.冒泡排序法:平均时间复杂度:O(n^2)#include<iostream>#include<time.h>#include<ctime>using namespace std;#define MAX 1000int a[MAX];//冒泡排序法void bubble(int a[], int size){ int _c++实现排序算法性能比较

The 2020 ICPC Asia Shenyang Regional Programming Contest I题 Rise of Shadows(数论)_i - rise of shadows 数论-程序员宅基地

文章浏览阅读1.4k次。题目链接题目大意:一天内有H小时,每小时M分钟,时针分针以恒定速率旋转。现在若时针分针的夹角<=α,则该时刻的分钟是贡献分钟。现在要求解一天里面的所有贡献分钟。分析:计算两个速率V1 V2,枚举小时【0,N-1】计算该小时内的有效分钟,显然是圆上弧长有一定关系,不妨写出如下暴力for(int i=0; i<n; i++){ for(int j=0; j<m; j++) { if(abs(m*i+j-n*j)<=k) _i - rise of shadows 数论

中国剩余定理_中国剩余定理实现流程图-程序员宅基地

文章浏览阅读604次。中国剩余定理”算理及其应用:  为什么这样解呢?因为70是5和7的公倍数,且除以3余1。21是3和7的公倍数,且除以5余1。15是3和5的公倍数,且除以7余1。(任何一个一次同余式组,只要根据这个规律求出那几个关键数字,那么这个一次同余式组就不难解出了。)把70、21、15这三个数分别乘以它们的余数,再把三个积加起来是233,符合题意,但不是最小,而105又是3、5、7的最小公倍数,去掉105的倍数,剩下的差就是最小的一个答案。用歌诀解题容易记忆,但有它的局限性,只能限于用3、5、7三个数去除,用其它的数去_中国剩余定理实现流程图

aws android sdk core,aws-sdk-core 的所有版本-程序员宅基地

文章浏览阅读173次。3.114.0- April 13, 2021(292.0 KB)3.113.1- March 29, 2021(291.0 KB)3.113.0- March 10, 2021(291.0 KB)3.112.1- March 04, 2021(291.0 KB)3.112.0- February 02, 2021(280.0 KB)3.111.2- January 19, 2021(280.0 ..._core-sdk:2.3.4-rc7

基于Android5.1 AOSP的双屏异显分析_安卓5完美异显-程序员宅基地

文章浏览阅读691次。平台:android5.1 场景:客户的设备需要使用到双屏异显。分析双屏异显时,framework所做的准备。 时间:2016.9.28Android从4.2开始支持双屏异显,其Java使用示例代码如下:1.如何获取设备上的屏幕? DisplayManager mDisplayManager;//屏幕管理类 Display[] displays;//屏幕数组_安卓5完美异显

随便推点

vue json对象转数组_分享:vue使用技巧和项目中遇到的问题-程序员宅基地

文章浏览阅读1.4k次。这里给大家分享一下vue中的一些技巧,希望对大家有用处。(话不多说上代码)1,vue路由拦截浏览器后退实现表单保存类似需求(为了防止用户突然离开,没有保存已输入的信息。)//在路由组件中:mounted(){},beforeRouteLeave (to, from, next) { if(用户已经输入信息){ //出现弹窗提醒保存表单,或者自动后台为其保存 }else{ next(true);/..._vue json转数组不好处理

Redash 二次开发入门_redash二次开发-程序员宅基地

文章浏览阅读1.4w次,点赞3次,收藏20次。前言在Redash二次开发上做了不少工作,修改bug,定制样式,定制功能,增加数据源等等。聊聊自己的二次开发经验。懂分享的人,一定会快乐!环境准备Redash依赖的外部环境比较多,特别是Python相关的包,大多数时候一次装不成功,需要单独装或者更新安装其他系统依赖库,祝大家一次成功!环境准备可以参考另一篇blog,没用全说,其余的自己动动脑筋比较好。附传送门:Redash开发指南系..._redash二次开发

zbrush快捷键汇总【收藏版】_zbrush保存快捷键-程序员宅基地

文章浏览阅读3.6k次,点赞2次,收藏13次。zbrush快捷键汇总!ZBrush超全面快捷键大全,建模小白入门必备,赶紧抱走! zbrush雕刻入门学习高效率提升技巧!3D建模数字雕刻教学 零基础游戏建模角色建模教程_zbrush保存快捷键

「dedecms」织梦调用文章页关键词标签_dedecms 文章调用带连接关键词-程序员宅基地

文章浏览阅读1.2k次。织梦调用文章页关键词标签,可以增加一层网站内链结构。我们使用时调用tag标签的方法,在调用的过程中将href中的链接去掉,就可以调用到当前文章链接,如果你想让关键词指向某一个路径,可以自定义@me=中的链接指向。调用代码如下。 {dede:field name='keywords' runphp='yes' }  if(!empty(@me)){  $kws = explode(',',..._dedecms 文章调用带连接关键词

Android 8.1 源码_启动篇(二) -- 研究 zygote_update_verifier_nonencrypted-程序员宅基地

文章浏览阅读540次。Android 8.1 源码_启动篇(二) -- 深入研究 zygote前言在Android中,zygote是整个系统创建新进程的核心进程。zygote进程在内部会先启动Dalvik虚拟机,继而加载一些必要的系统资源和系统类,最后进入一种监听状态。在之后的运作中,当其他系统模块(比如 AMS)希望创建新进程时,只需向zygote进程发出请求,zygote进程监听到该请求后,会相应地fork..._update_verifier_nonencrypted

ubuntu10.04-x86_64安装xen 4.0.1_"extra = \"root=/dev/xvda1"-程序员宅基地

文章浏览阅读2.1k次。 ubuntu10.04-x86_64-LTS-Lucid安装xen4.0.1 ===============================================author:yejingx Sat, Jan 29, 2011=============================================== #说明:与ubuntu_"extra = \"root=/dev/xvda1"

推荐文章

热门文章

相关标签