Spark 调优 ——cache（persist）与 checkpoint_五道口纳什的博客-程序员秘密

技术标签： Hadoop-Scala-Spark

cache 是对 persist 的进一步调用；

1. 为什么要 checkpoint

为了保证数据安全性，需要对运行出的中间结果进行 checkpoint
- 最好将结果 checkpoint 到 hdfs，便于集群所有节点进行访问；
checkpoint 之前先进行 cache（persist），将数据放在缓存中
什么时候 checkpoint：
- 在发生 shuffle 之后做 checkpoint

2. checkpoint 的步骤

建立 checkpoint 存储目录：
- sc.setCheckpointDir(“hdfs://node01.9000/ck”)
rdd1.cache()
rdd1.checkpoint()

本文链接：https://blog.csdn.net/lanchunhui/article/details/86439632

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

MVC三层模型(struts+spring+hibernate)总结_dos_186的博客-程序员秘密

简单的说：struts 控制用的hibernate 操作数据库的spring 用解耦的详细的说：STRUTS 在 SSH 框架中起控制的作用 , 其核心是 Controller, 即 ActionServlet, 而 ActionServlet 的核心就是 Struts-confi g.xml. 主要控制逻辑关系的处理 .hibernate 是数据持

非码农也能看懂的“机器学习”原理_weixin_34291004的博客-程序员秘密

我们先来说个老生常谈的情景：某天你去买芒果，小贩摊了满满一车芒果，你一个个选好，拿给小贩称重，然后论斤付钱。自然，你的目标是那些最甜最成熟的芒果，那怎么选呢？你想起来，啊外婆说过，明黄色的比淡黄色的甜。你就设了条标准：只选明黄色的芒果。于是按颜色挑好、付钱、回家。啊哈，人生完整了？呵呵呵。告诉你吧人生就是各种麻烦等你回到家，尝了下芒果。有些确实挺甜，有些就不行了。额～显然，外婆教...

MyBatis底层实现—getMapper获取到接口的代理对象_薛定谔的猫粮_的博客-程序员秘密

原创 MyBatis的底层实现原理 ...

打算从今天开始写一写视频标准HEVC HM代码的学习的总结了_hevc hm流程_「已注销」的博客-程序员秘密

由于之前没有写过C程序，现在读研了，发现要学的东西全是要用C++，算法之类的东西，不学没有办法了。还要兼顾硬件逻辑语言。。。。开始真的好难。所以借以此博客作为开始。关于HEVC前一段研究明白了熵编码CABAC部分。改了一部分代码。然后学习了国内的视频标准AVS的熵编码部分代码。因为AVS很少人研究，只能看标准和RM代码，花了很多时间，尤其在代码不是熟悉的情况下。详细的内

Solr 7.2.1 配置中文分词器 IK Analyzer_appleyk的博客-程序员秘密

一、什么是中文分词器？为什么不来个英文分词器呢？“嘿，小伙子，就是你，说的就是你，你那么有才咋不上天呢！”首先我们来拽一句英文：“He is my favorite NBA star”然后我们再来一句中文：“他是我最喜欢的NBA球星”从英文的结构我们很容易区分每个单词，因为，每个单词之间都是空格隔开的，你肯定不会这样写

docker 拷贝文件失败_Ternence_Hsu的博客-程序员秘密

docker 拷贝文件报错错误信息如下：$ docker cp test.txt mydocker:/optFATA[0000] Error: Path not specifieddocker 拷贝文件错误原因因为 docker 1.6的版本还不支持 docker cp 文件的功能，升级到最新的版本就可以了更新前：$ docker -vDocker version 1.6.2...