Flink 学习笔记前置_taco詹詹的博客-程序员秘密

技术标签: flink  Flink  大数据  

学习大数据有几年了,一直没有涉及到Flink部分,正好最近时间充裕,便学习整理一份个人学习笔记,仅供参考,学习资源来自于B站尚硅谷及其他网友。

实时处理框架值接触过sparkStreaming和flink所有只针对这两个所学框架先做些对比:

flink 相比较spark Streaming这种微批准实时处理,完全是两种不同的实现方式。flink 是一种完全无间断的流处理,而sparkStreaming 是无限的微小批次组成的“流”,是同一批次数据积累完再去做处理,而Flink是来一条处理一条数据。

flink框架整体设计思想、里面的语法实现要比spark更抽象、语法也更晦涩难懂。更多功能都是在底层去实现。两者都支持java和scala以及python去实现业务,我却更多倾向flink + java + sql 和spark + scala + sql 这种组合去开发。flink基于难度,更多的去用sql 和java去实现(自己熟悉、擅长的),而spark底层是scala 实现的,所以首选scala,但是scala语法标准比较多,所以做到统一性和团队开发还是比较困难,尤其是后期维护,所以配合sql使用会更佳。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_28403781/article/details/121081038

智能推荐

Redis配置哨兵模式_redis哨兵模式配置_JavaEEJava的博客-程序员秘密

​​ 主从复制模式,它是属于Redis多机运行的基础,但这种模式本身存在一个致命的问题,当主节点奔溃之后,需要人工干预才能恢复Redis的正常使用。我们需要一个自动的工具——(哨兵模式)来把手动的过程变成自动的,让Redis拥有自动容灾恢复(failover)的能力。。的最小分配单位是一主一从。​ 生产环境我们不会只启动一台Sentinel,因为如果启动一台Sentinel假如它不幸宕机的话,就不能提供自动容灾的服务了,不符合我们高可用的宗旨,所以我们会在不同的物理机上启动多个Sentinel。

词云wordcloud运行时出现ImportError:No module named 'matplotlib'错误_importerror: no module named wordcloud_李挺老师的博客-程序员秘密

在安装完词云wordcloud后,首次运行可能会出现如下错误。在下图中是一个将字符串“I like Python,I am learning Python”利用wordcloud进行分词。出现了错误,错误在于没有安装matplotlib模块。需要在(命令提示符)CMD中安装matplotlib模块安装命令为:                pip  install matplo...

HDU1205 吃糖果【水题】_海岛Blog的博客-程序员秘密

吃糖果Time Limit: 6000/3000 MS (Java/Others)Memory Limit: 65535/32768 K (Java/Others)Total Submission(s): 43477Accepted Submission(s): 12459Problem DescriptionHOHO,终于从Speakless手上赢走了所有

jQuery 之简单弹幕制作_cody0622的博客-程序员秘密

在现在的视频网站,我们在看视频的时候经常会有弹幕从出现,那么怎么通过js实现这一效果呢,下面介绍一种简单的方法。首先,搭好结构:页面中先放一个视频,视频下部放一个input 标签和button按钮,代码如下:<div class="box"> <div class="top"> <video src="./static/梦然-少年 .mp4" controls autoplay muted></audio>

docker异常--docker bind: cannot assign requested address._docker启动服务报错 cannot assign requested address_喜欢雨天的我的博客-程序员秘密

当我在Window上指定IP+端口号 去开启我的容器 会报如下错误。Error response from daemon: Cannot restart container test_mysql: driver failed programming external connectivity on endpoint test_mysql (47c340e8d93612b9696760446f7...

《涨知识啦24》---JBS or MPS?_mps jbs_Simucal的博客-程序员秘密

本周《涨知识啦》主要给大家介绍的是结势垒肖特基二极管(JBS:Junction Barrier Controlled Schottky Diode)和混合式PIN-肖特基二极管(MPS:Merged PIN Schottky Diode)的区别。首先,不知道大家看到下边这张图后第一时间想到的是什么结构呢,JBS还是MPS?是不是傻傻分不清楚?小赛有时也被这两个相似的器件搞混呢!今天小赛就带大家区分下这两种结构相似、设计目标和设计方法完全不同的器件。 图一 JB

随便推点

html z-index置顶,CSS z-index 层级关系优先级的概念_桃心香木的博客-程序员秘密

CSS 中的 z-index 属性用于设置节点的堆叠顺序, 拥有更高堆叠顺序的节点将显示在堆叠顺序较低的节点前面, 这是我们对 z-index 属性普遍的认识. 与此同时, 我们总是对堆叠顺序捉摸不透, 将 z-index 的值设得很大也未必能将节点显示在最前面. 本文将通过一些例子对 z-index 的使用方法进行分析, 并且为各位带入 z-index 层级树的概念.目录顺序规则如果不对节点设定...

C语言学习第一周总结_c语言第一周课程总结报告网课_0泡果奶的博客-程序员秘密

一周总结C语言的基本入门内存是C语言入门的关键命令操作系统,工程共享而成printf的标准输出gcc编译器标准输出printf的使用C语言的数据类型常量和变量进制之间的转换数据类型的详解复习数据类型、详解运算符、优先级浮点数、字符型数据1.浮点数2.字符型数据运算符、优先级和结合性1. /取整运算符和%取余运算符2. []下标运算符3.结构体运算符 -> 结构体指针运算符C语言的基本入门内存是C语言入门的关键人机合一:人通过软件和计算机进行数据交互C语言有37个关键字和34个运算符:常见的

android代码实现截屏,android实现截屏功能代码_刘柏霄的博客-程序员秘密

2. 添加1个Button(activity_main.xml文件)xmlns:tools="http://schemas.android.com/tools"android:layout_width="match_parent"android:layout_height="match_parent"tools:context=".MainActivity" >android:layout_...

bootstrap Table 后台交互_lfy1114的博客-程序员秘密

bootstrap Table 后台交互tableth对应的字段和实体相对应,bootstrap能自动封装。<div id="applyLog" style="z-index: 1000000019; display: none; width: 750px; height: 300px; overflow: auto; position: absolute; left: 50%; margin

小程序小知识点总结及vant weapp UI组件库的使用_van-button catchtap_文雅的的博客-程序员秘密

文章目录前言一、小程序是什么?二、点击方法三、传值四、自定义组件五、父子通信六、 尺寸单位 rpx七、 引入vant weapp UI组件库引入组件使用组件前言微信小程序,小程序的一种,英文名Wechat Mini Program,是一种不需要下载安装即可使用的应用,它实现了应用“触手可及”的梦想,用户扫一扫或搜一下即可打开应用。微信小程序是一种不用下载就能使用的应用,也是一项创新,经过将近两年的发展,已经构造了新的微信小程序开发环境和开发者生态。微信小程序也是这么多年来中国IT行

使用 soffice 将 doc 转换为 docx 不起作用Error: no export filter for teste.docx found, aborting. Error: no expo_IT__Hao的博客-程序员秘密

我发现它为什么不起作用。我卸载了 oppenoffice 和 libreoffice,然后再放一个。最近项目编辑器有一个小功能,需要将doc转为docx,按照下面的方法安装后使用报。我正在使用 centos7,并从 openoffice 到安装所有东西。我放置了过滤器(来自 soffice 的过滤器示例)但仍然无法正常工作。失效了搜索名称即可下载,最后按照下方教程即可解决。可能它缺少某些库或某些依赖项存在冲突。我在 .doc 文件的当前目录中。

推荐文章

热门文章

相关标签