YARN Federation-程序员宅基地

技术标签： federation  yarn  

介绍

众所周知，YARN可扩展到数千个节点。 YARN的可伸缩性由Resource Manager确定，并且与节点数，活跃的应用程序，活跃的容器和心跳频率成比例。降低心跳可以提高可扩展性，但对利用率有害。本文档描述了一种基于联邦（federation）的方法，通过联合多个YARN子集，将单个YARN集群扩展到数万个节点。所提出的方法是将大的（10-100k节点）集群划分为称为子集群的较小单元，每个集群具有其自己的YARN RM和计算节点。联合系统（federation system）将这些子集群拼接在一起，使它们成为应用程序的一个大型YARN集群。在此联合环境中运行的应用程序将看到单个大型YARN群集，并且能够在联合群集的任何节点上计划任务。联合系统将与子集群的Resource Manager协商并为应用程序提供资源。目标是允许单个作业无缝地“跨越”子集群。
这种设计在结构上是可扩展的，因为我们限制每个RM负责的节点数量，并且适当的策略将会保证大多数应用程序驻留在单个子集群中，因此每个RM看到的应用程序数量 也是有限的。 这意味着我们几乎可以通过简单地添加子集来线性扩展（因为它们之间需要很少的协调）。 此体系结构可以在每个子集群中提供非常严格的调度不变量来实施，而跨集群的连续重新平衡将强制这些属性在全局级别也得到尊重。

架构

YARN Federation的主要设计思想是希望通过联合的方式让集群可以有多个SubCluster 。 每个SubCluster都是一个独立的小集群，由子集群的ResourceManager分别管理一部分节点。这些小集群共同组成一个大的YARN Federation集群，实现资源的统一管理与作业调度。

  1. sub-cluster：子集群是一个YARN集群，具有多达数千个节点。
    子集群的YARN RM将在保持高可用性的情况下运行，即，我们应该能够容忍YARN RM，NM故障。如果整个子集群遭到破坏，外部机制将确保在单独的子集群中重新提交作业。
    子集群也是联合环境中的可伸缩性单元。我们可以通过添加一个或多个子集群来扩展联合环境。
  2. Router：路由组件，一个Federation 集群可以配置一组，但最少配置一个。用户提交应用时首先会访问其中一个Router，然后Router会先从State Store中获得所有“Sub Cluster”信息（active rm 和 其他一些使用率信息），之后根据配置的路由策略（从策略存储中获取）将应用程序提交请求转发到对应的RM上。
  3. AMRMProxy：AMRMProxy是应用程序和多个RM通讯的桥梁。他允许一个App可以跨子集群运行。例如，一个App有2000个task, 这些task会分散到所有子集群上运行，每个子集群运行一部分。AMRMProxy运行在所有的NM机器上，它实现了ApplicationMasterProtocol接口作为AM的YARN RM的代理。 应用程序不能直接与子集群的RM通信。 YARN框架强制应用程序只能连接到AMRMProxy，从而提供对多个YARN RM（通过动态路由/拆分/合并通信）的透明访问。 在任何时候，作业都可以跨主子集群和多个辅助子集群运行，其中AMRMProxy的运行策略会试图限制每个作业的占用空间以降低调度上的开销。
  4. Global Policy Generator(简写：GPG)：全局策略生成器忽略整个联合，并确保系统始终被正确的配置和调整。 关键设计点是群集的可用性不依赖于永远在线的GPG。
  5. Federation State-Store：联合状态定义了需要维护的附加状态，以便将多个单独的子集群松散地耦合到单个大型联合集群中。
  6. Federation Policy Store：联合策略存储是一个逻辑上独立的存储，其中包含有关如何将应用程序和资源请求路由到不同子集群的信息。 当前的实现提供了几种策略，从随机/散列/循环/优先级（random/hashing/roundrobin/priority）到更复杂的策略，这些策略考虑了子集群的负载。

应用程序跨Sub-Clusters运行的流程

提交应用程序时，Router会找一个最合适的子集群运行应用程序，称之为应用程序的主子集群。AM与RM的所有通信都通过AM机器本地的AMRMProxy进行。理想情况下，应用程序默认会运行在资源和数据都可用的子集群上，但如果需要其他子集群节点上的资源，则AMRMProxy将与这个子集群的RM通讯请求资源。让应用程序像在一个大集群上运行。这个功能需要AMRMProxy，全局策略生成器（Global Policy Generator，GPG）和Router组合在一起使用。

配置

具体配置在官网上可以看到，在此不介绍。

 

原文地址：https://www.jianshu.com/p/e97fbfc99003
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010670689/article/details/96902589

智能推荐

初识HtmlParser.Net-程序员宅基地

文章浏览阅读475次。一、HTMLParser.net是什么？HTMLParser.net是HtmlParser的JAVA版本的dot net版本。二、HTMLParser可以用来做什么？HtmlParser是用来改造或者提取HTML，通过HtmlParser可以高速，快捷的从Html页面中分离出你想要的内容。三、HTMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML_htmlparser.net

模拟神器之QEMU-程序员宅基地

文章浏览阅读1.3w次，点赞6次，收藏48次。1. 简介QEMU（quick emulator）是一款由法布里斯·贝拉（Fabrice Bellard）等人编写的免费的可执行硬件虚拟化的（hardware virtualization）开源托管虚拟机（VMM）。QEMU 是一个托管的虚拟机镜像，它通过动态的二进制转换，模拟CPU，并且提供一组设备模型，使它能够运行多种未修改的客户机OS，可以通过与KVM一起使用进而接近本地速度运行虚拟机（接近真实电脑的速度）。QEMU还可以为user-level的进程执行CPU仿真，进而允许了为一种架构编译的程序_qemu

【最详细|附源码】Visual C++(VC)6.0最新安装教程_visual c++安装教程-程序员宅基地

文章浏览阅读1.4w次，点赞14次，收藏78次。软件：Visual C++版本：6.0语言：简体中文大小：34.26M安装环境：Win11/Win10/Win8/Win7硬件要求：[email protected] 内存@4G(或更高）下载通道①百度网盘丨下载链接：提取码：dg2n[更多软件]：点击进入管家「软件目录」！_visual c++安装教程

新路由3 高恪魔改固件+底包_新路由3高恪5.0nat1-程序员宅基地

文章浏览阅读2.7w次，点赞2次，收藏8次。新路由3 newifi3 d2 高恪魔改固件，请在breed中先刷入底包，然后启动路由器进入底包系统后，再在底包系统里面网页web升级固件，选择魔改进行升级，切记必须这样操作。压缩包包含了底包和固件解压密码 123下载地址：https://u13909188.pipipan.com/fs/13909188-384246318..._新路由3高恪5.0nat1

戳破“砖家”假面：唯快不破的时代，为什么这件事一定要慢慢做？-程序员宅基地

文章浏览阅读298次。导读：我们生活在一个嘈杂、混乱的世界中。生活中，我们有很多“权威”和“专家”，他们标榜自己是内行人，宣称自己掌握着该领域的真理，而我们需要做的只有两个字——接受。但事实上..._唯快不破的人为什么定

初始化时checkbox选中问题-程序员宅基地

文章浏览阅读746次。首先我们大家在写页面的时候可能回经常遇到checkbox、radio等一些使选中或者是不选中的问题。这是我在项目当中做的时候发现的一个小知识点，把它赶紧记录下来。以便以后复习与巩固。 现把代码写出来再解释： function operateCheckOrRadio() { var sForm = document.getElementById("sform"); var sStatus = d..._flutter checkbox用变量初始化无法设置为选中状态

随便推点

IDEA修改SVN地址-程序员宅基地

文章浏览阅读6.6k次，点赞2次，收藏6次。IDEA修改SVN地址 SVN地址改变了，在IDEA上的项目地址还没有修改 第一步：选中项目，右键Subversion --> Relocate第二步：From URL路径保持不变（修改To URL为最新路径）第三步：选中项目，右键Subversion --> Update Directory第四步：勾选Update修改URL为最新的即可SVN地址改变了，在IDEA上的项目地址还没有修改_idea修改svn地址

欧拉图和哈密顿图_哈密顿通路度为偶数-程序员宅基地

文章浏览阅读3.8k次。欧拉图及欧拉路径欧拉图 如果图G上有一条经过所有顶点、所有边的闭路径（边不重复，顶点可以重复）充分必要条件 无向图：G连通，所有顶点的度都是偶数有向图：G弱连通，每个顶点出度与入度相等欧拉路径 如果图G上有一条经过所有顶点、所有边的路径（边不重复，顶点可以重复）充分必要条件 无向图：G连通，恰有两个顶点的度是奇数有向图：G连通，恰有两个顶点的出度与入度不相等，其中一个出度比入度多_哈密顿通路度为偶数

Linux下SVN安装配置和使用中遇到的问题-程序员宅基地

文章浏览阅读68次。两个命令：svn info :显示版本库信息，svn的下载url等。svn co https://xxxxx/xxx wodemulu (通过我的目录制定co的文件夹)svn st:显示修改的文件。=-=========================================第一章 安装1. 采用源文件编译安装。源文件共两个（可下载完传入linux），为：s..._can't lunch modelsim make sure

【算法】设计算法求所有强连通分量的完整代码（kosaraju算法）_kosaraju算法代码-程序员宅基地

文章浏览阅读332次。代码：typedef struct anode { int adjvex;//该边的邻接点编号 struct anode* nexarc;//指向下一条边的指针 int weight;//该边的相关信息，比如权值}arcnode;//边结点类型typedef struct vnode { //InfoTyoe info; 顶点的其他信息 arcnode* firstarc;//指向第一个边结点}Vnode;//邻接表头结点类型typedef struct {_kosaraju算法代码

程序员的自我评价_程序员自我评价-程序员宅基地

文章浏览阅读4.4k次，点赞2次，收藏2次。篇一：程序员简历自我评价程序员简历自我评价本人勤奋踏实，工作认真负责，自学能力强;性格开朗，容易与人相处，注重团队协作精神，且能承受较大压力。注重专业基础学习和实践能力的培养，在校期间不仅做过多个课程设计暑假期间也去过单位实践过，对java编程和网站开发具有浓厚的兴趣。篇二：优秀的程序员自我鉴定优秀的程序员自我鉴定以下一篇是一名优秀并且有工作经验的程序员的自我鉴定范文：大家好,我叫xxx。我性格开朗，乐于与人交往，诚实，正直，有教强的上进心，较强的学习能力，在学校团学会的工作使我组织_程序员自我评价

vue的vue-resource和axios介绍_vue-resuorce-程序员宅基地

文章浏览阅读1.2k次，点赞26次，收藏14次。vue的vue-resource和axios介绍_vue-resuorce

推荐文章

热门文章

相关标签