CDH添加新节点小记_centos中cdh增加节点-程序员宅基地

技术标签: 大数据  

最近集群有个节点挂掉了,在修复以后,重新作为新节点加入到集群中。
记录下过程及相关疑问
安装CM

  1. 基本配置:host,SSH免密,jdk,防火墙及时间同步
  2. 安装配置CM子节点,创建parcels,后续安装的软件都会分发到该文件夹下
  3. 启动当前节点的CM,转到CDH管理界面,可以看到节点已添加到主机列表中
  4. 选择该节点,添加角色:例如:hdfs,yarn等上的角色
  5. 安装 HDFS 服务时添加 Balancer 角色,用于重新平衡节点上的存储。需要手动开启,
  6. balancer可以设置带宽:dfsadmin -setBalancerBandwidth newbandwidth
  7. 随后便可以正常使用了!

其他

  • CDH5.12默认安装spark1.6,需要升级为2.x.两个版本可以共存,使用的端口不同( History Server port is 18089 instead of the usual 18088)
  • Phoenix:是一个开源的HBASE SQL层,是一个中间件,使用Phoenix我们就可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据,具体的介绍请看官网http://phoenix.apache.org/。
  • Gateway 并不是一个角色,而是网关代理,就是告诉你这是我的一个使用的节点,但并没有实际的角色存在。

22年11月添加新节点

重要说明:CDH自2021年2月开始收费,无法进行免费安装了。官方说明如下:

	自 2021 年 2 月 1 日起,CDH 和 Cloudera Manager 的所有下载都需要
用户名和密码并使用修改后的 URL。
在下载下述存储库内容时,您必须使用修改后的 URL,包括用户名和密码。
您可能需要将 Cloudera Manager 升级到使用修改后的 URL 的较新版本。
这可能会影响新安装、升级、向集群添加新主机以及添加新集群。

解决办法如下:

因之前安装CHD有,有下载安装包。列表如下:
CM安装包:cloudera-manager-el6-cm5.14.4_x86_64.tar.gz
CDH安装包:
CDH-5.14.4-1.cdh5.14.4.p0.3-el6.parcel
CDH-5.14.4-1.cdh5.14.4.p0.3-el6.parcel.sha
manifest.json
mysql:mysql-connector-java-5.1.41.jar
因此无需连接远程地址。直接安装即可。

记录安装过程中的错误

无法安装 cloudera-manager-agent

因CDH社区收费,导致的远端连接yum源失效。需成为付费用户或找寻其他离线资源
目前我通过谷歌找到了一个网址可以下载CM和CDH的parcels安装包

CM5
http://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cm5/redhat/7/x86_64/cm/

或使用`开源`的Hadoop和Ambari

不良 : 该主机已与 Cloudera Manager Server 建立联系。 该主机未与 Host Monitor 建立联系。

修改host文件,与其他节点一致。

CDH检测不到新增节点。

需要检测cloudera-scm-agent是否启动。
本机故障是因为9000端口被占用,导致agent启动不久后,就会挂掉。kill掉使用9000端口的tcp服务。在启动agent成功。集群能检测到agent。接下来开始安装子节点的其他服务。

检查已知端口占用情况

netstat -anp | grep 9000

查询得到的“1237682/java”,这里的1237682就是端口占用的对应进程的进程号,我们杀掉对应进程号即可

kill 1237682

cloudera-scm-agent 已死,但 pid 文件存在

解决方案
在CDH安装目录下的run目录下有两个目录,分别是cloudera-scm-agent和cloudera-scm-server,哪个服务死了就进哪个目录,然后删掉对应的pid文件。再OK了。



5.14官方文档
5.16.2离线安装参考

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/sx_1706/article/details/118573723

智能推荐

React学习记录-程序员宅基地

文章浏览阅读936次,点赞22次,收藏26次。React核心基础

Linux查磁盘大小命令,linux系统查看磁盘空间的命令是什么-程序员宅基地

文章浏览阅读2k次。linux系统查看磁盘空间的命令是【df -hl】,该命令可以查看磁盘剩余空间大小。如果要查看每个根路径的分区大小,可以使用【df -h】命令。df命令以磁盘分区为单位查看文件系统。本文操作环境:red hat enterprise linux 6.1系统、thinkpad t480电脑。(学习视频分享:linux视频教程)Linux 查看磁盘空间可以使用 df 和 du 命令。df命令df 以磁..._df -hl

Office & delphi_range[char(96 + acolumn) + inttostr(65536)].end[xl-程序员宅基地

文章浏览阅读923次。uses ComObj;var ExcelApp: OleVariant;implementationprocedure TForm1.Button1Click(Sender: TObject);const // SheetType xlChart = -4109; xlWorksheet = -4167; // WBATemplate xlWBATWorksheet = -4167_range[char(96 + acolumn) + inttostr(65536)].end[xlup]

若依 quartz 定时任务中 service mapper无法注入解决办法_ruoyi-quartz无法引入ruoyi-admin的service-程序员宅基地

文章浏览阅读2.3k次。上图为任务代码,在任务具体执行的方法中使用,一定要写在方法内使用SpringContextUtil.getBean()方法实例化Spring service类下边是ruoyi-quartz模块中util/SpringContextUtil.java(已改写)import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContext;import org.s..._ruoyi-quartz无法引入ruoyi-admin的service

CentOS7配置yum源-程序员宅基地

文章浏览阅读2w次,点赞10次,收藏77次。yum,全称“Yellow dog Updater, Modified”,是一个专门为了解决包的依赖关系而存在的软件包管理器。可以这么说,yum 是改进型的 RPM 软件管理器,它很好的解决了 RPM 所面临的软件包依赖问题。yum 在服务器端存有所有的 RPM 包,并将各个包之间的依赖关系记录在文件中,当管理员使用 yum 安装 RPM 包时,yum 会先从服务器端下载包的依赖性文件,通过分析此文件从服务器端一次性下载所有相关的 RPM 包并进行安装。_centos7配置yum源

智能科学毕设分享(算法) 基于深度学习的抽烟行为检测算法实现(源码分享)-程序员宅基地

文章浏览阅读828次,点赞21次,收藏8次。今天学长向大家分享一个毕业设计项目毕业设计 基于深度学习的抽烟行为检测算法实现(源码分享)毕业设计 深度学习的抽烟行为检测算法实现通过目前应用比较广泛的 Web 开发平台,将模型训练完成的算法模型部署,部署于 Web 平台。并且利用目前流行的前后端技术在该平台进行整合实现运营车辆驾驶员吸烟行为检测系统,方便用户使用。本系统是一种运营车辆驾驶员吸烟行为检测系统,为了降低误检率,对驾驶员视频中的吸烟烟雾和香烟目标分别进行检测,若同时检测到则判定该驾驶员存在吸烟行为。进行流程化处理,以满足用户的需要。

随便推点

STM32单片机示例:多个定时器同步触发启动_stm32 定时器同步-程序员宅基地

文章浏览阅读3.7k次,点赞3次,收藏14次。多个定时器同步触发启动是一种比较实用的功能,这里将对此做个示例说明。_stm32 定时器同步

android launcher分析和修改10,Android Launcher分析和修改9——Launcher启动APP流程(转载)...-程序员宅基地

文章浏览阅读348次。出处 : http://www.cnblogs.com/mythou/p/3187881.html本来想分析AppsCustomizePagedView类,不过今天突然接到一个临时任务。客户反馈说机器界面的图标很难点击启动程序,经常点击了没有反应,Boss说要优先解决这问题。没办法,只能看看是怎么回事。今天分析一下Launcher启动APP的过程。从用户点击到程序启动的流程,下面针对WorkSpa..._回调bubbletextview

Ubuntu 12 最快的两个源 个人感觉 163与cn99最快 ubuntu安装源下包过慢_un.12.cc-程序员宅基地

文章浏览阅读6.2k次。Ubuntu 12 最快的两个源 个人感觉 163与cn99最快 ubuntu下包过慢 1、首先备份Ubuntu 12.04源列表 sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup (备份下当前的源列表,有备无患嘛) 2、修改更新源 sudo gedit /etc/apt/sources.list (打开Ubuntu 12_un.12.cc

vue动态路由(权限设置)_vue动态路由权限-程序员宅基地

文章浏览阅读5.8k次,点赞6次,收藏86次。1.思路(1)动态添加路由肯定用的是addRouter,在哪用?(2)vuex当中获取到菜单,怎样展示到界面2.不管其他先试一下addRouter找到router/index.js文件,内容如下,这是我自己先配置的登录路由现在先不管请求到的菜单是什么样,先写一个固定的菜单通过addRouter添加添加以前注意:addRoutes()添加的是数组在export defult router的上一行图中17行写下以下代码var addRoute=[ { path:"/", name:"_vue动态路由权限

JSTL 之变量赋值标签-程序员宅基地

文章浏览阅读8.9k次。 关键词: JSTL 之变量赋值标签 /* * Author Yachun Miao * Created 11-Dec-06 */关于JSP核心库的set标签赋值变量,有两种方式: 1.日期" />2. 有种需求要把ApplicationResources_zh_CN.prope

VGA带音频转HDMI转换芯片|VGA转HDMI 转换器方案|VGA转HDMI1.4转换器芯片介绍_vga转hdmi带音频转换器,转接头拆解-程序员宅基地

文章浏览阅读3.1k次,点赞3次,收藏2次。1.1ZY5621概述ZY5621是VGA音频到HDMI转换器芯片,它符合HDMI1.4 DV1.0规范。ZY5621也是一款先进的高速转换器,集成了MCU和VGA EDID芯片。它还包含VGA输入指示和仅音频到HDMI功能。进一步降低系统制造成本,简化系统板上的布线。ZY5621方案设计简单,且可以完美还原输入端口的信号,此方案设计广泛应用于投影仪、教育多媒体、视频会议、视频展台、工业级主板显示、手持便携设备、转换盒、转换线材等产品设计上面。1.2 ZY5621 特性内置MCU嵌入式VGA_vga转hdmi带音频转换器,转接头拆解

推荐文章

热门文章

相关标签