Hadoop集群搭建(六):hadoop配置namenode服务_hadoop namenode -format未找到命令-程序员宅基地

技术标签: 大数据平台搭建  namenode配置  Hadoop集群  大数据  

 

六:配置时间同步:

找到虚拟机设置:点击选项-->找到VMware Tools,打开时间同步即可:

 

 

注:如果你是创建一台虚拟机,其他几台都是这台克隆过去的,就可以不用配置时间同步也可以进行。

 

 

 

七:配置文件

 

1,进入hadoop配置文件目录:

命令:

 

 

 

2,更改配置文件core-site.xml :

 

命令:

 

 

3,所有的用户组目录:/etc/group

命令:/etc/group

 

 

 

4,配置hdfs-site.xml文件  :将hadoop组配置成超级用户组

命令:

[root@hadoop1 conf]# gedit hdfs-site.xml

 

 

 

 

5,配置本地存储路径:(hdfs的数据将保存的本地的位置)

更改hdfs-site.xml文件:

进入文件命令:

[root@hadoop1 conf]# gedit hdfs-site.xml

(1)Namenode的路径:(这里我设置的目录是:/data/nn)

修改文件:

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
</property>

 

 

(2)DataNode的路径:(实际的数据存放的位置)

修改的文件:(这里我设置的目录是:/data/dn)

<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
 </property>

 

 

 

(3)都配置完成后的文件:hdfs-site.xml

文件内容:

 

<?xml version="1.0"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one or more
  contributor license agreements.  See the NOTICE file distributed with
  this work for additional information regarding copyright ownership.
  The ASF licenses this file to You under the Apache License, Version 2.0
  (the "License"); you may not use this file except in compliance with
  the License.  You may obtain a copy of the License at
 http://www.apache.org/licenses/LICENSE-2.0
  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
           <property>
                      <name>dfs.permissions.superusergroup</name>
                      <value>hadoop</value>
            </property>
            <property>
                        <name>dfs.namenode.name.dir</name>
                        <value>/data/nn</value>
            </property>
            <property>
                       <name>dfs.datanode.data.dir</name>
                        <value>/data/dn</value>
            </property>
</configuration>

 

 

6,创建路径,修改目录权限

(1)创建nn目录:

命令:

[root@hadoop1 conf]# mkdir -p /data/nn

 

 

(2)创建dn目录:[root@hadoop1 conf]# mkdir -p /data/dn

命令:

[root@hadoop1 conf]# mkdir -p /data/dn

 

 

(3)切换Hadoop2在hadoop2上也创建这两个目录:(操作相同)

 

(4)修改目录权限:

命令:

[root@hadoop1 conf]# chown -R hdfs:hdfs /data

 

 

(5)查看文件权限:

 

(6)更改目录组权限:(三台虚拟机执行一样的操作)

命令:

[root@hadoop1 conf]# chmod -R 700 /data

 

 

 

7,初始化(格式化完成后nn目录就有信息)

命令:

[root@hadoop1 ~]# sudo -u hdfs hdfs namenode -format

查看nn目录信息:

 

 

8,将nn中生成的current目录拷贝到hadoop2上:

命令:

[root@hadoop1 nn]# scp -r current/ hadoop2:/data/nn

 

 

9,在hadoop2上将current文件权限改为hdfs组权限:

命令:

[root@hadoop2 nn]# chown -R hdfs:hdfs /data

 

10,配置管理界面:文件:hdfs-site.xml

命令:

[root@hadoop1 conf]# gedit hdfs-site.xml

 

文件内容:

<property>
     <name>dfs.namenode.http-address</name>
     <value>hadoop1:50070</value>
 </property>

 

 

11,拷贝配置文件:将文件发送给hadoop2,和hadoop2的指定目录中:

命令:

[root@hadoop1 conf]# scp core-site.xml hdfs-site.xml hadoop2:/etc/hadoop/conf
[root@hadoop1 conf]# scp core-site.xml hdfs-site.xml hadoop3:/etc/hadoop/conf

 

 

 

12,启动服务:(有顺序)

进入服务的目录:

 /etc/init.d/

查看虚拟机的所有服务:

 

 

 

(1)启动hadoop-hdfs-namenode服务:命令:

[root@hadoop1 init.d]# service hadoop-hdfs-namenode start

启动完查看服务是否启动:[root@hadoop1 init.d]# jps

 

 

(2)浏览器查看进程:hadoop1:50070

 

 

 

(3)启动hadoop-hdfs-datanode服务:

命令:

[root@hadoop1 init.d]# service hadoop-hdfs-datanode start

 

 

(4)浏览器再次查看:

 

 

Jps查看进程:

 

 

(5)在hadoop2上启动hadoop-hdfs-datanode服务:

命令:

[root@hadoop2 init.d]# service hadoop-hdfs-datanode start

 

 

(6)在hadoop1上的浏览器继续查看节点:

 

命令查看一下进程:

 

 

(7)在hadoop3上启动hadoop-hdfs-datanode服务:

命令:

[root@hadoop3 init.d]# service hadoop-hdfs-datanode start

 

 

(8)浏览器查看节点信息:

 

 

命令查看进程:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_34377273/article/details/84308185

智能推荐

攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地

文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文

达梦数据库的导出(备份)、导入_达梦数据库导入导出-程序员宅基地

文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作  导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释:   cwy_init/init_123..._达梦数据库导入导出

js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地

文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js

STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地

文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6

计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地

文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输

软件测试工程师移民加拿大_无证移民,未受过软件工程师的教育(第1部分)-程序员宅基地

文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...

随便推点

Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地

文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure

C++如何做字符串分割(5种方法)_c++ 字符串分割-程序员宅基地

文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割

2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地

文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答

基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地

文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。

metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地

文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入

Python学习之路:从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地

文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf

推荐文章

热门文章

相关标签