【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

lombok---类上使用@Getter和@Setter_@getter 依赖-程序员宅基地

文章浏览阅读452次。1.添加对lombok的依赖在pom.xml中的<dependencies>下添加一下代码 <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency>2.sts安装插件（1）在项目文件点击右键 -> Maven -> Updata Project（2）选中你的项目，点击ok（这里是确保lo_@getter 依赖

Android 在后台无法启动Activity_此应用没有可供打开的activity 小黑屋-程序员宅基地

文章浏览阅读1.4w次，点赞14次，收藏46次。前言前几天接触的一个闹钟APP项目，闹钟触发从后台启动一个activity，执行之后的响铃操作，但是却失效了，闹钟并没有按时响铃。最后发现是系统拦截了从后台启动的Activity。具体原因一、AndroidQ从后台启动Activity的限制Android 10 (API 级别 29) 及更高版本对后台应用可启动 Activity进行限制。Android10中, 当App的Activit..._此应用没有可供打开的activity 小黑屋

【推荐算法论文阅读】BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Trans-程序员宅基地

文章浏览阅读1.8k次。一、背景之前基于RNN的推荐模型都是按照从左到右单向建模的，单向结构限制了用户行为序列中隐藏表示的能力——它们通常假定一个严格有序的序列，而这并不总是实用的。本文提出了 bert4rec，应用deep biderectional self-attention 来对用户的行为序列进行建模的。为了避免信息泄露，高效的训练双向模型，我们采用Cloze目标来进行顺序推荐，预测序列中的随机mask项，通过对其上下文的联合条件进行预测序列中随机mask的items。二、Bert4Rec1. 问题定义U={u1_bert4rec: sequential recommendation with bidirectional encoder representatio

以太网PCB布局布线_以太网pcb布线要求-程序员宅基地

文章浏览阅读9.7k次，点赞17次，收藏157次。我们现今使用的网络接口均为以太网接口，目前大部分处理器都支持以太网口。目前以太网按照速率主要包括10M、10/100M、1000M三种接口，10M应用已经很少，基本为10/100M所代替。目前以太网接口类型主要采用双绞线的RJ45接口，且基本应用于工控领域，因工控领域的特殊性，所以我们对以太网的器件选型以及PCB设计相当考究。从硬件的角度看，以太网接口电路主要由MAC(Media Access C..._以太网pcb布线要求

PHP||PHP概述与开发运行环境搭建&PHP数组的应用-程序员宅基地

文章浏览阅读922次，点赞26次，收藏18次。1．简述PHP程序运行过程中，PHP预处理器、Web服务器和数据库各自的功能。① PHP预处理器：实现对PHP文件的解析和编译，将PHP程序中的代码解释为文本信息。② Web服务器：主要用于存储大量的网络资源（例如图片、视频等资源）供用户访问和处理HTTP请求。③ 数据库：存储和管理数据的容器。2．常见的Web服务器和数据库服务器都有哪些？① Web服务器：Apache、Nginx、IIS。

大数据入门到放弃第一天：linux的入门-程序员宅基地

文章浏览阅读1.2k次。linux保姆式安装

随便推点

融合 反走样 雾_计算机图形学雾化和反走样定义-程序员宅基地

文章浏览阅读830次。15.1、融合　　15.1.1 Alpha值与融合（Blending）　　Alpha值在前面几章中已经提到过，但是几乎所有例程都将它设置为1.0，没有详细讨论它为其它值时的情况。融合，是本章的重点，它是透明技术、数字合成和计算机绘画技术的核心。固名思义，融合就是指两种颜色各分量依据一定的比例混在一起合二为一。而这种比例就来源于Alpha值，即RGBA中的A或（r、g、b、a）中的a值，通常称a_计算机图形学雾化和反走样定义

python视觉识别定位_机器视觉以及验证码识别-程序员宅基地

文章浏览阅读821次。机器视觉从 Google 的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广 泛且具有深远的影响和雄伟的愿景的领域。我们将重点介绍机器视觉的一个分支：文字识别，介绍如何用一些 Python库来识别和使用在线图片中的文字。我们可以很轻松的阅读图片里的文字，但是机器阅读这些图片就会非常困难，利用这种人类用户可以正常读取但是大多数机器人都没法读取的图片，验证码 (CAPTCHA)就出现..._pytesseract定位识别

三角函数的振幅、周期、频率_三角函数求振幅-程序员宅基地

文章浏览阅读1.7k次。三角函数的频率f=1/T: wx+t表示三角函数的。举个栗子：p(t)=90+20sin(160πt）在w>0的条件下：A:表示。_三角函数求振幅

手把手教你用UNet做医学图像分割系统_unet医学图像分割-程序员宅基地

文章浏览阅读9.6w次，点赞282次，收藏1.6k次。兄弟们好呀，这里是肆十二，这转眼间寒假就要过完了，相信大家的毕设也要准备动手了吧，作为一名大作业区的UP主，也该蹭波热度了，之前关于图像分类和目标检测我们都出了相应的教程，所以这期内容我们搞波新的，我们用Unet来做医学图像分割。我们将会以皮肤病的数据作为示范，训练一个皮肤病分割的模型出来，用户输入图像，模型可以自动分割去皮肤病的区域和正常的区域。B站讲解视频：程序员宅基地：代码地址：unet_42: 基于Unet的医学影像分割系统 (gitee.com)处理好的数据集和训练好的模型：更多相关的_unet医学图像分割

vscode/markdown 修改表格预览样式_markdown-it 修改默认表格样式-程序员宅基地

文章浏览阅读1.9k次。:rid:csdn000006-20201116vscode/markdown 修改表格预览样式如何将 vscode/markdown 默认表格样式修改为新型表格样式？修改 “settings.json”：“markdown.styles”: [ “file:///D:/assets/vscode_markdown.css” ]windows 不支持直接修改 “your-vscode-install-dir/resources/app/extensions/markdown-lang_markdown-it 修改默认表格样式

计算机二级Python选择题题库 第四章 组合 共97题 带答案和解析_def mysoft(ss,flag)-程序员宅基地

文章浏览阅读380次，点赞4次，收藏9次。计算机二级Python选择题题库 第四章 组合 共97题 带答案和解析_def mysoft(ss,flag)

推荐文章

热门文章

相关标签