查看hdfs的fsimage和editlog_edits文件和fsimage文件那个体现了hdfs最新状态-程序员宅基地

技术标签： editlog hdfs fsimage 大数据

（一）名称解释

fsimage，namenode的元数据镜像文件，保存在磁盘

editlog，namenode操作日志

fstime，最近一次的checkpoint时间

metadata，一个文件存储在哪些DataNode节点的哪些位置的元数据信息

NN，namenode

SNN，secondarynamenode

Namenode主要维护两个文件，一个是fsimage，一个是editlog

（二）如何查看fsimage和editlog

查看hdfs-site.xml，查看 dfs.namenode.name.dir的配置值，我的配置为 /var/lib/hadoop-hdfs/cache/hdfs/dfs/name/current/

cd /var/lib/hadoop-hdfs/cache/hdfs/dfs/name/current/

输出为

-rw-r--r-- 1 hdfs hdfs 238K Aug 7 2017 edits_0000000000000069606-0000000000000071239

-rw-r--r-- 1 hdfs hdfs 239K Aug 7 2017 edits_0000000000000071240-0000000000000072884

-rw-r--r-- 1 hdfs hdfs 238K Aug 7 2017 edits_0000000000000072885-0000000000000074518

-rw-r--r-- 1 hdfs hdfs 289K Aug 7 2017 edits_0000000000000074519-0000000000000076555

-rw-r--r-- 1 hdfs hdfs 269K Aug 7 2017 edits_0000000000000076556-0000000000000078473

-rw-r--r-- 1 hdfs hdfs 237K Aug 7 2017 edits_0000000000000078474-0000000000000080104

-rw-r--r-- 1 hdfs hdfs 1.0M Aug 8 2017 edits_0000000000000080105-0000000000000081013

-rw-r--r-- 1 hdfs hdfs 11K Jun 3 22:34 edits_0000000000000081014-0000000000000081083

-rw-r--r-- 1 hdfs hdfs 242K Jun 3 23:34 edits_0000000000000081084-0000000000000082753

-rw-r--r-- 1 hdfs hdfs 1.0M Jun 3 23:34 edits_0000000000000082754-0000000000000082758

-rw-r--r-- 1 hdfs hdfs 1.0M Jun 4 00:02 edits_0000000000000082759-0000000000000083550

-rw-r--r-- 1 hdfs hdfs 127K Jun 4 00:35 edits_0000000000000083551-0000000000000084425

-rw-r--r-- 1 hdfs hdfs 250K Jun 4 07:52 edits_0000000000000084426-0000000000000086156

-rw-r--r-- 1 hdfs hdfs 238K Jun 4 08:52 edits_0000000000000086157-0000000000000087789

-rw-r--r-- 1 hdfs hdfs 239K Jun 4 09:52 edits_0000000000000087790-0000000000000089425

-rw-r--r-- 1 hdfs hdfs 238K Jun 4 10:52 edits_0000000000000089426-0000000000000091058

-rw-r--r-- 1 hdfs hdfs 1.0M Jun 4 11:15 edits_inprogress_0000000000000091059

-rw-r--r-- 1 hdfs hdfs 312K Jun 4 09:52 fsimage_0000000000000089425

-rw-r--r-- 1 hdfs hdfs 62 Jun 4 09:52 fsimage_0000000000000089425.md5

-rw-r--r-- 1 hdfs hdfs 317K Jun 4 10:52 fsimage_0000000000000091058

-rw-r--r-- 1 hdfs hdfs 62 Jun 4 10:52 fsimage_0000000000000091058.md5

-rw-r--r-- 1 hdfs hdfs 6 Jun 4 10:52 seen_txid

-rw-r--r-- 1 hdfs hadoop 202 Jun 3 22:33 VERSION

（三）什么是FSImage和EditsLog

fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。

对于文件来说包括了数据块描述信息、修改时间、访问时间等；

对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。

上面数据中，通过 edits_inprogress_0000000000000091059 ，可以看出fsimage文件已经加载到了最新的一个 edits_0000000000000089426-0000000000000 091058文件，仅仅只有inprogress状态的edit log未被加载。在启动HDFS时，只需要读入 fsimage_0000000000000091058以及 edits_inprogress_0000000000000091059就可以还原出当前hdfs的最新状况。但是这里又会出现一个问题，如果edit log文件越来越多、越来越大时，当重新启动hdfs时，由于需要加载fsimage后再把所有的edit log也加载进来，就会出现第一段中出现的问题了。怎么解决？HDFS会采用checkpoing机制定期将edit log合并到fsimage中生成新的fsimage。分析见（四）

（四）checkpoint机制

fsimage和edit log合并的过程如下图所示：

考虑到合并过程很耗费磁盘IO，网络IO，CPU，合并过程都放在secondarynamenode【SN】上进行。

checkpoint的触发条件：

--满足dfs.namenode.checkpoint.preiod【默认1小时】时间点

--或者满足dfs.namenode.checkpoint.txns【默认100万次txns id】

合并步骤

SNN告诉NN滚动inprogress editlog文件，这样新的操作都会写到新的editlog文件，同事，NN更新seen_txid
SNN通过http get方式从NN获取最新的fsimage和editlog
SNN将fsimage加载到内存，并从editlog中读取每一次事务，应用到fsimage，这样就产生了一个新的fsimage
SNN将新的fsimage通过http put的方式发送到NN，NN将fsimage保存为临时fsimage.ckpt文件中
NN将fsimage.ckpt文件重命名，此完成了fsimage和editlog的同步

hadoop集群配置高可用时，checkpoint机制参考（四）

（四）HA模式下Checkpointing过程分析

在HA模式下，checkpoint过程由standBy namenode进行【SBNN】，active namenode【ACNN】

HA模式下的edit log文件会同时写入多个JournalNodes节点的dfs.journalnode.edits.dir路径下，JournalNodes的个数为大于1的奇数，类似于Zookeeper的节点数，当有不超过一半的JournalNodes出现故障时，仍然能保证集群的稳定运行。

同步过程如图：

思考：同步使用http，而不是RPC，为什么呢？

（五）查看fsimage文件

启动

hdfs oiv -i fsimage_0000000000000092691

屏幕输出

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading 15 strings

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading 4592 inodes.

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading inode references

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loaded 0 inode references

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading inode directory section

18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loaded 1887 directories

18/06/04 11:58:08 INFO offlineImageViewer.WebImageViewer: WebImageViewer started. Listening on /127.0.0.1:5978. Press Ctrl+C to stop the viewer.

执行

hdfs dfs -ls -R webhdfs://127.0.0.1:5978/

输出内容：

drwx------ - cloudera cloudera 0 2017-08-07 19:08 webhdfs://127.0.0.1:5978/user/cloudera/.Trash

drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802

drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user

drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive

drwx------ - cloudera cloudera 0 2017-08-06 23:38 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse

drwx------ - cloudera cloudera 0 2017-08-07 17:19 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db

drwxrwxrwx - cloudera supergroup 0 2017-08-07 00:45 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info

-rwxrwxrwx 1 cloudera supergroup 5498008 2017-08-07 00:45 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info/000000_0

drwxrwxrwx - cloudera supergroup 0 2017-08-07 17:09 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info1502096965787

drwxrwxrwx - cloudera supergroup 0 2017-08-07 17:09 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info1502097580348

导出fsimage到xml文件命令

hdfs oiv -p XML -i fsimage_0000000000000092691 -o fsimage.xml

（六）导出editlog文件到xml

hdfs oev -i edits_0000000000000091059-0000000000000092691 -o edit.xml

部分文件内容

<?xml version="1.0" encoding="UTF-8"?>

<EDITS>

<EDITS_VERSION>-60</EDITS_VERSION>

<OPCODE>OP_START_LOG_SEGMENT</OPCODE>

<DATA>

</DATA>

</RECORD>

<DATA>

<PATH>/user/spark/applicationHistory/.1b3d5ff3-4187-42b7-9d06-0b4224e1b988</PATH>

<CLIENT_NAME>DFSClient_NONMAPREDUCE_-2124177401_1</CLIENT_NAME>

<CLIENT_MACHINE>127.0.0.1</CLIENT_MACHINE>

<PERMISSION_STATUS>

<USERNAME>spark</USERNAME>

<GROUPNAME>supergroup</GROUPNAME>

</PERMISSION_STATUS>

<RPC_CLIENTID>3143bf48-a33d-4800-ad82-3579e2c40b43</RPC_CLIENTID>

<RPC_CALLID>8108</RPC_CALLID>

</DATA>

</RECORD>

<OPCODE>OP_CLOSE</OPCODE>

<DATA>

<PATH>/user/spark/applicationHistory/.1b3d5ff3-4187-42b7-9d06-0b4224e1b988</PATH>

<CLIENT_NAME></CLIENT_NAME>

<CLIENT_MACHINE></CLIENT_MACHINE>

<OVERWRITE>false</OVERWRITE>

<PERMISSION_STATUS>

<USERNAME>spark</USERNAME>

<GROUPNAME>supergroup</GROUPNAME>

</PERMISSION_STATUS>

</DATA>

</RECORD>

<OPCODE>OP_RENAME_OLD</OPCODE>

<DATA>

<SRC>/user/hue/.cloudera_manager_hive_metastore_canary/hive_HIVEMETASTORE</SRC>

<DST>/user/hue/.Trash/Current/user/hue/.cloudera_manager_hive_metastore_canary/hive_HIVEMETASTORE1528084369048</DST>

<RPC_CLIENTID>683845ea-3b6b-4419-9d9d-144a85344b40</RPC_CLIENTID>

<RPC_CALLID>4691</RPC_CALLID>

</DATA>

</RECORD>

<OPCODE>OP_END_LOG_SEGMENT</OPCODE>

<DATA>

</DATA>

</RECORD>

</EDITS>

在输出的xml文件中，每个RECORD记录了一次操作，比如图中的OP_ADD代表添加文件操作，OP_MKDIR代表创建目录操作。里面还记录了文件路径（PATH），修改时间（MTIME）、添加时间（ATIME）、客户端名称（CLIENT_NAME）、客户端地址（CLIENT_MACHINE）、权限（PERMISSION_STATUS）等非常有用的信息。

本文链接：https://blog.csdn.net/lxf20054658/article/details/80565670

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

go语言web开发系列之十六:gin框架中通过gorm使用事务_gorm 事务-程序员宅基地

文章浏览阅读5.4k次，点赞7次，收藏24次。一，演示项目的相关信息1,地址：https://github.com/liuhongdi/digv162，功能：以下订单为例，演示了在gorm中启用事务3, 项目结构：如图:说明：刘宏缔的go森林是一个专注golang的博客，地址：https://blog.csdn.net/weixin_43881017说明：作者:刘宏缔邮箱: [email protected]二，数据库及sql1，数据表:2,建表sql:CREATE TABLE `..._gorm 事务

线性二次型调节控制-程序员宅基地

文章浏览阅读200次。线性二次型调节控制现在我们讨论一个用于连续状态MDP的一个寻找最优策略的一个方法。该方法中我们直接近似V∗，而不采用离散化。该方法称之为值函数近似，在很多实际RL问题都有很好的应用。使用一个模型或为了发展一个值函数近似算法，我们假设对于MDP，我们有一个模型(model)或仿真器(simulator)。通俗的说，一个仿真器是一个黑盒子，输入是任何一个连续值的状态st，动作at，..._线性二次型调节器优势

分位数回归-Quantile regression-程序员宅基地

文章浏览阅读5.3w次，点赞29次，收藏187次。文章目录一、分位数回归概念二、相关推导2.1 分位数概念2.2 离差绝对值LAD2.3 分位数回归2.4 效果以及理解三、模型检验四、求解方法一、分位数回归概念分位数回归是估计一组回归变量X与被解释变量Y的分位数之间线性关系的建模方法。以往的回归模型实际上是研究被解释变量的条件期望。而人们也关心解释变量与被解释变量分布的中位数，分位数呈何种关系。它最早由Koenker和Bassett(197..._分位数回归

北理计算机学院钟宏,袁汉宁_北京理工大学计算机学院-程序员宅基地

文章浏览阅读139次。代表性学术成果[1] Hanning Yuan, Meng Fang，Xinquan Zhu，Hierarchical Sampling for Multi-Instance Ensemble Learning, IEEE Transactions on Knowledge and Data Engineering, 2013,25(12):2900~2905(SCI/Ei)[2] Hanning..._北京理工大学袁汉宁

移动App | 个人隐私信息合规检测浅析及方法_隐私协议检测实现逻辑-程序员宅基地

文章浏览阅读9.2k次，点赞4次，收藏37次。“移动互联网”的形势下，个人隐私信息泄露所引发的事件越来越多，大众对隐私安全的重视程度越来越高；国家网信办、工信部、公安部、市场监管局等四部委及其他相关机构陆续出台个人信息保护规范和细则，并落地实施。_隐私协议检测实现逻辑

ios二维码扫描__viewpreview.bounds.size.height - _viewpreview.bou-程序员宅基地

文章浏览阅读723次。iOS：原生二维码扫描时间 2015-01-28 14:06:00 博客园精华区原文 http://www.cnblogs.com/pretty-guy/p/4255359.html主题 iOS做iOS的二维码扫描，有两个第三方库可以选择，ZBar和ZXing。今天要介绍的是iOS7.0后AVFoundation框架提供的原生二维码扫描。首先需要添加__viewpreview.bounds.size.height - _viewpreview.bounds.size.height * 0.4f

随便推点

移动端开发基础_一个移动端项目对于程序员来说分成哪几块-程序员宅基地

文章浏览阅读353次。移动端开发基础1、视口问题视口（viewport）就是浏览器显示页面内容的屏幕区域。视口可以分为布局视口、视觉视口和理想视口我们一般都使用理想视口！！！（1）、布局视口（layout viewport）1、一般移动设备的浏览器都默认设置一个布局视口，用于解决早期的pc端在手机上显示的问题2、ios、Android基本都将这个视口分辨率设置为980px，所以pc上的网页大多都可以在手机上呈现，只不过元素看上去很小，一般默认可以通过手机缩放网页。布局视口经过发展后不适合我们在进行使用！！！（2_一个移动端项目对于程序员来说分成哪几块

TCP和UDP的优缺点及区别_tcp udp区别与优缺-程序员宅基地

文章浏览阅读187次。TCP的优点：可靠，稳定 TCP的可靠体现在TCP在传递数据之前，会有三次握手来建立连接，而且在数据传递时，有确认、窗口、重传、拥塞控制机制，在数据传完后，还会断开连接用来节约系统资源。 TCP的缺点：慢，效率低，占用系统资源高，易被攻击 TCP在传递数据之前，要先建连接，这会消耗时间，而且在数据传递时，确认机制、重传机制、拥塞控制机制等都会消耗大量的时间，而且要在每台设备上维护所有的传输连接..._tcp udp区别与优缺

多种人脸属性识别（python）_options = {'face_field': 'gender, age, beauty, mas-程序员宅基地

文章浏览阅读3.2k次，点赞6次，收藏24次。基于 Python + 百度AI 开发的多种人脸属性识别程序可检测：年龄、颜值、表情、脸型、性别、眼镜、情绪等各种人脸属性程序代码如下：# -*- coding:utf-8 -*-from aip import AipFaceimport base64def shibe(file): """ 你的 APPID AK SK """ APP_ID = ''..._options = {'face_field': 'gender, age, beauty, mask,emotion,expression, glas

Element UI Dialog 闪烁问题_el-dialog 加了key之后闪烁-程序员宅基地

文章浏览阅读2k次。记录一个问题，今天在使用elementui中dialog组件时，将dialog组件封装成一个业务组件，在之后的使用中发现了一个问题。使用的场景是需要循环出来很多按钮，在按钮上绑定dialog事件，根据type传递参数，来切换不同样式的dialog。在使用过程中发现dialog组件会发生闪烁bug。最后经过一番痛苦的排查和尝试，原来是组件上绑定了：key的属性，属性值是type，只需要把这个属性删除掉，就没有问题了，其实这个dialog不经过循环，所以这个key完全是我写代码时粗心写上的。记录问题，引以_el-dialog 加了key之后闪烁

Android动画之RotateAnimation的基本用法-程序员宅基地

文章浏览阅读765次。1. 在android中提供了4中动画： AlphaAnimation 透明度动画效果 ScaleAnimation 缩放动画效果 TranslateAnimation 位移动画效果 RotateAnimation 旋转动画效果 2.我们这里讲一下RotateAnimation的使用 RotateAnimation构造方法参数详解: RotateAnimation (float_rotateanimation

python numpy从坐标序列中计算累计移动距离_python根据坐标计算跑动距离-程序员宅基地

文章浏览阅读460次。也是从其他程序中学习得到计算距离：position=[]通过list来存储坐标xy, position.append([x,y])position = np.array(position) 转换成数组dist_arr = np.concatenate((np.array([0]), np.cumsum(np.linalg.norm(position[:-1] - position[1:], axis=1))))dist_arr为累计距离和x_norm=np.linalg.norm_python根据坐标计算跑动距离