MySQL系列:innodb源码分析之redo log恢复_missing redo log file .\#innodb_redo\#ib_redo50 (w-程序员宅基地

技术标签: MySQL内核  

在上一篇《innodb源码分析之重做日志结构》中我们知道redo log的基本结构和日志写入步骤,那么redo log是怎么进行数据恢复的呢?在什么时候进行redo log的日志推演呢?redo log的推演只有在数据库异常或者关闭后,数据库重新启动时会进行日志推演,将数据库状态恢复到关闭前的状态。那么这个过程是怎么进行的呢?以下我们逐步来解析。

1.recv_sys_t结构

 innodb在MySQL启动的时候,会对重做日志文件进行日志重做,重做日志是通过一个recv_sys_t的结构来进行数据恢
复和控制的。它的结构如下:
[cpp]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. struct recv_sys_struct  
  2. {  
  3.  mutex_t     mutex;                                 /*保护锁*/  
  4.  ibool   apply_log_recs;                        /*正在应用log record到page中*/  
  5.  ibool   apply_batch_on;                     /*批量应用log record标志*/  
  6.    
  7.  dulint  lsn;  
  8.  ulint   last_log_buf_size;  
  9.   
  10.  byte*   last_block;                             /*恢复时最后的块内存缓冲区*/  
  11.  byte*   last_block_buf_start;             /*最后块内存缓冲区的起始位置,因为last_block是512地址对齐的,需要这个变量记录free的地址位置*/  
  12.  byte*   buf;                                        /*从日志块中读取的重做日志信息数据*/  
  13.  ulint   len;    /*buf有效的日志数据长度*/  
  14.   
  15.  dulint  parse_start_lsn;                       /*开始parse的lsn*/  
  16.  dulint  scanned_lsn;                           /*已经扫描过的lsn序号*/  
  17.   
  18.  ulint   scanned_checkpoint_no;          /*恢复日志的checkpoint 序号*/  
  19.  ulint   recovered_offset;                       /*恢复位置的偏移量*/  
  20.   
  21.  dulint  recovered_lsn;                         /*恢复的lsn位置*/  
  22.  dulint  limit_lsn;                                  /*日志恢复最大的lsn,暂时在日志重做的过程没有使用*/  
  23.   
  24.  ibool   found_corrupt_log;                   /*是否开启日志恢复诊断*/  
  25.   
  26.  log_group_t*   archive_group;  
  27.   
  28.  mem_heap_t*     heap;                             /*recv sys的内存分配堆,用来管理恢复过程的内存占用*/  
  29.  hash_table_t*  addr_hash;                     /*recv_addr的hash表,以space id和page no为KEY*/  
  30.  ulint   n_addrs;                                        /*addr_hash中包含recv_addr的个数*/  
  31. };  
在这个结构中,比较复杂的是addr_hash这个哈希表,这个哈希表是用sapce_id和page_no作为hash key,里面存储有恢复时对应的记录内容。恢复日志在从日志文件中读出后,进行解析成若干个recv_t并存储在哈希表当中。在一个读取解析周期过后,日志恢复会对hash表中的recv_t中的数据写入到ibuf和page中。这里为什么要使用hash表呢?个人觉得是为了同一个page的数据批量进行恢复的缘故,这样可以page减少随机插入和修改。 以下是和这个过程相关的几个数据结构:
[cpp]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. /*对应页的数据恢复操作集合*/   
  2. struct recv_addr_struct  
  3. {  
  4.  ulint   state;          /*状态,RECV_NOT_PROCESSED、RECV_BEING_PROCESSED、RECV_PROCESSED*/  
  5.  ulint   space;         /*space的ID*/  
  6.  ulint   page_no;    /*页序号*/  
  7.  UT_LIST_BASE_NODE_T(recv_t) rec_list;  
  8.  hash_node_t     addr_hash;  
  9. };  
  10. /*当前的记录操作*/  
  11. struct recv_struct  
  12. {  
  13.  byte    type;             /*log类型*/  
  14.  ulint   len;               /*当前记录数据长度*/  
  15.  recv_data_t*   data;    /*当前的记录数据list*/  
  16.  dulint  start_lsn;     /*mtr起始lsn*/  
  17.  dulint  end_lsn;      /*mtr结尾lns*/  
  18.  UT_LIST_NODE_T(recv_t) rec_list;  
  19. };  
  20. /*具体的数据体*/  
  21. struct recv_data_struct    
  22. {  
  23.  recv_data_t*   next;   /*下一个recv_data_t,next的地址后面接了一大块内存,用于存储rec body*/  
  24. };  
他们的内存关系结构图如下:

2.重做日志推演过程的LSN关系

除了这个恢复的哈希表以外,recv_sys_t中的各种LSN也是和日志恢复有非常紧密的关系。以下是各种lsn的解释:
    parse_start_lsn    本次日志重做恢复起始的lsn,如果是从checkpoint处开始恢复,等于checkpoint_lsn。
    scanned_lsn        在恢复过程,将恢复日志从log_sys->buf解析块后存入recv_sys->buf的日志lsn.
    recovered_lsn      已经将数据恢复到page中或者已经将日志操作存储addr_hash当中的日志lsn;
    在日志开始恢复时:
     parse_start_lsn = scanned_lsn = recovered_lsn = 检查点的lsn。
   在日志完成恢复时:
       parse_start_lsn =  检查点的lsn
       scanned_lsn = recovered_lsn = log_sys->lsn。
在日志推演过程中lsn大小关系如下:

3.日志恢复的主要接口和流程

恢复日志主要的接口函数:
    recv_recovery_from_checkpoint_start    从重做日志组内的最近的checkpoint开始恢复数据
    recv_recovery_from_checkpoint_finish  结束从重做日志组内的checkpoint的数据恢复操作
    recv_recovery_from_archive_start           从归档日志文件中进行数据恢复
    recv_recovery_from_archive_finish         结束从归档日志中的数据恢复操作
    recv_reset_logs                              
             截取重做日志最后一段作为新的重做日志的起始位置,可能会丢失数据

重做日志恢复数据的流程(checkpoint方式)
   1.当MySQL启动的时候,先会从数据库文件中读取出上次保存最大的LSN。
    2.然后调用recv_recovery_from_checkpoint_start,并将最大的LSN作为参数传入函数当中。
    3.函数会先最近建立checkpoint的日志组,并读取出对应的checkpoint信息
    4.通过checkpoint lsn和传入的最大LSN进行比较,如果相等,不进行日志恢复数据,如果不相等,进行日志恢复。
    5.在启动恢复之前,先会同步各个日志组的archive归档状态
    6.在开始恢复时,先会从日志文件中读取2M的日志数据到log_sys->buf,然后对这2M的数据进行scan,校验其合法性,而后将去掉block header的日志放入recv_sys->buf当中,这个过程称为scan,会改变scanned lsn.
    7.在对2M的日志数据scan后,innodb会对日志进行mtr操作解析,并执行相关的mtr函数。如果mtr合法,会将对应的记录数据按space page_no作为KEY存入recv_sys->addr_hash当中。
    8.当对scan的日志数据进行mtr解析后,innodb对会调用recv_apply_hashed_log_recs对整个recv_sys->addr_hash进行扫描,并按照日志相对应的操作进行对应page的数据恢复。这个过程会改变recovered_lsn。
    9.如果完成第8步后,会再次从日志组文件中读取2M数据,跳到步骤6继续相对应的处理,直到日志文件没有需要恢复的日志数据。
    10.innodb在恢复完成日志文件中的数据后,会调用recv_recovery_from_checkpoint_finish结束日志恢复操作,主要是释放一些开辟的内存。并进行事务和binlog的处理。
上面过程的示意图如下:


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/duxingxia356/article/details/42674683

智能推荐

高亮显示代码库 Highlight.js-程序员宅基地

文章浏览阅读321次,点赞8次,收藏4次。高亮显示代码库 Highlight.js如果你正在寻找一个强大的高亮显示代码库,那么 Highlight.js 绝对是你的不二选择。项目简介Highlight.js 是一款轻量级的 JavaScript 库,可以自动检测并高亮显示代码片段。它支持多种编程语言,包括但不限于 HTML、CSS、JavaScript、PHP、Python、Ruby 等。此外, Highlight.js 还提供了...

BootStrap3 下拉菜单dropdown_el-dropdown-menu 左对齐-程序员宅基地

文章浏览阅读969次。目录官方地址基本用法向上弹出菜单菜单项对齐左对齐带标题的下拉菜单带分割线的下拉菜单激活的菜单项禁用的菜单项整体代码官方地址https://v3.bootcss.com/components/#dropdowns基本用法.dropdown 声明下拉菜单组件button 声明触发器.dropdown-toggledata-toggle="dropdown"ul 声明菜单项...._el-dropdown-menu 左对齐

Andoid Studio-android开发03-点击按钮Button-在TextView上显示文本_android ui 让按钮显示在文本上层-程序员宅基地

文章浏览阅读7.5k次,点赞5次,收藏41次。一、界面设计在activity的design模式下,从palette中拖曳三个TextView和一个Button到界面上在activity_main.xml中设置整体布局为:<LinearLayout ="http://schemas.android.com/apk/res/android"在设计模式下,拖动TextView和Button的边框,调整大小。对应的xml代码为:<?xml version="1.0" encoding=._android ui 让按钮显示在文本上层

PTA List Leaves(非链表题解)_list leaves 题解-程序员宅基地

文章浏览阅读219次。题目如下:7-4 List Leaves (25 分)Given a tree, you are supposed to list all the leaves in the order of top down, and left to right.Input Specification:Each input file contains one test case. For each ca..._list leaves 题解

Ext JS中隐藏TextField 同时隐藏 Label的方法_ext.js 隐藏-程序员宅基地

文章浏览阅读2.8k次。Ext JS中调用TextField.hide()的时候文本框隐藏了,但是前面的label会留在那(其他控件也有这问题),很怪异,用下面的方法可以一起隐藏: 隐藏: Javascript代码 field.disable();// for validation field.getEl().up(.x-form-item).setDisplayed(false); // h_ext.js 隐藏

使用阿里巴巴开源项目easyexcel解决poi的oom问题_阿里巴巴 处理poi-程序员宅基地

文章浏览阅读6.8k次,点赞2次,收藏10次。easyexcel最新版本:1.1.2-beta4源码git地址:easyexcelmaven坐标:&lt;groupId&gt;com.alibaba&lt;/groupId&gt;&lt;artifactId&gt;easyexcel&lt;/artifactId&gt;&lt;version&gt;1.1.2-beta4&lt;/version&gt;一、定义Java模..._阿里巴巴 处理poi

随便推点

@SpringBootApplication already applies given @ComponentScan-程序员宅基地

文章浏览阅读1.3w次,点赞2次,收藏11次。我在写一个feign的例子,在启动类中加上@ComponentScan下面有红线。提示内容为@SpringBootApplication already applies given @ComponentScan代码是根据尚硅谷课程里面写的,。看了源代码写的是一样的。https://www.bilibili.com/video/BV1HW411V7cr?p=37不知道哪里出了问题。不知道从哪个方向入手解决。..._already applies given

JPEG系列四 JPEG图像压缩优化_jpeg如何对量化表压缩率进行调整-程序员宅基地

文章浏览阅读5.7k次,点赞4次,收藏14次。JPEG中使用了量化、哈夫曼编码等,极大的压缩了图片占用的空间,那么是否可以进一步压缩呢?从技术角度讲,是可以的。如DropBox开源的lepton,在目前的JPEG压缩基础上,可以再节省22%左右的空间。lepton中使用算术编码(VP8)替换哈夫曼编码,以得到更高的压缩率。算术编码90年代已经出现,但是受限于专利,没有被广泛使用。同样由于专利限制没有广泛使用的还有gif中的压缩编码lzw。本篇介绍算术编码的基本原理和过程。_jpeg如何对量化表压缩率进行调整

Android 7.0以上时使用recycleview发现Item显示不全_as中recycleview的item排列有问题-程序员宅基地

文章浏览阅读2.7k次。 前几天项目终于到一个问题,API在23以上时候recycleview里面嵌套一个recycleview,它的item显示不全,最后找到其解决办法。如下为你的RecyclerView上再嵌套一层RelativeLayout然后添加属性 android:descendantFocusability="blocksDescendants",android:descendantFocusability..._as中recycleview的item排列有问题

Python爬虫:requests的headers该怎么填_爬虫headers怎么写-程序员宅基地

文章浏览阅读1.9w次,点赞30次,收藏88次。1、为什么要写headers?我们一般写的爬虫会默认向服务器发送爬取请求,而一般情况下网站是不允许被爬虫访问的,输出的text信息中会出现抱歉,无法访问等字眼。我们通过更改User-Agent字段则可以实现网站请求,实现网页应答。2、 headers该怎么找?最简单的步骤如下:打开你要爬虫的网页 按F12或通过浏览器右上角的“更多工具”选项选择【开发者工具】 按F5..._爬虫headers怎么写

关于ie8以上浏览器下—兼容性视图设置-程序员宅基地

文章浏览阅读3.4k次。近期开发遇到一个问题,在ie11上页面排版显示的凌乱不堪,后来发现是在浏览器的兼容性视图设置 这个应用中 添加了当前站点,去掉之后页面就显示正常了。 出于好奇,查询了一些关于这个功能的说明。原来兼容性视图设置项目,通过设置,可以让浏览器采用IE7.0的渲染模式,解决按照老版本浏览器要求开发的网页的错位和跑远等问题。也就是说为了兼容 在ie8之前老版本的ie浏览器的w

MD5加 秘钥 (数据加解密类 / 直接复制使用)_md5 secretkey-程序员宅基地

文章浏览阅读5.4k次。import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;import javax.crypto.Cipher;import javax.crypto.spec.SecretKeySpec;public class AesUtil { private static fina..._md5 secretkey

推荐文章

热门文章

相关标签