canal 全量/增量数据同步说明_canal 全量同步数据-程序员宅基地

一、日志文件完整

1、全量数据同步

1、修改\canal.deployer-1.1.5\conf\example下的instance.properties
在这里插入图片描述
通过以下三个配置实现canal全量数据同步

# mysql日志文件
canal.instance.master.journal.name=mysql-bin.000001
# 获取日志的起始位置
canal.instance.master.position=0
# 获取日志的起始时间戳
canal.instance.master.timestamp=1632881068

更新instance.properties配置后，需要将同级目录的meta.dat删除，因为这个文件记录canal已经消费的位置等信息。

二、日志文件不完整

1、日志文件为空的

1.先将表数据导入从数据库中
2.再启动canal，通过canal增量同步

2、日志文件不为空的

1.通过\canal.deployer-1.1.5\conf\example\instance.properties的canal.instance.master.timestamp时间戳参数定位目前的备份时间

# 配置时间戳如下
canal.instance.master.timestamp=1632881068

2.将表数据导入到从数据库
3.启动canal，通过canal增量同步

三、定时全量同步

定时进行全量同步，确保数据的准确性

更多canal配置详解，可进行百度

本文链接：https://blog.csdn.net/qq_37797234/article/details/120542362

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

lecode-两数相加_lecode 两个数和-程序员宅基地

文章浏览阅读617次。给出两个非空的链表用来表示两个非负的整数。其中，它们各自的位数是按照逆序的方式存储的，并且它们的每个节点只能存储一位数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0 开头。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 -> 0 -> ..._lecode 两个数和

关于js判断鼠标移入元素的方向——上下左右-程序员宅基地

文章浏览阅读591次。　一开始我是这么想的，将待移入的元素分割四块，用mousemove获取第一次鼠标落入的区域来判断鼠标是从哪个方向进去的。所以只要写个算法来判断鼠标的值落入该元素的区域就可以得出鼠标移入的方向，如下图：　　对于数学不太好的我，只能上网找下看有没有人解决了。找到了如下这段：var x = (e.pageX - this.offsetLeft - (w / 2)) * (w > h..._js mousemove 向左还是向右

Android 通过Java代码设置layout_weight_android 代码设置layout_constraintvertical_weight-程序员宅基地

文章浏览阅读9.2k次。通过Java code来设置View的layout_weight。方法一：LayoutParams param = new LinearLayout.LayoutParams( LayoutParams.MATCH_PARENT, LayoutParams.M_android 代码设置layout_constraintvertical_weight

用Tableau制作瀑布图及拓展延伸_可拓展tabui图-程序员宅基地

文章浏览阅读547次。来源：微信公众号：Tableau从入门到精通Tableau制作瀑布图，注意事项： 1、善用颜色区分。 2、善于拓展、自我创造，自己尝试对瀑布图做变形。切记：每一个细节都不要放过。先看成果详细步骤步骤1连接自带超市数据源。若无该数据源，可在以下链接中提取：链接：https://pan.baidu.com/s/1gyvKg8SBSb-eKWzsg1MJdA提取码：fi2n步骤2订单日期拉到列，右击..._可拓展tabui图

smf-php,smf_1-1-13_install-程序员宅基地

文章浏览阅读338次。smf_1-1-13_install所属分类：WEB开发开发工具：PHP文件大小：1724KB下载次数：2上传日期：2011-06-03 00:14:00上传者：李艳红说明：SMF为加拿大Simple Machines Forum的简称。简练，效率，强大，免费。 SMF 就是上面的集合体。SMF 是下一代论坛和充满了前景的软件，同时又只消耗很少的服务器资源。当然，这都是免费的。一些功能，包..._smf开发

探索性测试01-什么是探索性测试-程序员宅基地

文章浏览阅读8.2k次，点赞5次，收藏56次。一、什么是探索性测试探索式测试，最早是由测试专家 Cem Kaner 博士在 1983 年提出的，并受到当时语境驱动的软件测试学派的支持。后来，Cem Kaner 博士在佛罗里达工学院的同事 James A. Whittaker，凭借着在微软和谷歌担任测试架构师和测试总监的经验积累，撰写了最早的探索式测试书籍（Exploratory Software Testing），扩展了探索式测试的概念和方法。常用于质量管理的戴明环（PDCA）是按照Plan(计划)、Do(执行)、Check(检查)和Act(处_探索性测试

随便推点

linux开发环境搭建_undefined reference to `sqlallochandle-程序员宅基地

文章浏览阅读653次。cygwin 修改bashrcexport PS1='[\u@\h \W]\$ '或者export PS1='[\W]\$ '_undefined reference to `sqlallochandle

Kabsch算法求解旋转矩阵-程序员宅基地

文章浏览阅读8.4k次，点赞8次，收藏36次。Kabsch算法【1】由W.Kabsch在1976年提出的，用于求解最优旋转，在分子生物学，特别是比较蛋白质的相似性方面有重要的应用。文章【2】将其应用在传感器外参标定上，即对属于同一目标的两批三维点，通过Kabsh算法求得其旋转矩阵R。方法推导设PPP和QQQ是同一个目标在不同坐标系下的两组点，pip_ipi和qiq_iqi是集合内的第iii个点。令两个坐标系的旋转为RRR，平移为T..._kabsch

GA-LSTM回归预测 | Matlab遗传算法优化长短时记忆网络回归预测-程序员宅基地

文章浏览阅读24次。在当今的能源领域，风能作为一种清洁、可再生的能源源泉，受到越来越多的关注。然而，由于风能的不稳定性和不可预测性，风电的发电效率一直是一个挑战。为了解决这个问题，许多研究人员开始使用机器学习算法来预测风电的发电量。长短时记忆（LSTM）是一种常用的深度学习模型，它在序列数据的处理中表现出色。然而，由于LSTM模型的参数较多，其训练过程较为复杂，很容易陷入局部最优解。为了提高LSTM模型的预测性能，本文提出了一种基于遗传算法（GA）优化的GA-biLSTM模型。

二叉树各种遍历功能的实现（c/c++）_实现二叉树各种遍历算法-程序员宅基地

文章浏览阅读1.8k次，点赞2次，收藏28次。二叉树的递归方式先序、中序、后序遍历，非递归方式先序、中序、后序遍历，层次遍历。_实现二叉树各种遍历算法

C# Winform ListView用法-程序员宅基地

文章浏览阅读1.2w次，点赞26次，收藏113次。添加标题在 Winfrom 界面中添加一个 ListView 组件，然后点击右上角的箭头，点击编辑列添加下面标题此时 ListView 还不能显示这些标题，在视图这里选择 Details就会如下图所示显示网格此时，表格只是一片空白，可以在属性面板中设置，显示网格，如下图这时，就如下图所示添加数据到表格中从网上帖子中复制了一段代码private void Button_Test_Click(object sender........_winform listview

数据库查询之对含有数字和字母的字段进行排序_字符数字组合排序sql-程序员宅基地

文章浏览阅读2.9k次。需求：在实际项目需求中可能会遇到这种情况：需要从数据库中获取某些数据，然后在前端通过列表的形式展现出来，但是展现的列表需要根据某个字段进行排序，而这个字段的内容又是由字符和数字组合而成的，那么应该如何根据数字进行排序呢？思路一：从数据库获取数据的同时通过order by来控制需要排序的字段，这样会默认根据数字进行排序，但是存在的问题是会先取数字的第一位按从大到小进行排序，然后取第二位进..._字符数字组合排序sql