MySQL到Kafka实时数据同步，手把手教你！-程序员宅基地
技术标签： python java mysql 数据库 大数据
点击蓝字 关注我们
很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题。同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。
我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到 Kafka，跟大家分享一下，希望对你有帮助。
本次 MySQL 数据实时同步到 Kafka 大概只花了几分钟就完成。使用的工具是 Tapdata Cloud，这个工具是永久免费的。
第一步：配置MySQL 连接
1.点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 MySQL；
2.在打开的连接信息配置页面依次输入需要的配置信息；
【连 接 名 称】设置连接的名称，多个连接的名称不能重复
【数据库地址】数据库 IP / Host
【端 口】数据库端口
【数据库名称】tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database，而不是一个 mysql 实例。
【账 号】可以访问数据库的账号
【密 码】数据库账号对应的密码
【时 间 时 区】默认使用该数据库的时区；若指定时区，则使用指定后的时区设置。
3.测试连接，提示测试通过；
4.测试通过后保存连接即可。
第二步：配置 Kafka 连接
1.同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 Kafka
2.在打开的连接信息配置页面依次输入需要的配置信息，配置完成后测试连接保存即可。
第三步：选择同步模式-全量/增量/全+增
进入Tapdata Cloud 操作后台任务管理页面，点击添加任务按钮进入任务设置流程。
根据刚才建好的连接，选定源端与目标端。
根据数据需求，选择需要同步的库、表，如果你对表名有修改需要，可以通过页面中的表名批量修改功能对目标端的表名进行批量设置。
在以上选项设置完毕后，下一步选择同步类型，平台提供全量同步、增量同步、全量+增量同步，设定写入模式和读取数量。
如果选择的是全量+增量同步，在全量任务执行完毕后，Tapdata Agent 会自动进入增量同步状态。
在该状态中，Tapdata Agent 会持续监听源端的数据变化（包括：写入、更新、删除），并实时地将这些数据变化写入目标端。
点击任务名称可以打开任务详情页面，可以查看任务详细信息。
点击任务监控可以打开任务执行详情页面，可以查看任务进度/里程碑等的具体信息。
第四步：进行数据校验
一般同步完成后，我都习惯性进行一下数据校验，防止踩坑。
Tapdata Cloud 有三种校验模式，我常用最快的快速count校验 ，只需要选择到要校验的表，不用设置其他复杂的参数和条件，简单方便。
如果觉得不够用，也可以选择表全字段值校验 ，这个除了要选择待校验表外，还需要针对每一个表设置索引字段。
在进行表全字段值校验时，还支持进行高级校验。通过高级校验可以添加JS校验逻辑，可以对源和目标的数据进行校验。
还有一个校验方式关联字段值校验 ，创建关联字段值校验时，除了要选择待校验表外，还需要针对每一个表设置索引字段。
上面就是我亲测的 MySQL数据实时同步到 Kafka 的操作分享，希望对你有帮助！
其他数据库的同步操作
其他数据库数据实时同步到 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、Dummy DB 的方式也都是先配置源和目标的连接，然后新建任务选择同步模式：全量/增量/全量+增量。
因为步骤相同，其他就不再贴图说明了。
创建连接的时候，有没有发现：DB2、Sybase、Gbase 几个数据库现在是灰色锁定状态，应该是在开发中了，可能后续也会支持这些数据库的同步功能。
Tapdata Cloud 是承诺永久免费使用的，不过要求更高、有预算的朋友也可以使用企业版，还可以申请试用。
内容来源于作者：海拥，后续蓝桥云课也会上线他的课程，敬请期待~
如果你有任何编程问题，欢迎通过文末方式加入代码交流群讨论哦~
智能推荐
itunes一直显示正在验证iphone恢复_超全面iPhone实用技巧汇总，有用收藏-程序员宅基地
文章浏览阅读3.3k次。现在使用苹果手机的人也多了，而使用手机时，我们会在手机上存储各种数据，以及学会使用iPhone上的各种技巧。那现在就来和大家讲讲，如何使用iPhone手机的各种技巧。先来了解下iPhone手机的数据备份与恢复吧，毕竟数据在手机上的重要性是不言而喻的。一、iPhone数据备份与恢复(一)iPhone数据备份1、iCloud备份(1)在iPhone手机上，点击“设置”，进入到界面后，勾选需要备份的数据..._安装 itunes 一直查询
4gl的内建函数和操作符简介_4gl内置函数 比对字符串-程序员宅基地
文章浏览阅读1.1k次。4gl的内建函数和操作符简介2004-11-06 22:51:25分类： Informix-4gl中有一些有内建函数和操作符，便于在编程时使用，下面做一些简单的介绍：FIELD_TOUCHED(field) : 如果用户改变了屏幕中 field 域，它就返回TRUE。GET_FLDBUF(field_list) : 返回一个或多个域的字符值。FGL_LA_4gl内置函数 比对字符串
干货：送你一份一线大厂面试题_生产线一线员工面试试卷-程序员宅基地
文章浏览阅读318次。作者 |莱乌最近小莱的一些朋友去大厂面试，小莱与他们沟通了后总结了一份面试题，希望给想进大厂的同学提供一些帮助。面试题包括：百度、滴滴、头条、微博、小米、顺丰等一线大厂。数据结构1、单链表反转（手写代码）2、如何判断一个单链表是否有环？2、给你一个实现栈的类，如何实现一个堆？Redis1、redis数据类型有哪些，及分别对应的底层数据结构2、跳表的实现方式，时间复杂度3、分布式锁的实现，详细参考《面试官：谈谈分布式锁的实现》4、redis持久化方式，..._生产线一线员工面试试卷
vue项目各文件说明_vue项目各个文件夹解释-程序员宅基地
文章浏览阅读3.6k次，点赞6次，收藏55次。包裹，默认是影响全局的，如需定义作用域只在该组件下起作用，需在标签上加scoped，_vue项目各个文件夹解释
QT学习记录4（防止窗口被遮盖（多级窗口））_qt 窗口置顶防覆盖-程序员宅基地
文章浏览阅读8.9k次，点赞11次，收藏39次。在做项目的时候，由于是嵌入式环境，触摸屏全屏显示，所以也就没有状态栏，因此要避免弹窗弹出后，点击背景窗口后，当前窗口不可见的问题。同时，由于多级窗口的存在，所以不能用简单的设置窗口属性位于最前就能解决，因此采用了事件过滤器实现，趁周末这个时间，重新做个小Demo，记录一下，温故而知新。先说一下这个Demo： 一共有主窗口，配置窗口，和显示信息的弹窗3级窗口，同时还有出现错误或者需要提示的时..._qt 窗口置顶防覆盖
钢筋（螺纹钢）检测计数数据集_钢筋网检测数据集-程序员宅基地
文章浏览阅读379次，点赞9次，收藏7次。人工智能深度学习钢筋（螺纹钢）检测计数数据集，近2000张图像，人工打标，标注完整。_钢筋网检测数据集
随便推点
什么是数据结构？_数据结构是什么-程序员宅基地
文章浏览阅读1.6w次，点赞10次，收藏59次。什么是数据结构？数据结构是什么？数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。定义名词定义数据结构是指相互之间存在着一种或多种关系的数据元素的集合和该集合中数据元素之间的关系组成。也就是说，数组结构指的是数据集合及..._数据结构是什么
oracle序号10位不重复id,Oracle数据库---主键ID生成不重复的字符串函数sys_guid()-程序员宅基地
文章浏览阅读830次。Oracle数据库—主键ID生成不重复的字符串函数sys_guid()今天准备压测服务器，准备生成10W条数据，但是主键ID要Oracle数据库自动生成。在oracle8i以后提供了一个生成不重复的数据的一个函数sys_guid()一共32位，生成的依据主要是时间和机器码，具有世界唯一性，类似于java中的UUID(都是世界唯一的)。其应用场景：当数据库某字段设置为唯一，则可自动生成(比如主键)；..._10wei数据库主键
用Tkinter打造自己的Python IDE开发工具（4）利用HP_tk模块设计自己的代码编辑器_hptk-程序员宅基地
文章浏览阅读8.9k次，点赞8次，收藏18次。用Tkinter打造自己的Python IDE开发工具（4）利用HP_tk模块设计自己的代码编辑器HP_tk.py模块是小白量化第二代量化系统中的开发模块。其中HP_tk.py模块是小白量化系统GUI的开发库，上一篇介绍的Tree控件使用了HP_tk.py模块中的，购买<零基础搭建量化投资系统――以Python为工具>正版书，加读者群下载源代码。在xb2g.zig压缩包中。首先我们要建立主创建口。import tkinter as tk #导入Tkinterimport tk_hptk
UnrealEngine4 - 获取UE4最后的渲染缓存数据BackBuffer_webrtc unreal-程序员宅基地
文章浏览阅读5.4k次，点赞4次，收藏24次。1 获取UE4最后的渲染缓存的思路1.2 从官方插件PixelStreaming中得到的思路PixelStreaming是UE_4.21开始支持的一项技术，简单来说就是能够将游戏跑在服务器上，你可以通过浏览器来玩，玩家端不需要额外操作，只需要一个浏览器，所有的逻辑处理和渲染都在“云”端执行。它不仅仅只是一个插件(虽然有PixelStreamingPlugin这个插件，但它只是PixelStreaming实现中的一环)，其实现具有一套独立与UE游戏的设计和组织方式。而其中PixelStreamingPl_webrtc unreal
关于 composer 升级后的问题 Undefined index: name_composer artisan undefined index: name-程序员宅基地
文章浏览阅读2.5k次，点赞4次，收藏5次。我是真的佛了，这个问题竟然是升级 composer 带来的。# composer 升级后，出现这个 undefined index:name 问题composer self-update --2 经过网上搜索，查资料，我的解决方案就是compoesr 版本降级。如有更好的解决方案，请在下面留言！！谢谢！！composer self-update --1..._composer artisan undefined index: name
提高您的kubectl生产力（第二部分）：命令完成、资源规范快速查看和自定义列输出格式...-程序员宅基地
文章浏览阅读424次。本文翻译自《Boosting your kubectl productivity》。第一部分：什么是kubectl？1. 通过命令完成(command completio..._"[[ -r \"/opt/homebrew/etc/profile.d/bash_completion.sh\" ]] && . \"/opt/homebre"