轻量级MySQL数据增量同步的方案

mysql-schema-sync + Percona Toolkit

如果你也是MySQL技术栈,那么使用这样的方案是相对轻量化、简单可靠的。相比大数据工具 DataX、Flink CDC、chunjun等部署方便且不使用集群,是可以满足中小企业对经济和实用的要求,较好的平衡过渡方案。如果你是异构数据源,那么本方案并不适合。

数据同步前先用 mysql-schema-sync 进行表结构同步,之后再使用SQL工具集工具 Percona Toolkit 的 pt-table-sync 命令来进行数据定时增量同步。

mysql-schema-sync

GitHub:hidu/mysql-schema-sync: mysql表结构自动同步工具(目前只支持字段、索引的同步,分区等高级功能暂不支持) (github.com)

MySQL Schema 自动同步工具 mysql-schema-sync ,用于将 线上 数据库 Schema 变化同步到 本地测试环境! 只同步 Schema、不同步数据

Percona Toolkit

官网:Percona Toolkit Documentation — Percona Toolkit Documentation

Percona Toolkit 是一个高级命令行工具的集合,Percona 支持人员使用这些工具来执行各种MySQL、MongoDB和系统任务,这些任务太过困难或复杂,无法手动执行。

这些工具是私人或 “一次性 “脚本的理想替代品,因为它们是专业开发的,经过正式测试,并有完整的文档。它们也是完全独立的,因此安装快速而简单,而且不需要安装库。

Percona Toolkit 源自 Maatkit 和 Aspersa,这是两个最著名的用于 MySQL 服务器管理的工具箱。它是由 Percona 开发和支持的。欲了解更多信息和其他由 Percona 开发的免费、开源软件,请访问http://www.percona.com/software/。

Author: thinkwei

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注