数据库同步工具开源(TDSQL数据同步工具)

数据库同步工具,开源,TDSQL数据同步工具。小编来告诉你更多相关信息。

开源的数据同步中间件-DBSyncer

项目介绍

DBSyncer是一款开源的数据同步中间件，提供Mysql、Oracle、SqlServer、Elasticsearch(ES)、Kafka、SQL(Mysql/Oracle/SqlServer)等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

开源地址：https://gitee.com/ghi/dbsyncer

组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系

实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志

开发插件，自定义转化同步逻辑

安装部署

系统介绍

centos7

ip:192.168.1.8

需要部署安装JDK和Maven

安装JDK1.8

如果安装了可以忽略

exportJAVA_HOME=/usr/local/java/jdk1.8.0_211

exportJRE_HOME=${JAVA_HOME}/jre

exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

exportPATH=${JAVA_HOME}/bin:$PATH

'>>/etc/profile

安装maven

配置maven：在配置文件配置中加上：

exportMAVEN_HOME=/data/maven/apache-maven-3.5.4

exportPATH=$MAVEN_HOME/bin:$PATH

ApacheMaven3.5.4

下载安装包

https://gitee.com/ghi/dbsyncer/releases，这里我下载v1.1.7-Beta版本

[INFO]BUILDSUCCESS

[INFO]------------------------------------------------------------------------

[INFO]Totaltime:03:17min

[INFO]Finishedat:2023-04-28T16:40:21+08:00

[INFO]------------------------------------------------------------------------

‘/data/wwwroot/web/dbsyncer-v1.1.7-Beta/dbsyncer-web/target/dbsyncer-1.1.7-Beta.zip’->‘/data/wwwroot/web/dbsyncer-v1.1.7-Beta/dbsyncer-1.1.7-Beta.zip’

查看端口

tcp600:::18686:::LISTEN5754/java

开放端口(非必要)

iptables-AINPUT-ptcp--dport18686-jACCEPT

serviceiptablessave

systemctlrestartiptables.service

打开浏览器访问

http://IP:18686

http://192.168.1.8:18686/

账号和密码

admin/admin

同步MySQL数据库

192.168.1.6:3306同步到--->192.168.1.8:61921

192.168.1.6:61922

192.168.1.8:61921

同步数据库dzzoffice

mysql-uroot-h192.168.1.6-P61922-p'123456'

mysql-uroot-h192.168.1.8-P61921-p'123456'

查看binlog日志

>showbinarylogs;

目标库的server_id不能为1

mysqladmin-uroot-h192.168.1.8-p123456-P61921shutdown

修改mysql的配置文件

server_id=1改为server_id=100

/usr/bin/mysqld_safe--defaults-file=/data/mysql/etc/61921.cnf&

添加连接

进入后台点击“添加连接”

添加驱动启动

优点：开源系统，使用上类似于阿里云的DTS，如果作为数据同步使用还可以，作为生产环境就需要多测试了

主要用于A库的某数据库同步到B库

增量同步配置（源库）

Mysql

DumpBinlog二进制日志。Master同步Slave,创建IO线程读取数据，写入relaylog，基于消息订阅捕获增量数据。

配置修改my.ini文件

server_id=1

log-bin=mysql_bin

binlog-format=ROW

max_binlog_cache_size=256M

max_binlog_size=512M

expire_logs_days=7

replicate-do-db=test

Oracle

CDN注册订阅。监听增删改事件，得到rowid，根据rowid执行SQL查询，得到变化数据。

授予账号监听权限,同时要求目标源表必须定义一个长度为18的varchar字段，通过接收rowid值实现增删改操作。

grantchangenotificationto你的账号

定时

假设源表数据格式

预览

驱动管理

驱动详情

驱动表字段关系配置

监控

上传插件

声明：本文图片、文字、视频等内容来源于互联网，本站无法甄别其准确性，建议谨慎参考，本站不对您因参考本文所带来的任何后果负责！本站尊重并保护知识产权，本文版权归原作者所有，根据《信息网络传播权保护条例》，如果我们转载内容侵犯了您的权利，请及时与我们联系，我们会做删除处理，谢谢。