一、数据库发布
演示使用的源端数据库类型为为MYSQL,更多发布数据库类型同步前置设置,请参考文档 维护文档-操作手册-数据发布
1、定时发布
(1) 新增发布节点
进入发布页面,点击右上角新增按钮,填写发布节点名称(为方便区分业务来源,建议以见名知义的方式命名),选择运行的容器(一般默认zcbus容器),选择源端数据库类型为mysql,点击确定按钮,进入发布节点配置页面(也可能过点击发布页面右侧的配置按钮进入)
(2) 配置数据库连接信息
在发布-数据配置页面完善源库数据连接信息,
- db_name为需要同步的数据库名
- host为数据库所在的服务器IP
- port为数据库监听端口(mysql默认为3306)
- user为源端数据库用户名
- password为源库数据用户密码
并点击高级设置,找到参数real_export_by_where,并将参数值修改为定时
完成如上信息后,点击测试连接,成功后进入下一步
(3) 选择发布数据表
在发布-数据配置页面,完善如下信息
数据库:源端抽取的数据库名称
表名:源端抽取的表的名称,可以自行命名
状态:选择表的发布状态,一般选择全量完成
执行select查询前,执行的sql语句:状态获取方式,可调试定时同步前涉及到的字段值,此操作更改的是源库里的状态值,例如状态1是允许查询
update zcbus.tets1 set status=1 where status=3; ---此部分为锁定,将3状态全部锁定为1状态
执行的sql语句:此处仅为select导出部分的sql,支持联合查询,如
select a.id,b.name from test1 a,test2 b where a.id=b.id and a.status=1;
执行select查询后,执行的sql语句:可调试定时同步后涉及到的字段值,此操作更改的是源库里的状态值,例如在定时抽取完成后,将状态更改为4状态完成
update zcbus.test1 set status=4 where status=1; ----将所有1状态改变为4状态,其中4代表完成状态
初始值/条件sql:设置定时同步的条件值,可递增
数字递增【程序在运行的过程中,按照某个数字字段,从小开始递增,每次执行的时候,根据数字字段获取范围内数据,并且根据插叙最大值作为下一次查询的最小值】 (1)设置需要查询的SQL语句 SQL中#zcbus_min#,#zcbus_max#代表规则中对应的最大值和最小值 (2)设置SQL中查询最小值 (3)设置SQL中设计某个值最大值查询 时间递增【程序在运行的过程中,按照某个时间字段,从小开始递增,每次执行的时候,根据数字字段获取范围内数据,并且根据插叙最大值作为下一次查询的最小值】 (10设置需要查询的SQL语句 SQL中#ZCBUS_MIN#,#ZCBUS_MAX#代表规则中对应的最大值和最小值 (2)设置SQL中查询最小值 (3)设置SQL中设计某个值最大值查询
数据应用前,执行的sql语句:目标数据库在订阅之前,需要执行的sql,例如若目标库中已存在记录数据,可能过执行truncate语句将目标表数据清空
数据应用后,执行的sql语句:目标数据库在数据订阅完成后,需要执行的sql
例图:
完成如上信息后,点击提交即可
(4) 发布数据
一般则言,定时任务无需手动进行发布,但如需要,可通过进入发布-数据配置页面,在第3步骤中点击条件按钮,可在弹出修改页面上修改同步的条件sql,可通过点击立即发布按钮实现手动发布数据
二、创建订阅客户端
进入订阅页面,再点击订阅页面左上角订阅管理按钮
进入订阅管理页面,点击右上角添加按钮,在弹出的新增页面中,输入客户端名称,客户端类型选择为普通客户端,容器一般默认为zcbus,状态默认即可,点击保存,即可在订阅管理页面中看到新增的订阅客户端
三、添加订阅数据库
进入订阅页面,在左上角的订阅下拉框中选中一个订阅客户端,选中后点击订阅页面左上角的数据库管理按钮,在订阅-数据库管理页面页面点击新增按钮,并选择数据库类型为MYSQL,完善目标数据库信息,
- db_name为需要同步的数据库名,
- host为数据库所在的服务器IP,
- port为数据库监听端口(mysql默认为3306),
- user为源端数据库用户名,
- password为源库数据用户密码,
完成如上信息后,点击测试连接,连接成功后点击确定即可
四、策略管理
1、策略定义
进入策略管理-策略定义页面,点击右上角的新增按钮,在弹出新增页面中输入策略名称,并点击确定按钮
2、为策略添加同步表
进入策略管理-策略定义页面,选择一个策略名,并点击右侧数据表按钮,进入数据表页面,点击左上角的节点下拉框,选择一个定时发布节点(即为源库),并点击筛选项下拉框选择为全部,勾选中筛选出来的表名,点击左上角的提交后即可将表加入到策略当中
3、策略分配
进入策略管理-策略分配页面,点击右上角分配按钮,在弹出的新增页面中,选择订阅客户端和策略,此操作会将指定策略分配给指定订阅客户端,点击确定即可
五、通道配置
进入订阅页面,在左上角的订阅下拉框中选中一个订阅客户端,可以看到该订阅客户端拥有的所有策略(如页面为空,可能是该订阅客户端没有被分配策略,请参考策略分配),
选中一个策略,点击其右侧的配置按钮,在弹出的新页面中完善如下信息
- 类型:目标数据库类型,有PG,ORACLE,MYSQL等等
- 主控:即为订阅的通道,包含有通道属性(可通过点击右侧的新增按钮新增主控)
- 数据库:在确认主控后会根据类型及主控信息自动补充,无需输入
- 通道数:通道的数量,一般默认即可
- 库名表名:在目标库的库名表名大小写设置,一般当目标库为ORACLE或者达梦时,需要设置为大写
- 启动全量:默认即可
点击下一步,即可完成通道配置
六、订阅
定时同步时,目标库需提前创建表结构
进入订阅页面,点击通道右侧数据表按钮,进入订阅-数据表页面,
可通过左上角的配置类型按钮,配置到目标库的表名及schema名称、大小写后、数据清理方式等,确认完成后,点击操作类型-开户全量订阅即可
完成后返回到订阅页面,找到并发总控启/停按钮,开启通道即可完成订阅
可通过通道右侧的监控查看增量、全量的同步进度以及同步的异常信息
七、创建任务计划
进入任务计划页面,点击右上角-新增按钮,添加一个新的任务计划,填写任务计划信息后,确定即可添加
cron表达式可点击帮助,查看样例
八、配置定时发布表
进入发布页面,找到定时发布节点,并点击右侧配置,进入数据配置页面
在节点-数据配置页面中,找到需要定时发布的数据表,勾选后点击添加任务按钮,在弹出的选择任务框中,选择一个定时任务即可
至此,定时同步配置完成