一、数据库发布

演示使用的源端数据库类型为为MYSQL,更多发布数据库类型同步前置设置,请参考文档 维护文档-操作手册-数据发布

1、定时发布

(1) 新增发布节点

进入发布页面,点击右上角新增按钮,填写发布节点名称(为方便区分业务来源,建议以见名知义的方式命名),选择运行的容器(一般默认zcbus容器),选择源端数据库类型为mysql,点击确定按钮,进入发布节点配置页面(也可能过点击发布页面右侧的配置按钮进入)

(2) 配置数据库连接信息

在发布-数据配置页面完善源库数据连接信息,

  • db_name为需要同步的数据库名
  • host为数据库所在的服务器IP
  • port为数据库监听端口(mysql默认为3306)
  • user为源端数据库用户名
  • password为源库数据用户密码
    并点击高级设置,找到参数real_export_by_where,并将参数值修改为定时
    完成如上信息后,点击测试连接,成功后进入下一步

(3) 选择发布数据表

在发布-数据配置页面,完善如下信息

  • 数据库:源端抽取的数据库名称

  • 表名:源端抽取的表的名称,可以自行命名

  • 状态:选择表的发布状态,一般选择全量完成

  • 执行select查询前,执行的sql语句:状态获取方式,可调试定时同步前涉及到的字段值,此操作更改的是源库里的状态值,例如状态1是允许查询

    update zcbus.tets1 set status=1 where status=3;  ---此部分为锁定,将3状态全部锁定为1状态
  • 执行的sql语句:此处仅为select导出部分的sql,支持联合查询,如

    select a.id,b.name from test1 a,test2 b where a.id=b.id and a.status=1;
  • 执行select查询后,执行的sql语句:可调试定时同步后涉及到的字段值,此操作更改的是源库里的状态值,例如在定时抽取完成后,将状态更改为4状态完成

    update zcbus.test1 set status=4 where status=1;    ----将所有1状态改变为4状态,其中4代表完成状态
  • 初始值/条件sql:设置定时同步的条件值,可递增

    数字递增【程序在运行的过程中,按照某个数字字段,从小开始递增,每次执行的时候,根据数字字段获取范围内数据,并且根据插叙最大值作为下一次查询的最小值】
    (1)设置需要查询的SQL语句
    SQL#zcbus_min#,#zcbus_max#代表规则中对应的最大值和最小值
    (2)设置SQL中查询最小值
    (3)设置SQL中设计某个值最大值查询
    时间递增【程序在运行的过程中,按照某个时间字段,从小开始递增,每次执行的时候,根据数字字段获取范围内数据,并且根据插叙最大值作为下一次查询的最小值】
    (10设置需要查询的SQL语句
    SQL#ZCBUS_MIN#,#ZCBUS_MAX#代表规则中对应的最大值和最小值
    (2)设置SQL中查询最小值
    (3)设置SQL中设计某个值最大值查询
  • 数据应用前,执行的sql语句:目标数据库在订阅之前,需要执行的sql,例如若目标库中已存在记录数据,可能过执行truncate语句将目标表数据清空

  • 数据应用后,执行的sql语句:目标数据库在数据订阅完成后,需要执行的sql

例图:

完成如上信息后,点击提交即可

(4) 发布数据

一般则言,定时任务无需手动进行发布,但如需要,可通过进入发布-数据配置页面,在第3步骤中点击条件按钮,可在弹出修改页面上修改同步的条件sql,可通过点击立即发布按钮实现手动发布数据

二、创建订阅客户端

进入订阅页面,再点击订阅页面左上角订阅管理按钮

进入订阅管理页面,点击右上角添加按钮,在弹出的新增页面中,输入客户端名称,客户端类型选择为普通客户端,容器一般默认为zcbus,状态默认即可,点击保存,即可在订阅管理页面中看到新增的订阅客户端

三、添加订阅数据库

进入订阅页面,在左上角的订阅下拉框中选中一个订阅客户端,选中后点击订阅页面左上角的数据库管理按钮,在订阅-数据库管理页面页面点击新增按钮,并选择数据库类型为MYSQL,完善目标数据库信息,

  • db_name为需要同步的数据库名,
  • host为数据库所在的服务器IP,
  • port为数据库监听端口(mysql默认为3306),
  • user为源端数据库用户名,
  • password为源库数据用户密码,
    完成如上信息后,点击测试连接,连接成功后点击确定即可

四、策略管理

1、策略定义

进入策略管理-策略定义页面,点击右上角的新增按钮,在弹出新增页面中输入策略名称,并点击确定按钮

2、为策略添加同步表

进入策略管理-策略定义页面,选择一个策略名,并点击右侧数据表按钮,进入数据表页面,点击左上角的节点下拉框,选择一个定时发布节点(即为源库),并点击筛选项下拉框选择为全部,勾选中筛选出来的表名,点击左上角的提交后即可将表加入到策略当中

3、策略分配

进入策略管理-策略分配页面,点击右上角分配按钮,在弹出的新增页面中,选择订阅客户端和策略,此操作会将指定策略分配给指定订阅客户端,点击确定即可

五、通道配置

进入订阅页面,在左上角的订阅下拉框中选中一个订阅客户端,可以看到该订阅客户端拥有的所有策略(如页面为空,可能是该订阅客户端没有被分配策略,请参考策略分配),

选中一个策略,点击其右侧的配置按钮,在弹出的新页面中完善如下信息

  • 类型:目标数据库类型,有PG,ORACLE,MYSQL等等
  • 主控:即为订阅的通道,包含有通道属性(可通过点击右侧的新增按钮新增主控)
  • 数据库:在确认主控后会根据类型及主控信息自动补充,无需输入
  • 通道数:通道的数量,一般默认即可
  • 库名表名:在目标库的库名表名大小写设置,一般当目标库为ORACLE或者达梦时,需要设置为大写
  • 启动全量:默认即可
    点击下一步,即可完成通道配置

六、订阅

定时同步时,目标库需提前创建表结构

进入订阅页面,点击通道右侧数据表按钮,进入订阅-数据表页面,

可通过左上角的配置类型按钮,配置到目标库的表名及schema名称、大小写后、数据清理方式等,确认完成后,点击操作类型-开户全量订阅即可

完成后返回到订阅页面,找到并发总控启/停按钮,开启通道即可完成订阅

可通过通道右侧的监控查看增量、全量的同步进度以及同步的异常信息

七、创建任务计划

进入任务计划页面,点击右上角-新增按钮,添加一个新的任务计划,填写任务计划信息后,确定即可添加
cron表达式可点击帮助,查看样例

八、配置定时发布表

进入发布页面,找到定时发布节点,并点击右侧配置,进入数据配置页面

在节点-数据配置页面中,找到需要定时发布的数据表,勾选后点击添加任务按钮,在弹出的选择任务框中,选择一个定时任务即可

至此,定时同步配置完成

文档更新时间: 2024-02-21 20:26   作者:操李红