一、数据库发布
演示使用的源端数据库类型为为MYSQL,更多发布数据库类型同步前置设置,请参考文档用户指南-控制台-发布-数据源
1、实时发布
(1) 新增发布节点
进入发布页面,点击右上角新增按钮,填写发布节点名称(为方便区分业务来源,建议以见名知义的方式命名),选择运行的容器(一般默认zcbus容器),选择源端数据库类型为mysql,点击确定按钮,进入发布节点配置页面(也可能过点击发布页面右侧的配置按钮进入)
(2) 配置数据库连接信息
在发布-数据配置页面完善源库数据连接信息,
- db_name:为需要同步的数据库名,
- host:为数据库所在的服务器IP,
- port:为数据库监听端口(mysql默认为3306),
- user:为源端数据库用户名,
- password:为源库数据用户密码,
完成如上信息后,点击测试连接,成功后进入下一步
(3) 选择发布数据表
在选择库处点击下拉,选择需要发布数据的库名,选择后可以未选表框中勾选出需要同步的表,并将其加入到右边的已选表框中,点击提交,在弹出的选择框中勾选是否需要检查,是否需要发布(非强制选项,可在第三步进行发布),点击确定,进入下一步
(4) 发布
勾选需要发布的表,点击左上角发布按钮,即可发布数据,全量发布完成后会自动转入增量发布,可通过点击左上角监控按钮,查看发布进度及发布异常信息
二、创建数据加工客户端及数据订阅客户端
注:在客户端订阅/加工之前,须先建立一个客户端用以分配策略及订阅/加工
1、创建数据加工客户端
进入加工页面,再点击订阅页面左上角加工管理按钮
进入加工管理页面,点击右上角添加按钮,在弹出的新增页面中,输入客户端名称,客户端类型选择为数据加工客户端,容器一般默认为zcbus,状态默认即可,点击保存,即可在加工管理页面中看到新增的数据加工客户端
2、创建订阅客户端
进入订阅页面,再点击订阅页面左上角订阅管理按钮
进入订阅管理页面,点击右上角添加按钮,在弹出的新增页面中,输入客户端名称,客户端类型选择为普通客户端,容器一般默认为zcbus,状态默认即可,点击保存,即可在订阅管理页面中看到新增的订阅客户端
3、添加订阅数据库
进入订阅页面,在左上角的订阅下拉框中选中一个订阅客户端,选中后点击订阅页面左上角的数据库管理按钮,在订阅-数据库管理页面页面点击新增按钮,并选择数据库类型为MYSQL,完善目标数据库信息
- label:数据库标签,可自行填写
- db_name:为需要同步的数据库名
- host:为数据库所在的服务器IP
- port:为数据库监听端口(mysql默认为3306)
- user:为目标端数据库用户名
- password:为目标数据库数据用户密码
完成如上信息后,点击测试连接,连接成功后点击确定即可
三、策略管理
1、策略定义
进入策略管理-策略定义页面,点击右上角的新增按钮,在弹出新增页面中输入策略名称,并点击确定按钮
2、为策略添加同步表
进入策略管理-策略定义页面,选择一个策略名,并点击右侧数据表按钮,进入数据表页面,点击左上角的节点下拉框,选择一个发布节点(即为源库),并点击筛选项下拉框选择为全部,勾选中筛选出来的表名,点击左上角的提交后即可将表加入到策略当中
3、策略分配
进入策略管理-策略分配页面,点击右上角分配按钮,在弹出的新增页面中,选择数据加工客户端和策略,此操作会将指定策略分配给指定数据加工客户端,点击确定即可
注:此处操作是将指定的策略分配给数据加工客户端,而不是数据订阅客户端
四、加工配置
注:更多数据加工函数信息,请参考 维护文档-操作手册-数据加工 章节
进入加工页面,在左上角的加工列表下拉框中选中一个数据加工客户端,可以看到该订阅客户端拥有的所有策略(如页面为空,可能是该订阅客户端没有被分配策略,请参考策略分配)
- 加工管理:管理加工客户端列表
- 数据库管理:管理加工数据库,当需要进行数据库联合查询、加工时,可自行添加数据库
- 表属性自动更新:
1、加工规则配置
进入加工页面,选择一个数据加工策略,并点击右侧 数据表 按钮,进入 加工-数据表 页面
勾选需要进行加工的数据表,并点击 ETL配置 按钮,进入ETL配置页面
为表添加一个规则队列名及描述,可自行填写,添加完成后,点击队列右侧的编辑按钮
配置规则例如下:
规则1:
该条ETL规则作用为过滤,只允许 id小于63000的数据同步到目标数据库中,id>63000的数据则不进行同步规则2:
将url字段中的第4位到第10位替换为****
规则添加完成后,可通过页面查看规则配置的具体内容,确认无误后返回到 加工-数据表 页面,查看表中是否已添加ETL规则
2、开启数据加工通道
进入到 加工-数据表 页面,勾选已配置ETL规则的数据表,并点击左上角 操作类型-重置&开启 按钮
进入到订阅页面,开启通道 并发总控,开始数据加工
五、策略管理
1、策略定义
进入策略管理-策略定义页面,点击右上角的新增按钮,在弹出新增页面中输入策略名称,并点击确定按钮
2、为策略添加同步表
进入策略管理-策略定义页面,选择一个策略名,并点击右侧数据表按钮,进入数据表页面,点击左上角的节点下拉框,选择一个发布节点(注:此处选择的发布节点,应当为ETL数据加工客户端,同步的数据是加工过后的数据),并点击筛选项下拉框选择为全部,勾选中筛选出来的表名,点击左上角的提交后即可将表加入到策略当中
3、策略分配
进入策略管理-策略分配页面,点击右上角分配按钮,在弹出的新增页面中,选择订阅客户端和策略(注:此处是将5.1步骤中创建的策略指定给订阅客户端,不再是ETL数据加工客户端),此操作会将指定策略分配给指定订阅客户端,点击确定即可
六、通道配置
进入订阅页面,在左上角的订阅下拉框中选中一个订阅客户端,可以看到该订阅客户端拥有的所有策略(如页面为空,可能是该订阅客户端没有被分配策略,请参考策略分配),
选中一个策略,点击其右侧的配置按钮,在弹出的新页面中完善如下信息
- 类型:目标数据库类型,有PG,ORACLE,MYSQL等等
- 主控:即为订阅的通道,包含有通道属性(可通过点击右侧的新增按钮新增主控)
- 数据库:在确认主控后会根据类型及主控信息自动补充,无需输入
- 通道数:通道的数量,一般默认即可
- 库名表名:在目标库的库名表名大小写设置,一般当目标库为ORACLE或者达梦时,需要设置为大写
- 启动全量:默认即可
点击下一步,即可完成通道配置
七、订阅
进入订阅页面,通道右侧有如下几个按钮
- 属性:设置通道属性参数,如过滤所有DDL的ifFilterDDL参数,数据加载方式等等
- 数据表:可设置同步表属性,开启同步表订阅等操作
- 监控:可通过监控页面查看全量订阅,增量订阅及异常的详细信息
- 数据比对:可设置表的数据比对,与源库数据进行对比,并可对异常信息进行修复
- 平衡:当订阅策略下有多个通道时,可实现按照表的延时时间进行动态平衡
点击通道右侧数据表按钮,进入订阅-数据表页面,可通过左上角的配置类型按钮,配置到目标库的表名及schema名称、大小写后、数据清理方式等,确认完成后,点击页面页面左上角操作类型按钮,选择开启全量订阅,
完成后返回到订阅页面,找到并发总控启/停按钮,开启通道即可完成订阅
可通过通道右侧的监控查看增量、全量的同步进度以及同步的异常信息
八、验证
1、查看源库记录,
2、查看目标库记录
从如上两图可以看到,源库中符合条件的记录共15条,目标库只有两条,且目标库中的ID皆小于63000,针对 url 列,从第4位到第10位已经替换成为****
至此,ETL实时同步操作完成