一、介绍
对同步的表进行数据质量校验,并且可对异常结果进行修复,保证数据一致性
二、操作说明
订阅-数据比对
1、统计
查看数据比对的结果统计信息,并可对数据进行修复
- 保存并下载:将比对结果导出成excel文件
- 比对:对于已经产生比对结果的表或已经修复过的表,可使其再次进行数据比对,以确认结果,支持
- 数据修复:当数据表比对结果异常时,可使用数据修复功能,保持源和目标的数据一致性(比对方式为比对记录数时不支持数据修复功能)
- 删除:将比对结果从统计结果中删除
2、配置
配置需要进行数据比对的表,并设置表的比对方式
- 比对方式:设置表的比对方式
- 记录数比对:比对源端和目标端的表记录数,不支持数据修复操作
- 内容比对:根据pk来比对源端和目标端的表内容,支持数据修复操作
- 实时比对:指定时间段,进行内容比对
- 严格内容比对:
- (1)比对模式参考内容比对,仅限于同构数据库内部进行数据比对服务。
- (2)数据比对过程中,产生的浮点数,毫秒、微秒等小数点后边的数据,均不做任何忽略,提供数据比对服务。比对方式参考《内容比对》中比对方式。
- (3)严格内容比对,在同构数据库之间,任何模式数据比对,均可以把所有数据进行严格比对,存在问题的数据进行数据严格修复,保证数据源和目标数据一致。
- 比对列配置:设置需要比对的列名,如当设置比对列为A,B,C时,比对时只比对源表和目标表的A,B,C三列,其余列不做比对
- 源端条件:设置源库数据表需要比对的条件,如当设置id<10时,比对时只将源表中ID小于10的数据与目标表进行比对
- 目标端条件:设置目标库数据表需要比对的条件,如当设置id<10时,比对时只将目标表中ID小于10的数据与源表进行比对
3、事务性数据比对
注:启用此功能前,需要保证容器的检查进程正常运行
1、在进行事务性数据比对之前,需要在发布数据中创建比对表
- 创建auto_compare_table表
create table zcbus.auto_compare_tbl(
table_schema varchar(128),
table_name varchar(128),
scnt bigint,
status int,
create_time datetime,
update_time datetime,
primary key(table_schema,table_name));
- 赋权给ZCBUS同步用户
grant all on ZCBUS.AUTO_COMPARE_TBL to zcbus;
2、发布端添加参数auto_compare_table,参数值为zcbus.auto_compare_tbl,订阅通道修改参数auto_compare=1
3、进入发布节点配置,选中需要事务性数据比对的表,点击比对即可
文档更新时间: 2024-02-04 19:24 作者:操李红