一、介绍

对同步的表进行数据质量校验,并且可对异常结果进行修复,保证数据一致性

二、操作说明

订阅-数据比对

1、统计

查看数据比对的结果统计信息,并可对数据进行修复

  • 保存并下载:将比对结果导出成excel文件
  • 比对:对于已经产生比对结果的表或已经修复过的表,可使其再次进行数据比对,以确认结果,支持
  • 数据修复:当数据表比对结果异常时,可使用数据修复功能,保持源和目标的数据一致性(比对方式为比对记录数时不支持数据修复功能)
  • 删除:将比对结果从统计结果中删除

2、配置

配置需要进行数据比对的表,并设置表的比对方式

  • 比对方式:设置表的比对方式
    • 记录数比对:比对源端和目标端的表记录数,不支持数据修复操作
    • 内容比对:根据pk来比对源端和目标端的表内容,支持数据修复操作
    • 实时比对:指定时间段,进行内容比对
    • 严格内容比对:
      • (1)比对模式参考内容比对,仅限于同构数据库内部进行数据比对服务。
      • (2)数据比对过程中,产生的浮点数,毫秒、微秒等小数点后边的数据,均不做任何忽略,提供数据比对服务。比对方式参考《内容比对》中比对方式。
      • (3)严格内容比对,在同构数据库之间,任何模式数据比对,均可以把所有数据进行严格比对,存在问题的数据进行数据严格修复,保证数据源和目标数据一致。
  • 比对列配置:设置需要比对的列名,如当设置比对列为A,B,C时,比对时只比对源表和目标表的A,B,C三列,其余列不做比对
  • 源端条件:设置源库数据表需要比对的条件,如当设置id<10时,比对时只将源表中ID小于10的数据与目标表进行比对
  • 目标端条件:设置目标库数据表需要比对的条件,如当设置id<10时,比对时只将目标表中ID小于10的数据与源表进行比对

3、事务性数据比对

注:启用此功能前,需要保证容器的检查进程正常运行
1、在进行事务性数据比对之前,需要在发布数据中创建比对表

- 创建auto_compare_table表
create table zcbus.auto_compare_tbl(
table_schema varchar(128),
table_name varchar(128),
scnt bigint,
status int,
create_time datetime,
update_time datetime,
primary key(table_schema,table_name));

- 赋权给ZCBUS同步用户
grant all on ZCBUS.AUTO_COMPARE_TBL to zcbus;

2、发布端添加参数auto_compare_table,参数值为zcbus.auto_compare_tbl,订阅通道修改参数auto_compare=1
3、进入发布节点配置,选中需要事务性数据比对的表,点击比对即可

文档更新时间: 2024-02-04 19:24   作者:操李红