数据应用

订阅-数据表

在数据库入库的过程中,可能遇到表级别特殊操作。

表级别操作部分分为操作类型、配置类型两种模式:

操作类型:

 1. 重置表状态
 2. 允许表开启全量订阅状态
 3. 暂停
 4. 恢复运行状态
 5. 重置表状态并开启全量订阅

配置类型:

 1. 批量保存库名:修改目标端对应的库名/SCHEMA名字
 2. 修改表数据应用列名,按照列进行数据应用
 3. 表运行增量,指定增量时间点规则
 4. 表运行增量,指定偏移量位置,直接增量消费
 5. 数据清理方式【在全量订阅过程中,支持TRUNCATE表模式,和DROP两种模式进行清理数据准备操作】

 6.ApplyByKey
  参数描述:
   数据在应用的时候,针对不存在主键、唯一键的表,则需要配置此功能,在更新和删除的时候,依赖此参数,设置对应应用条件列。
   ApplyByKey和主键优先级使用:
   ApplyByKey 优先级最高,其次为主键,再其次为唯一键,即默认情况没有配置ApplyByKey,情况下优先使用主键、其次唯一键。
  调整参数场景:
   调整此参数,必须在数据未应用过程中,即初始状态下才可以调整

 7. DDL跳过表属性:在数据应用过程中,遇到某些ddl出错,如果可以跳过的DDL,可以通过DDL跳过属性,完成特殊操作跳过,软件会自动继续加载数据。
 8. 在软件进程停止掉状态下,表名将处于被修改状态,可以修改入库表名
 9. 表在加载过程中如果存在异常,分为增量异常和全量异常两部分,不论哪种异常,出现之后,软件将忽略此表,继续装载其他表。如果问题确诊并修复之后,则可以点击异常状态,软件将****根据实际情况,自动恢复到全量或者增量订阅过程中。

文档更新时间: 2022-05-20 23:06   作者:操李红