一、介绍
数据应用中策略,和数据通道进行绑定。将数据应用目标指向到指定的数据库配置中。
二、订阅操作说明
数据应用部分包含:
配置按钮主要通过主控信息,同数据库建立连接关系,直接将数据送入到指定数据库中。
配置完成之后,页面将出现:以下几列:
策略名称、目标库信息、关联表、进程状态信息、状态统计、通道状态、分配过期时间、并发总控、加载线程数设置、数据表等多项内容。
- 增量同步
策略中增加、删除表等信息之后,需要将表也同步导加载队列中。即增量同步为补充增量同步和增量删除队列中需要同步的表。 - 并发线程数
通道在进行数据加载过程中,根据表分配运行情况,实现多表多线程动态加载。
加载过程中,支持单表多线程,多表多线程动态加载。依赖数据操作,会自动拆分多线程提高数据加载速度。 - 并发总控
启停整个传输通道功能,在修改通道内属性,或者修改表数据加载部分属性的时候,通道必须停止状态,修改。 - 通道状态检查
数据加载介入分为两部分:- 客户全量订阅+增量订阅
在第一种情况下,全量进入增量过程后,系统会继续运行。如果在运行过程中,可能表中因为异常或者第三方操作问题,引起唯一索引,主键等丢失,将会造成后期,遇到操作的过程中,出现异常。通过检查自动会检测到表中是否存在相关需要配置合理约束。
- 客户全量订阅+增量订阅
- 直接进入增量订阅状态
直接进入增量订阅状态,目标表如果在特别多的情况下,不易确定那些表是否存在主键和唯一键,此步骤检测完成之后,会提供表是否存在,唯一约束是否存在进行检测。为后期正常运行提供前期确诊。确诊可能异常或者需要补充的列表。
- 直接进入增量订阅状态
三、订阅-数据表
在数据库入库的过程中,可能遇到表级别特殊操作。
表级别操作部分分为操作类型、配置类型两种模式:
1、操作类型:
- 1. 重置表状态
- 2. 允许表全量订阅状态
- 3. 暂停
- 4. 恢复运行状态
- 5. 重置表状态
2、配置类型:
1. 批量保存库名:修改目标端对应的库名/SCHEMA名字
2. 修改表数据应用列名,按照列进行数据应用
3. 表运行增量,指定增量时间点规则
4. 表运行增量,指定偏移量位置,直接增量消费
5. 数据清理方式【在全量订阅过程中,支持TRUNCATE表模式,和DROP两种模式进行清理数据准备操作】
6.ApplyByKey
参数描述:
数据在应用的时候,针对不存在主键、唯一键的表,则需要配置此功能,在更新和删除的时候,依赖此参数,设置对应应用条件列。
ApplyByKey和主键优先级使用:
ApplyByKey 优先级最高,其次为主键,再其次为唯一键,即默认情况没有配置ApplyByKey,情况下优先使用主键、其次唯一键。
调整参数场景:
调整此参数,必须在数据未应用过程中,即初始状态下才可以调整7. DDL跳过表属性:在数据应用过程中,遇到某些ddl出错,如果可以跳过的DDL,可以通过DDL跳过属性,完成特殊操作跳过,软件会自动继续加载数据。
8. 在软件进程停止掉状态下,表名将处于被修改状态,可以修改入库表名
9. 表在加载过程中如果存在异常,分为增量异常和全量异常两部分,不论哪种异常,出现之后,软件将忽略此表,继续装载其他表。如果问题确诊并修复之后,则可以点击异常状态,软件将****根据实际情况,自动恢复到全量或者增量订阅过程中。