SQL发布配置

SQL发布介绍

 SQL发布，即顾名思义，就是通过SQL语句，从数据库中抽取增量数据，到ZCBUS集群中，以达到数据共享目的。SQL发布的周期依赖于容器内部任务计划调度。

• SQL发布，即为定时添加功能，在发布中，定时添加按钮。
  • 定时添加前提，必须制定节点 real_export_by_where 为1(real_export_by_where可参考数数据发布，数据库配置页面)。

    SQL发布分为以下几种情况：

1. 自增键调用

   • 通过自增ID
   • 增量时间变化
     描述：自增功能为客户现场经常遇到可以根据自增键来实现数据增量获取。自增键主要为ID自增和时间变化两个条件。
     根据实际情况，自增键这里分为以下几步执行
     1. 设置其实自增键值
     2. 设置获取最大自增键值的SQL
        软件会自循环，每次更新最大最小自增键的范围，获取变化的数据。
        

2. 增量状态变化[增量状态假设为1]

   • 允许获取增量数据状态为1,将增量状态转为一个中间状态2，开始同步数据，再将状态由2改成最后完成状态3
     

3. SQL固定查询方式

   • 多表关联
   • 分组统计等定时数据共享
     

     任务计划管理

      软件组成，首先要进行任务分组，在分组内部可以进行多种任务设定，每个任务均可以有很多步骤组成。
     任务结构

4. 任务组：有多个任务组成，针对相同，或者相似的任务，可以分配到一个任务组中。当任务组处于激活状态的时候，任务组下所有的任务均可以启动、停止等。当任务组处于关闭状态时，任务组下所有任务处于关闭状态。
   

5. 任务：当任务组启动之后，所有设置的任务开始生效，按照任务设定的时间点开始执行。
   

• 注任务添加过程中，需要指定任务在那个节点上执行，主要运行在发布节点和ZCBUS容器内部。其中ZCBUS为容器内部运行任务，发布节点，软件将自动连接到远程发布节点，指定运行相关指令，或者集群内部相关发布节点的调整动作等。

3. 子任务：子任务即任务的步骤，任务可以指定在发布节点，订阅节点，容器内部分别操作。执行操作一般分为sql调用，查询操作，过程调用，内部函数调用，SHELL调用等。
   
   • SQL调用：在指定节点上执行固化的SQL语句
   • 查询操作：通过后台服务远程查询数据库相关信息，将信息书送达ZCBUS集群，在新版本中，数据库查询相关操作，全部交给ZCBUS_SERVICE完成。
   • 过程调用：即调用过程，根据实际需求，面对比较复杂的业务逻辑，可以直接调用发布、订阅、容器节点的存储过程，以达到业务目标要求。
   • SHELL调用，即可以在web输入需要执行的命令，将命令在容器内部执行，执行结果输入到指定文件，容器服务会将文件中数据读取到kafka中。