1 原理说明

  ZCBUS为企业数据交换平台,每个ZCBUS为不同数据中心提供数据交换服务,多个ZCBUS之间可以通过跨IDC数据同步功能实现多中心数据交换服务功能。
  在平台中,分为A,B两个交换平台;现在需要B平台连接A平台。大概分为两部分:

A平台建立订阅客户端,建立账号,并且分配相关数据给制定订阅客户端;A平台增加服务网络转发【在某些特殊情况下,需要对外网提供网络路由转发服务,如果A,B中心均可以访问A中心kafka,则可忽略此步骤】
B平台建立发布,连接A节点订阅客户端,校验并且自动订阅全量,增量数据

Created with Raphaël 2.2.0源端发布策略订阅模式ETL加工服务是否跨IDC订阅模式跨IDC订阅客户端订阅本地客户端模式订阅客户端目标端远程订阅客户端yesnoyesnoyesno
ORACLEZCBUSMYSQLSQLSERVERPOSTGRESQLOPENGAUSSDBMOGDBKINGBASE

A中心(服务端)通过发布,将数据送往A中心的kafka集群中,B中心(客户端),通过读取A中心Kafka中的数据进行发布 从而达到传输数据目的。

2 具体操作

A中心(服务端),正常发布一批数据,通过策略分配给创建的跨IDC客户端,注意记录 订阅ID 与 序列号

B中心(客户端),发布时选择ZCBUS数据类型

填写相关参数,图片中有相关参数说明


然后点击提交(无法进行测试连接是否成功,如果可以进行选库选表操作,则可以证明跨IDC连接成功)

其余与正常发布策略订阅一样

3 重要参数

参数名 参数值 描述
db_name 10301 第一集群账号【订阅客户端】
db_type zcbus 源数据库类型
host http://v2.zbomc.com/ 第一集群URL地址
kafka_bootstrap.servers 172.17.46.244:9092 用于建立到Kafka集群的初始连接的主机/端口对列表。客户端将使用所有服务器,而不管在这里指定哪些服务器用于引导 - 该列表仅影响用于发现全套服务器的初始主机。这个清单应该在表格中host1:port1,host2:port2,…。由于这些服务器仅用于初始连接以发现完整的群集成员资格(可能会动态更改),因此此列表不必包含整套服务器(但可能需要多个服务器,以防服务器关闭) 。
password 6e7d834c-f351-41b1-a3fd-75eb6c01d833 第一集群账号【订阅客户端】
real_data_only 0 设置为1时,只复制增量topic中的数据
statistics_into_influxdb 0 是否将增量信息记录到influxdb中 0 不添加 1添加
user 10301 第一集群账号【订阅客户端】
real_data_only 0 是否只同步实时数据,如果为1则同步过程中,需要关注上一中心全量数据发布,并且在遇到全量发布的时候,自动同步全量数据,如果为0,则只同步增量数据
文档更新时间: 2024-06-11 00:45   作者:程少波