跨IDC同步

  ZCBUS为企业数据交换平台,每个ZCBUS为不同数据中心提供数据交换服务,多个ZCBUS之间可以通过跨IDC数据同步功能实现多中心数据交换服务功能。
  在平台中,分为A,B两个交换平台;现在需要B平台连接A平台。大概分为两部分:

  1. A平台建立订阅客户端,建立账号,并且分配相关数据给制定订阅客户端
  2. A平台增加服务网络转发【在某些特殊情况下,需要对外网提供网络路由转发服务,如果A,B中心均可以访问A中心kafka,则可忽略此步骤】
  3. B平台建立发布,连接A节点订阅客户端,校验并且自动订阅全量,增量数据
Created with Raphaël 2.2.0源端发布策略订阅模式ETL加工服务是否跨IDC订阅模式跨IDC订阅客户端订阅本地客户端模式订阅客户端目标端远程订阅客户端yesnoyesnoyesno

A中心操作

创建跨IDC客户端服务

客户端管理-添加,选择跨IDC服务模式,并且生成序列号

创建策略,将策略赋权给IDC客户端

创建网络转发配置服务

如果底层数据存储采用独立KAFKA环境安装,第二中心能直接访问第一中心kafka环境,则跳过此步骤
系统-网络配置-新建网络配置,添加网络详细信息配置:

  • 参数描述
参数列表 参数值
外网地址 对外提供服务地址
转发地址 提供网络服务路由地址
服务地址 内网KAFKA地址

B中心操作

创建ZCBUS发布服务

  • 添加发布节点

  • 配置发布节点相关信息:

  • 主要关注一下几部分:

参数名 参数值 描述
db_name 10301 第一集群账号【订阅客户端】
db_type zcbus 源数据库类型
host http://v2.zbomc.com/ 第一集群URL地址
kafka_bootstrap.servers 172.17.46.244:9092 用于建立到Kafka集群的初始连接的主机/端口对列表。客户端将使用所有服务器,而不管在这里指定哪些服务器用于引导 - 该列表仅影响用于发现全套服务器的初始主机。这个清单应该在表格中host1:port1,host2:port2,…。由于这些服务器仅用于初始连接以发现完整的群集成员资格(可能会动态更改),因此此列表不必包含整套服务器(但可能需要多个服务器,以防服务器关闭) 。
password 6e7d834c-f351-41b1-a3fd-75eb6c01d833 第一集群账号【订阅客户端】
real_data_only 0 设置为1时,只复制增量topic中的数据
statistics_into_influxdb 0 是否将增量信息记录到influxdb中 0 不添加 1添加
user 10301 第一集群账号【订阅客户端】
real_data_only 0 是否只同步实时数据,如果为1则同步过程中,需要关注上一中心全量数据发布,并且在遇到全量发布的时候,自动同步全量数据,如果为0,则只同步增量数据
文档更新时间: 2024-03-03 20:32   作者:阿力