支持列表

BLOB类型topic兼容

(1)zcbus-8.3-16-20250408.tar.gz版本支持
(2)blob类型topic为消息总线,全量导出时,无表结构,目标端需要手动建表
(3)需要升级zcbus_server后台程序及zcbusService.jar程序
(4)需要更新jar包库文件,下载库文件,拷贝到ZCBUS_HOME/lib/jar_lib目录下,直接解压即可
http://zbomc.com:8888/ZCBUS/2.0/lib/datahub_blob_jar.tar.gz
(5)zcbusService.jar支持从文件插入blob topic的功能

java -cp zcbusService.jar com.zcbus.connector.DatahubAccess -server LTAI5tNQW4XCyFUHmdHuPpTK/FMzfJVWYzsFi4L1QcYZ0Yl1Tnq2iQC@\'https://dh-cn-beijing.aliyuncs.com\' -topic zctest01.test_blob -put_blob 1.txt
TUPLE类型topic兼容

(1)zcbus-8.3-16-20241217.tar.gz版本兼容
(2)shard分裂、合并等操作,会使topic的offset变动,导致zcbus同步记录的offset位置与datahub操作后的offset不一致,这种情况需要重新同步
(3)不支持ddl,订阅端需要手动建表 —全量发布,建表sql,zcbus-8.3-16-20241224.tar.gz已支持
(4) jdbc_mode默认开启(1),当设置关闭(0)时,需要配置 service_host、 service_port,暂时在订阅页面添加datahub类型的api服务
(5)bus_push_datahub_topic_t表记录每个topic对应shard的偏移量(sequence)信息
(6)需要升级zcbusService.jar,否则报错:error at file[log_extract.c] line[573], ZCBUS-5050: jni can not find method getTableSize

cp ../bin/zcbusService.jar ../jar/

1 源库配置

1.1 创建用户

  • 此处创建的阿里云账号 AccessKey,该账户具有该账户所有权限

2 补充说明

2.1 配置目标数据库参数配置

序号 参数名 参考值 高级设置 描述
0 db_type DATAHUB NO 数据库类型
1 label - NO 标签
2 host - NO 数据库主机IP,datahub.endpoint
3 user - NO 数据库用户,datahub.accessid
4 password - NO 数据库链接用户密码,datahub.accesskey
5 jdbc_mode 1 YES 设置为开启(1)时,使用jdbc模式装载,自动忽略service_host和service_port的设置
6 service_host - YES API服务地址
7 service_port - YES API服务端口
8 real_export_by_where 实时 YES 设置为定时(1)时,实时发布时采用定时导出的模式

2.2 注意事项

  • 暂不支持json数据类型
  • 增量同步暂不支持获取DDL操作,类似datehub中topic新增列操作
  • 目前topic类型仅支持TUPLE结构化数据,BLOB: 非结构化数据等待后续兼容
文档更新时间: 2025-04-07 21:33   作者:liyue