支持列表
BLOB类型topic兼容
(1)zcbus-8.3-16-20250408.tar.gz版本支持
(2)blob类型topic为消息总线,全量导出时,无表结构,目标端需要手动建表
(3)需要升级zcbus_server后台程序及zcbusService.jar程序
(4)需要更新jar包库文件,下载库文件,拷贝到ZCBUS_HOME/lib/jar_lib目录下,直接解压即可
http://zbomc.com:8888/ZCBUS/2.0/lib/datahub_blob_jar.tar.gz
(5)zcbusService.jar支持从文件插入blob topic的功能
java -cp zcbusService.jar com.zcbus.connector.DatahubAccess -server LTAI5tNQW4XCyFUHmdHuPpTK/FMzfJVWYzsFi4L1QcYZ0Yl1Tnq2iQC@\'https://dh-cn-beijing.aliyuncs.com\' -topic zctest01.test_blob -put_blob 1.txt
TUPLE类型topic兼容
(1)zcbus-8.3-16-20241217.tar.gz版本兼容
(2)shard分裂、合并等操作,会使topic的offset变动,导致zcbus同步记录的offset位置与datahub操作后的offset不一致,这种情况需要重新同步
(3)不支持ddl,订阅端需要手动建表 —全量发布,建表sql,zcbus-8.3-16-20241224.tar.gz已支持
(4) jdbc_mode默认开启(1),当设置关闭(0)时,需要配置 service_host、 service_port,暂时在订阅页面添加datahub类型的api服务
(5)bus_push_datahub_topic_t表记录每个topic对应shard的偏移量(sequence)信息
(6)需要升级zcbusService.jar,否则报错:error at file[log_extract.c] line[573], ZCBUS-5050: jni can not find method getTableSize
cp ../bin/zcbusService.jar ../jar/
1 源库配置
1.1 创建用户
- 此处创建的阿里云账号 AccessKey,该账户具有该账户所有权限
2 补充说明
2.1 配置目标数据库参数配置
序号 | 参数名 | 参考值 | 高级设置 | 描述 |
---|---|---|---|---|
0 | db_type | DATAHUB | NO | 数据库类型 |
1 | label | - | NO | 标签 |
2 | host | - | NO | 数据库主机IP,datahub.endpoint |
3 | user | - | NO | 数据库用户,datahub.accessid |
4 | password | - | NO | 数据库链接用户密码,datahub.accesskey |
5 | jdbc_mode | 1 | YES | 设置为开启(1)时,使用jdbc模式装载,自动忽略service_host和service_port的设置 |
6 | service_host | - | YES | API服务地址 |
7 | service_port | - | YES | API服务端口 |
8 | real_export_by_where | 实时 | YES | 设置为定时(1)时,实时发布时采用定时导出的模式 |
2.2 注意事项
- 暂不支持json数据类型
- 增量同步暂不支持获取DDL操作,类似datehub中topic新增列操作
- 目前topic类型仅支持TUPLE结构化数据,BLOB: 非结构化数据等待后续兼容