1 目标库配置

1.1 创建用户及赋权

  • 创建用户

      create user zcbus identified with plaintext_password by 'zcbus';
    • 注意:
      • 请注意,这里使用了简单的密码认证方式,你也可以选择更安全的认证方式,如 sha256_password 或 kerberos。
  • 用户赋权

      grant all on *.* to zcbus;  
      flush privileges;   
    • 注意:
      • 订阅属性中需开启过滤DDL操作(ifFilterDDL)
      • 订阅属性中将full_sql_mode和real_sql_mode修改为直接sql模式
  • 通道参数使用审计模式,开启自动合并数据参数
            optimize_table(依赖database_update_interval参数,设置提交参数间隔周期); 目标数据库增加操作时间和操作类型两个字段,其中操作类型包含insert/update/delete等多个操作,合并数据依赖源主键。

2 补充说明

2.1 配置目标数据库参数列表

序号 参数名 参考值 是否隐藏 描述
0 label - NO 标签
1 db_type clickhouse NO 数据库类型
2 db_name zcbus NO 数据库名称
3 host 127.0.0.1 NO 数据库主机IP
4 port 3306 NO 数据库端口
5 user default NO 数据库用户
6 password 123456 NO 数据库链接用户密码
7 db_display_name 数据库中文名 YES 数据库中文名
8 password_encrypt 0 YES 设置为1时,password和source_password参数使用密文保存,默认为0

2.3 数据库数据类型转换&映射

        在抓取数据时,我们将CLICKHOUSE数据类型与Zcbus支持的类型相匹配。如果我们不支持某个数据类型,我们会自动将该类型更改为最受支持的类型,或者在某些情况下,根本不加载该数据。我们的系统将会抛出异常、跳过我们不接受或转换的数据类型对应表。

CLICKHOUSE类型 ZCBUS数据类型 是否支持 描述
Int8 number 支持
Int16 number 支持
Int32 number 支持
Int64 number 支持
UInt8 number 支持
UInt16 number 支持
UInt32 number 支持
UInt64 number 支持
Float32 number 支持
Float64 number 支持
Decimal number 支持
String string 支持
FixedString string 支持
UUID string 支持
Date date 支持
DateTime datetime 支持
DateTime64 timestamp 支持
文档更新时间: 2024-09-17 02:47   作者:程少波