1 目标库配置
1.1 创建用户及赋权
创建用户
create user zcbus identified with plaintext_password by 'zcbus';
- 注意:
- 请注意,这里使用了简单的密码认证方式,你也可以选择更安全的认证方式,如 sha256_password 或 kerberos。
- 注意:
用户赋权
grant all on *.* to zcbus; flush privileges;
- 注意:
- 订阅属性中需开启过滤DDL操作(ifFilterDDL)
- 订阅属性中将full_sql_mode和real_sql_mode修改为直接sql模式
- 注意:
- 通道参数使用审计模式,开启自动合并数据参数
optimize_table(依赖database_update_interval参数,设置提交参数间隔周期); 目标数据库增加操作时间和操作类型两个字段,其中操作类型包含insert/update/delete等多个操作,合并数据依赖源主键。
2 补充说明
2.1 配置目标数据库参数列表
序号 | 参数名 | 参考值 | 是否隐藏 | 描述 |
---|---|---|---|---|
0 | label | - | NO | 标签 |
1 | db_type | clickhouse | NO | 数据库类型 |
2 | db_name | zcbus | NO | 数据库名称 |
3 | host | 127.0.0.1 | NO | 数据库主机IP |
4 | port | 3306 | NO | 数据库端口 |
5 | user | default | NO | 数据库用户 |
6 | password | 123456 | NO | 数据库链接用户密码 |
7 | db_display_name | 数据库中文名 | YES | 数据库中文名 |
8 | password_encrypt | 0 | YES | 设置为1时,password和source_password参数使用密文保存,默认为0 |
2.3 数据库数据类型转换&映射
在抓取数据时,我们将CLICKHOUSE数据类型与Zcbus支持的类型相匹配。如果我们不支持某个数据类型,我们会自动将该类型更改为最受支持的类型,或者在某些情况下,根本不加载该数据。我们的系统将会抛出异常、跳过我们不接受或转换的数据类型对应表。
CLICKHOUSE类型 | ZCBUS数据类型 | 是否支持 | 描述 |
---|---|---|---|
Int8 | number | 支持 | |
Int16 | number | 支持 | |
Int32 | number | 支持 | |
Int64 | number | 支持 | |
UInt8 | number | 支持 | |
UInt16 | number | 支持 | |
UInt32 | number | 支持 | |
UInt64 | number | 支持 | |
Float32 | number | 支持 | |
Float64 | number | 支持 | |
Decimal | number | 支持 | |
String | string | 支持 | |
FixedString | string | 支持 | |
UUID | string | 支持 | |
Date | date | 支持 | |
DateTime | datetime | 支持 | |
DateTime64 | timestamp | 支持 |
文档更新时间: 2024-09-17 02:47 作者:程少波