1 FILE_BATCH发布csv格式文件相关介绍
1.1 准备工作
1.1.1 csv文件格式说明
- 文件命名规则为 0.schema_name.table_name.csv,同级目录下,必须有一个exp.fno作为控制文件;
- 0.schema_name.table_name.csv文件内容格式:
- 第一行 为字段名,用双引号引起来,中间用逗号隔开;
- 从第二行开始,为具体数据,数据均用双引号引起来,中间用逗号隔开;
- exp.fno文件内容格式:里面只存放序号,该序号为文件序号的下一位数字,默认为1;
文件目录结构:
0.testdb.test_poc.csv exp.fno
0.testdb.test_poc.csv文件内容:
"ID","NAME","OP_TIME","col1","col2","col3","col4","col5"
"1","张三","2024-02-25 20:57:14","2023-11-05","bcsds","90226","aeFJMAZA","OFBpcN0ih"
"2","李四","2024-02-23 20:57:14","2023-11-05","eebfbds","85026","a1AAsdvAZA","PNyiFBpmh"
"3","王五","2024-02-22 20:57:14","2023-11-15","zcsfbds","85026","a1AertgsA","4b4DLigmh"
"4","赵六","2024-02-21 20:57:14","2023-11-25","rrcsdfds","50226","a1AvreAZA","4b4pcN0gh"
2.1 发布配置
2.1.1 选择”FILE_BATCH”
2.1.2 配置填写相应信息
注意:文件目录下bsd、txt、csv、zip文件均有,但在发布这一块指定文件类型,则只会在源端文件目录下读取同类型数据文件
2.1.3 只填写schema_name.table_name
2.1.4 选择发布表后,增量进程自动启动
2 补充说明
2.1 测试可使用tableexp工具生成csv文件
## 以mysql为例
[root@3383315d6db9 bin]# ./tableexp mysql:root/'AqJbPFSalFZFLEbO'@zcbusdb:3306 -table test.test -format 2 -edir /usr/local/zcbus/data/csv/
## 查看生成的文件
[root@3383315d6db9 csv]# cd /usr/local/zcbus/data/csv/
[root@3383315d6db9 csv]# ls
0.test.test_poc.csv exp.fno
## 更多工具使用介绍,请参考**维护文档-工具与命令参考**章节
2.2 发布参数列表
序号 | 参数名 | 参考值 | 是否隐藏 | 描述 |
---|---|---|---|---|
0 | label | - | NO | 标签 |
1 | db_type | file_batch | NO | 数据库类型 |
2 | file_path | /tmp/ | NO | 文件所在目录 |
3 | file_type | bsd | NO | 文件类型,默认为bsd类型,支持的类型bsd/txt/csv/zip,类型名即为文件后缀名 |
4 | no_file_name | exp.fno | NO | 编号文件的文件名,默认为exp.fno,在写数据文件完成后,需要将编号文件的内容更新成文件的下一个编号 |
5 | file_reserve_count | 0 | NO | 文件处理完之后,保留暂时不删除的文件个数,默认为0,发送完就删除,不保留 |
6 | statistics_into_influxdb | 0 | YES | 是否将增量信息记录到influxdb中 0 不添加 1添加 |
7 | send_sys_time | 0 | NO | 发送系统时间的时间间隔,单位为分钟,设置大于0时,每隔指定的时间间隔发送一次系统时间 |
8 | max_conf_db_connection | 1 | YES | zcbus配置库的最大连接数,默认是2 |
9 | send_log_position | 5 | YES | 发送增量分析日志点的时间间隔,单位为分钟,默认为0不发送,设置大于0时,每隔指定的时间间隔发送一次增量分析的日志点、日志时间、系统时间 |
10 | zcbusmq_mode | 0 | YES | 是否使用zcbus消息队列模式存储到本地: 0:不使用,默认值 1:全量数据发布时使用 2:全量和增量数据发布时都使用 |
文档更新时间: 2024-03-01 19:58 作者:程少波