1 FILE_BATCH发布csv格式文件相关介绍

1.1 准备工作

1.1.1 csv文件格式说明

  • 文件命名规则为 0.schema_name.table_name.csv,同级目录下,必须有一个exp.fno作为控制文件;
  • 0.schema_name.table_name.csv文件内容格式:
    • 第一行 为字段名,用双引号引起来,中间用逗号隔开;
    • 从第二行开始,为具体数据,数据均用双引号引起来,中间用逗号隔开;
  • exp.fno文件内容格式:里面只存放序号,该序号为文件序号的下一位数字,默认为1;
文件目录结构:
0.testdb.test_poc.csv  exp.fno

 0.testdb.test_poc.csv文件内容:
"ID","NAME","OP_TIME","col1","col2","col3","col4","col5"
"1","张三","2024-02-25 20:57:14","2023-11-05","bcsds","90226","aeFJMAZA","OFBpcN0ih"
"2","李四","2024-02-23 20:57:14","2023-11-05","eebfbds","85026","a1AAsdvAZA","PNyiFBpmh"
"3","王五","2024-02-22 20:57:14","2023-11-15","zcsfbds","85026","a1AertgsA","4b4DLigmh"
"4","赵六","2024-02-21 20:57:14","2023-11-25","rrcsdfds","50226","a1AvreAZA","4b4pcN0gh"

2.1 发布配置

2.1.1 选择”FILE_BATCH”

2.1.2 配置填写相应信息

注意:文件目录下bsd、txt、csv、zip文件均有,但在发布这一块指定文件类型,则只会在源端文件目录下读取同类型数据文件

2.1.3 只填写schema_name.table_name

2.1.4 选择发布表后,增量进程自动启动

2 补充说明

2.1 测试可使用tableexp工具生成csv文件

## 以mysql为例
[root@3383315d6db9 bin]# ./tableexp mysql:root/'AqJbPFSalFZFLEbO'@zcbusdb:3306 -table test.test -format 2 -edir /usr/local/zcbus/data/csv/

## 查看生成的文件
[root@3383315d6db9 csv]# cd /usr/local/zcbus/data/csv/
[root@3383315d6db9 csv]# ls
0.test.test_poc.csv  exp.fno

## 更多工具使用介绍,请参考**维护文档-工具与命令参考**章节

2.2 发布参数列表

序号 参数名 参考值 是否隐藏 描述
0 label - NO 标签
1 db_type file_batch NO 数据库类型
2 file_path /tmp/ NO 文件所在目录
3 file_type bsd NO 文件类型,默认为bsd类型,支持的类型bsd/txt/csv/zip,类型名即为文件后缀名
4 no_file_name exp.fno NO 编号文件的文件名,默认为exp.fno,在写数据文件完成后,需要将编号文件的内容更新成文件的下一个编号
5 file_reserve_count 0 NO 文件处理完之后,保留暂时不删除的文件个数,默认为0,发送完就删除,不保留
6 statistics_into_influxdb 0 YES 是否将增量信息记录到influxdb中 0 不添加 1添加
7 send_sys_time 0 NO 发送系统时间的时间间隔,单位为分钟,设置大于0时,每隔指定的时间间隔发送一次系统时间
8 max_conf_db_connection 1 YES zcbus配置库的最大连接数,默认是2
9 send_log_position 5 YES 发送增量分析日志点的时间间隔,单位为分钟,默认为0不发送,设置大于0时,每隔指定的时间间隔发送一次增量分析的日志点、日志时间、系统时间
10 zcbusmq_mode 0 YES 是否使用zcbus消息队列模式存储到本地:
0:不使用,默认值
1:全量数据发布时使用
2:全量和增量数据发布时都使用
文档更新时间: 2024-03-01 19:58   作者:程少波