kafka工具

kafka_tool模拟消费工具

本工具提供对kafka中topic里的数据进行导入导出的功能。

• -h help
• -log_level 2 log_level
• -log 1.log log file

参数详细说明：

• -broker 127.0.0.1:9092 指定kafka brokers, 不指定的话，默认是127.0.0.1:9092

• -exp 导出模式

• -imp 导入模式，导入bsd文件到kafka

• 不显示指定导入导出模式的话，默认为导出模式

• -dir /tmp 导入导出bsd文件所在的目录
  导出模式参数：

• -group aaa 指定kafka消费组的名字, 默认是rdkafka_consumer_example

• -topic ttt 指定消费的topic名字

• -offset 10 topic开始消费的偏移量

• -count 1 消费消息的个数

• -timestamp “2020-03-22 11:20:21” topic开始消费的时间戳, 如果设置了这个, 将忽略-offset设置的开始偏移量

• -set_offset 10 设置topic开始消费的偏移量，并退出，下次从这个偏移量开始消费，不用指定开始消费的偏移量

• -etl etl.ini etl配置文件，可以指定etl规则对消费出来的数据进行处理，配置文件里只能指定一个etl规则

• -exp_mode 0 0: 导出到单个文件0.bsd，默认选项

                     1: 导出消息进行合并拆分，导出成一个个的大文件
                     2: 一条消息导出到一个文件

• -o 1.bsd 指定导出的文件名，如果设置这个，将忽略-dir和-exp_mode的设置
  导入模式参数：

• -tag 10001 指定发送到topic里的消息的标签，不指定的话，消息标签为空

导出导入用例

• 导出某个topic到某个文件，持续导出

  ./kafka_tool -broker 127.0.0.1:9092 -topic 1.test.testtab.f -o 1.bsd

• 从指定时间点消费某个topic

  ./kafka_tool -topic 1.test.testtab.r -timestamp "2020-03-22 11:20:21"

• 跟进ZCBUS ETL规则，消费某个TOPIC，根据规则，将数据到指定目录下

  ./kafka_tool -topic 1100.cninfo.tb_fund_0219.s -etl etl.ini -dir /tmp

• 指定消费组名字，从指定偏移量位置，消费某个topic数据，并在指定偏移量位置退出

  ./kafka_tool -group aaa -topic ttt -set_offset 10

• 将某个目录下的BSD格式数据导入到KAFKA中

  ./kafka_tool -imp -topic 1100.cninfo.tb_fund_0219.s -dir /tmp