注:
(1)全量订阅过程中,程序暂时不支持表结构和索引创建,需手动在hive库中创建表结构及索引;
(2)如果需要重新全量订阅,需手动清理hive库中的同步表,程序暂时不支持;
(3)hive数据库订阅,程序会自动选择java订阅模式,无需手动配置
(4)zcbus-7.6-6-20210415之后版本支持hive数据库订阅
(5)hive-jdbc-2.1.1-standalone.jar;hive-jdbc-3.1.2-standalone.jar 需要两个连接jar包,存放位置如下
[root@9d9083f79b84 jar_lib]# pwd
/usr/local/zcbus/lib/jar_lib
[root@9d9083f79b84 jar_lib]# ls -l hive-jdbc-*
-rw-r–r– 1 root root 17474446 May 9 00:06 hive-jdbc-2.1.1-standalone.jar
-rw-r–r– 1 root root 72420149 May 9 00:07 hive-jdbc-3.1.2-standalone.jar
(6)上传zcbusService.jar包到指定位置,并做一个软链接
[root@9d9083f79b84 jar]# pwd
/usr/local/zcbus/jar
[root@9d9083f79b84 jar]# ls -lrht
total 197M
lrwxrwxrwx 1 root root 29 May 15 09:54 zcbusService_lib -> /usr/local/zcbus/lib/jar_lib/
-rw-r–r– 1 root root 204K May 15 09:55 zcbusService.jar
(7)bus_cluster_container_customer,枚举类型里面添加service

(8)订阅页面里要手工添加一个API服务类型HIVE
INSERT INTO bus_service_type_model( usage, db_type, use_way, service_subtype, program_name VALUES ( 1, ‘hive’, 1, ‘hive’, ‘zcbusService.jar’);
并添加API订阅客户端

(9)订阅->数据库管理配置中,添加hive库配置信息
当前默认参数中version三个参数,需要手工在配置表添加;
INSERT INTO zcbus.bus_client_db_parameter(id, customerid, dbid, variable_name, value, input_type, db_type, valid, orderid, hide, description, record_time) VALUES (25, 10006, 10002, ‘version’, ‘2.1’, 0, ‘HIVE’, NULL, 11, 0, NULL, ‘2022-05-15 12:04:56’);
另外由于页面还未支持hive测试连接测试,所以无需操作;
参数解释说明:

(10)每张同步表,需要配置applybykeys参数

异常解决:
1、当log.db_service_{customerid}日志当中提示如下异常时

可查看ZCBUS容器中/usr/local/zcbus/lib/jar_lib目录下是否有除hive-jdbc-2.1.1-standalone.jar;hive-jdbc-3.1.2-standalone.jar 这两个jar包之外的关于HIVE的jar包,如果有,可将其备份到其他目录当中,并重启API

文档更新时间: 2023-09-10 21:08   作者:阿力