服务端安装
软件包连接地址
http://zbomc.com:8888/ZCBUS/2.0/zcbus.server_full.docker.v2.0.1.tar.gz
解压安装
tar xvfz zcbus.server_full.docker.v2.0.1.tar.gz
cd server_full
编辑common/zcbus.properties参数文件,修改以下参数:
ZC_CUSTOMER_URL=http://172.17.104.186:8890/ #服务端web地址
ZC_CACHE_SERVER=172.17.104.186:9092 #kafka地址
ZC_DB_SERVER=QFlYT0k6/e0twWGp8aVtWfGB8dn9YdTo@zcbusdb:3306/zcbus #zcbusdb连接,默认即可
安装:
sh zcmgr.sh install
输入相关信息
[INFO] whether to start install zcbus ... Please input 'y/Y' to continue/press Ctrl+C to exit :y #输入y,回车继续
[INFO] whether to install integrate/external ,defaut is integrate: #回车继续
[INFO] whether to install server_full/cloud_server/cloud_client/server,defaut is server:cloud_server #输入cloud_server,回车继续(cloud_server数据分发模型服务端,server_full和server数据交换模型)
[INFO] Please input docker path /data/docker02:/data/docker02 #输入docker数据存放目录,回车继续
安装完成后进程检查
sh zcmgr.sh check
web连接地址
Manager console Website Address: http://ipaddress:8890
Default login account : admin
Default login password: 123456
添加客户端
注:服务端订阅节点添加时,选择停止,否则客户端启动子进程服务端也会启动。
生成序列号:
点击生成序列号—>选择客户端模式—>输入机器码:
注:
机器码获取方式:
(1)客户端主机root用户执行 cat /sys/class/dmi/id/product_uuid 命令获取。
(2)客户端安装时会提示机器码,如下截图:
启动数据比对进程
客户端安装
软件包连接地址
http://zbomc.com:8888/ZCBUS/2.0/zcbus.client_remote.docker.v2.0.1.tar.gz
解压安装
解压并进入安装目录
tar xvfz zcbus.client_remote.docker.v2.0.1.tar.gz
cd client_remote
选择安装方式并安装
手动输入参数安装方式
执行安装命令:
编辑common/zcbus.properties参数文件,修改以下参数:
ZC_CUSTOMER_URL=http://172.17.104.186:8890/ #服务端web地址
ZC_CACHE_SERVER=172.17.104.186:9092 #kafka地址
ZC_DB_SERVER=QFlYT0k6/e0twWGp8aVtWfGB8dn9YdTo@zcbusdb:3306/zcbus #zcbusdb连接,默认即可
执行安装命令:
sh zcmgr.sh install
输入相关参数:
[INFO] whether to start install zcbus ... Please input 'y/Y' to continue/press Ctrl+C to exit :y #输入y,回车继续
[INFO] whether to install integrate/external ,defaut is :integrate #输入integrate,回车继续
[INFO] whether to install server_full/cloud_server/cloud_client/server,defaut is server:cloud_client #输入cloud_client,回车继续
[INFO] whether to condition y|Y/n|N: #输入y,回车继续
[INFO] Please input docker path /data/docker02:/busdata/docker #输入docker数据存放目录,回车继续
[INFO] Please input if load images y/n:y #输入y,回车继续
[INFO] whether input aux process ,when 1 then auto start ,when 0 then not start [0]:1 #输入1,自动启动aux进程,回车继续
[INFO] whether input customerid :10002 #输入customerid,回车继续
[INFO] whether input customerkey :e1c168fa-cdb3-4db3-bc16-637bc318c98d #输入序列号,回车继续
指定参数文件,静默安装方式
编辑common/zcbus.properties参数文件,修改以下参数:
ZC_CUSTOMER_URL=http://172.17.104.186:8890/ #服务端web地址
ZC_CACHE_SERVER=172.17.104.186:9092 #kafka地址
ZC_DB_SERVER=QFlYT0k6/e0twWGp8aVtWfGB8dn9YdTo@zcbusdb:3306/zcbus #zcbusdb连接,默认即可
编辑common/zcbus_client.rsp参数文件,修改以下参数:
ZC_DATA_HOME=/busdata/docker #docker数据存放目录
ZC_TYPE=cloud_client #客户端类型
ZC_CUSTOMERID=10002 #客户端ID
ZC_CUSTOMER_KEY=45c315db-b5cb-460d-97ad-a42ec0f6dbb2 #序列号
执行安装命令:
sh zcmgr.sh slient ./common/zcbus_client.rsp
安装完成后进程检查
sh zcmgr.sh check
web连接地址
Manager console Website Address: http://ipaddress:8890
Default login account : admin
Default login password: 123456
启动订阅客户端:
服务端发布+策略分配
发布
发布节点添加
发布—>添加:
发布节点名称输入—>容器选择—>确认:
发布配置
发布—>配置:
选择数据库类型—>确认:
数据数据库信息—>测试连接,连接成功后—>提交:
选择发布数据表
选择库或者schema—>勾选发布表—>点击向右箭头—>点击添加表:
表发布
选择页面—>勾选发布表—>允许发布—>启动全量和增量进程:
发布监控
发布—>监控
策略分配
策略定义—>新增—>输入策略名称—>勾选发布节点—>勾选订阅客户节点—>确认:
注:此方法会将发布节点下的所有配置表分配给指定订阅客户节点
客户端配置订阅
数据库配置:
订阅—>数据库管理—>添加—>选择数据库类型—>保存
输入数据库链接信息—>确认:
测试连接:
订阅配置
订阅—>配置—>选择类型—>选择主控—>指定通道数—>保存:
订阅—>数据表:
勾选订阅表—>保存库名(oralce库建议库名和表名指定大写):
输入库名—>确认:
点击重置&开启,开启订阅状态:
订阅—>修改并发数—>点击开启:
订阅监控
订阅—>监控
服务端数据比对配置
订阅—>数据比对:
配置—>比对表配置:
输入比对表—>查询—>勾选比对表—>比对配置:
选择比对方式—>提交配置:
服务端+客户端数据比对结果查看
比对状态查看:
订阅—>数据比对—>配置—>查看比对状态:
比对统计查看:
订阅—>数据比对—>统计—>查看比对统计:
数据处理
数据处理节点添加
数据处理—>客户管理—>添加:
输入客户名称—>选择容器—>确认:
策略分配
策略分配(详见之前策略分配的配置部分,选择发布节点的表分配给新建的数据处理客户节点)
数据处理配置
数据处理—>选择客户节点—>刷新—>配置:
数据处理—>数据表:
勾选表—>ETL配置:
添加—>输入队列名—>输入规则名—>添加etl配置—>保存:
注:etl配置规则详见帮助。
返回:
操作类型—>重置&开启:
数据处理—>修改并发数—>点击开启:
策略分配与订阅
策略分配(详见之前策略分配的配置部分,选择数据处理节点的表分配给相应订阅节点)
订阅(详见之前订阅的配置部分)
服务端用户下发+客户端用户登录
服务端用户下发
用户创建
权限管理—>用户管理—>新增—>添加用户信息(用户名、密码、密码确认、用户类型和客户选择必填,其他可选)—>保存:
用户密码修改(可选)
权限管理—>用户管理—>编辑—>点击修改密码—>输入修改的密码—>保存:
设置角色
权限管理—>用户管理—>设置角色—>勾选订阅和新用户默认角色—>保存:
客户端用户登录
问题整理
问题1
后台日志报错:
%3|1643423323.459|FAIL|rdkafka#consumer-1| [thrd:zcbuskafka:9092/1]: zcbuskafka:9092/1: Failed to resolve ‘zcbuskafka:9092’: Name or service not known (after 2ms in state CONNECT)
解决
后台进入zcbus容器:docker exec -it zcbus bash
修改zcbus容器的/etc/hosts文件:
172.17.104.186 zcbuskafka
重启:
cd scripts/
./stop_container.sh
./start_container.sh
问题2
客户端配置时,提示clientKey校验失败:
解决
检查云端返回的ip,是docker容器ip,不是物理机ip:
docker logs -f zcbusrestapi
云端修改ip白名单:
问题3
客户端订阅api接口DDL异常:
解决
后台进入zcbus容器:docker exec -it zcbus bash
修改zcbus容器的profile文件,去掉以下内容:
#zfl:apache-tomcat-zcbus:20200830
dbuser="SFVVTjo"
dbpwd='e0twWGp8aVtWfGB8dn9YdTo'
dbhost=zcbusdb
dbport=3306
database="zcbus"
重启进程:
cd scripts/
./stop_container.sh
./start_container.sh
备注:修改kafka地址
后台进入zcbus容器:docker exec -it zcbus bash
修改zcbus容器的/etc/hosts文件:
172.17.104.186 zcbuskafka
重启:
cd scripts/
./stop_container.sh
./start_container.sh
待优化项
1、客户端配置时,提示clientKey校验失败 -已处理,不校验IP地址,只校验节点ID和验证码
检查云端返回的ip,是docker容器ip,不是物理机ip,云端添加客户端时需要配置docker容器ip
2、服务端安装时,是否可以将订阅节点默认启动改成默认停止
3、客户端web菜单显示梳理 -已处理
4、针对深圳证券项目,服务端的新加客户节点client进程是不允许启动的,但比对进程是否可以实现自动启动。