本地部署安装

目前本地部署手动操作较多,建议使用容器化安装,方便简洁

组件分类

后台任务 前台任务数据库监控发布订阅发布订阅zcbuszcbuskafkazcbuszookeeper文件缓存nginxzcbusvuezcbusrestapiZCBUSzcbusdb

组件下载地址:

nginx:http://nginx.org/download/nginx-1.21.6.tar.gz
zcbusvue:http://101.201.81.45:8888/ZCBUS/2.0/api+vue/vue.tar.gz
zcbusrestapi:http://101.201.81.45:8888/ZCBUS/2.0/api+vue/databus-api-1.0.0.jar
zcbus容器:https://pan.baidu.com/s/1L6kXo-MPdCU80XNJwSwXOg?pwd=3kui
提取码:3kui
zcbus_server:https://pan.baidu.com/s/18dp3AMYMwjXqoJ6hiALsvg?pwd=wyst
提取码:wyst

一、前台任务模块安装部署

1.本地环境安装nginx

安装依赖包:

  • yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

解压nginx安装包

  • tar -xvf nginx-1.21.6.tar.gz

安装

1.考虑到后续安装ssl证书 添加两个模块
cd nginx-1.21.6
./configure --with-http_stub_status_module --with-http_ssl_module
2.执行make命令
make
3.执行make install命令
make install

2.本地布置前端代码

解压获取到的vue.tar安装包

  • mkdir -p /root/zcbus/html/vue/
  • tar -xvf vue.tar.gz -C /root/zcbus/html/vue/

安装完成后,配置nginx配置文件,将如下内容写入配置文件当中(可以将生成的配置文件mv掉,自己重新创建,可自定义设置端口或vue文件解压目录)

[root@localhost ~]# cat /usr/local/nginx/conf/nginx.conf
user  root;
worker_processes  auto;

error_log  /var/log/nginx/error.log notice;
pid        /var/log/nginx/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /usr/local/nginx/conf/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;
    server_tokens   off;
    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

limit_conn_zone $binary_remote_addr zone=conn_zone:50m;
server {
    listen       8890;
    server_name  _;

    #charset koi8-r;
    access_log  /var/log/nginx/host.access.log  main;
    error_log  /var/log/nginx/error.log  error;

    # 限制请求体的大小,若超过所设定的大小,返回413错误。
    client_max_body_size    100M;
    client_body_buffer_size 256k;
    # 读取请求头的大小,若超长,返回431错误。
    # 请求行+请求头的标准大小为256k
    client_header_buffer_size 128k;
    # 请求行+请求头的最大大小为6m
    # 请求头(request header)中的每一个头部字段的大小不能超过6m
    large_client_header_buffers 4 1m; 
    # 读取请求头的超时时间,若超过所设定的大小,返回408错误。
    client_header_timeout   300s; 
    # 读取请求实体的超时时间,若超过所设定的大小,返回413错误。
    client_body_timeout     300s; 
    # http请求无法立即被容器(tomcat, netty等)处理,被放在nginx的待处理池中等待被处理。此参数为等待的最长时间,默认为60秒,官方推荐最长不要超过75秒。
    proxy_connect_timeout   300s; 
    # http请求被容器(tomcat, netty等)处理后,nginx会等待处理结果,也就是容器返回的response。此参数即为服务器响应时间,默认60秒。
    proxy_read_timeout      300s; 
    # http请求被服务器处理完后,把数据传返回给Nginx的用时,默认60秒。
    proxy_send_timeout      300s;


    location / {
        limit_conn conn_zone 10;
        limit_rate 80k;
        root   /root/zcbus/html/vue;
        index  index.html index.htm;
        try_files $uri $uri/ /index.html;
    }

    location ~* ^/(doc.html|webjar|api|swagger-resources|swagger-resources|v2/api-docs) {
        proxy_pass http://127.0.0.1:7080;
        proxy_set_header X-Forwarded-Port $server_port;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host                           $host;
        proxy_set_header X-Real-IP                      $remote_addr;
        proxy_set_header X-Forwarded-For                $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto              $scheme;
        proxy_redirect                                  off;
    }

    error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /root/zcbus/html;
    }
}
}

启动nginx

mkdir /var/log/nginx/
chmod -R 755 /root/zcbus/html/
killall nginx
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf 
(如果配置没有问题,启动完成后,可以访问IP:PORT前端页面,也可能过PS -EF | GREP NGINX查看)

3.本地安装部署后端

拿到后端的jar包,放在本地目录,创建启动脚本:

  **注:数据库用户名密码需要用zcbus目录的bin/pwd_encode 翻译加密**
[root@localhost zcbus]# vi start_restapi.sh 
export JAVA_HOME=/root/data1/simple_server/soft/zcbus/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
export NGINX_VERSION=1.21.6
export NJS_VERSION=0.7.3
export TZ=Asia/Shanghai
export SPRING_PROFILE=prod
export LANG=zh_CN.UTF-8
export LC_ALL=zh_CN.UTF-8
#export DB_USER_PWD=ENC\(e0twWGp8aVtWfGB8dn9YdTo\)
#export DB_USER_NAME=ENC\(QFlYT0k6\)
export DB_HOST=192.168.71.134
export DB_PORT=3306
export DB_NAME=zcbus
export DB_USER_NAME=ENC\(QFlYT0k6\)
export DB_USER_PWD=ENC\(C0tbQBtre2A6\)
ZCBUS_CUSTOMER_SIG=10435||f8911f94-1866-4fft-80fd-11t4ff94f654||http://v2.zbomc.com||8911f94-1866-4fft-80fd-11t4ff94f654

java -Dspring.profiles.active=${SPRING_PROFILE} -jar databus-api-1.0.0.jar

4.前台组件操作命令总结

停止:
  ps -ef|grep databus-api-1.0.0|grep -v grep|awk '{print $2}'|xargs kill -9

启动hiveserver2:
  cd /root/zcbus
  nohup  sh start_restapi.sh  > restapi.log 2>&1 &

重启nginx
  killall nginx
  /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf 

二、后台任务模块安装部署

1.MySQL与kafka 安装部署

2.zcbus容器安装部署

解压下载好的zcbus容器压缩包:
  tar -zxvf zcbus.tar.gz 
解压完成后会在本地生成一个zcbus文件,此为zcbus容器目录。
  进入zcbus容器内部目录,根据实际环境修改profile环境变量文件
[root@lyzcbus zcbus]# vi profile 
#!/bin/bash
export ZCBUS_CLUSTERID=0(容器ID)
export ZCBUS_CONTAINER=zcbus(容器名称)
export ZCBUS_HOME=/zcbus(容器安装路径)
export ZCBUS_CACHE_PATH=${ZCBUS_HOME}/cache
export JAVA_HOME=${ZCBUS_HOME}/jdk
export JRE_HOME=${ZCBUS_HOME}/jdk/jre
export PATH=${PATH}:${ZCBUS_HOME}/bin:${JAVA_HOME}/bin:${ZCBUS_HOME}/scripts:/home/db2inst1/.local/bin:/home/db2inst1/bin:/opt/ibm/db2/V9.7/bin
export IQDIR16="${ZCBUS_HOME}/IQ-16_1"
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:${ZCBUS_HOME}/lib/zc_lib/:/busdata/zl/zcbus/2.0.1/ogg/lib:${IQDIR16}/lib64:/home/db2inst1/sqllib/lib

#zfl:./soft/sql/zcbus.sql:20201007
db_url="192.168.71.135"(mysql地址)
zookeeper_url="192.168.71.135:2181"(zookeeper地址)
kafka_url="192.168.71.135:9092"(kafka地址)


目录结构:

  • bin:软件运行的核心命令及其辅助的调试工具,一般情况下升级的主要更新目录
  • cache:数据缓冲存放目录
  • config:基础配置信息存放目录,一般情况下不用修改,安装软件时会自动填写配置信息
  • jar:软件调用的jar包
  • lib:软件调用的库文件目录
  • log:每个进程所产生的日志存放目录,日志命名方式为进程名称+节点编号
  • script:整个容器内运行的进程,启动/关闭/查看,命令目录
  • profile:环境变量,一般情况下执行命令前需要先执行环境变量
文档更新时间: 2023-12-16 20:48   作者:阿力