名词解释
容器
- 即为ZCBUS运行的环境,通过容器,以及容器分配资源,负责容器内所有服务进程管理。以及针对云内自检服务,跨云服务。云上云下,互联网分发等不同场景中,所有进程管理等服务。
数据源
- 部连接到Zcbus系统的数据来源。当前支持的数据源主要指数据库(Database),后续将逐步增加File、GridFS、RestAPI、Custom、Cache等类型。
发布
- 连接数据源分析数据到ZCBUS数据平台,发布分为全量发布和增量发布:
全量发布:
即将数据源中原有数据初始化到数据融合平台,为后期全量数据对外提供数据基础服务
增量发布:
增量发布包含实时增量发布,定时增量发布:实时发布:
通过读取日志方式,读取数据库中变化数据,将关注表相关变化输送到ZCBUS平台中,包含数据库中的DDL/DML等操作【表级别】
定时发布:
即通过SQL/API等多种方式,定时获取数据源中数据,详情可参考**定时**详细描述部分
策略
即对ZCBUS平台内的表(可以为发布原始数据,也可以是经过数据加工之后的)进行组合,形成一个组合对象,在策略分配给不同订阅客户端的时候,做一个分配策略单元。
策略配置:
将发布节点、数据处理节点的表生成策略的操作,即制定策略
策略分配:
将一个策略分配给一个订阅节点或数据处理节点,但未绑定之前的策略不能启动
策略绑定:
将策略绑定到订阅节点或数据处理节点的通道上,订阅节点的通道对应配置的目标库,数据处理节点的通道无需配置目标库即可绑定,绑定后通道才可以启动
数据加工
订阅
即协助ZCBUS,将ZCBUS内部数据输入到目标的管理服务进程。一个订阅客户端下可以含有很多传输通道,可以将不同分配的策略中的表,输送到不同的目标数据库中
目标数据库
配置数据输入目标系统,一般为DATABASE,同时也支持KAFKA等消息队列,以及HIVE,HBASE等大数据平台组建等。
通道
为协助订阅客户端,将策略中的表输送到指定目标系统的通道,每个策略可以有多个通道组成,同时启动多进程,每个进程多线程完成入库操作
智能搜索
SQL运维
翻译
文档更新时间: 2023-12-11 21:46 作者:阿力