FTP_SERVE后台服务使用说明

一、方法概述

FTP 数据推送服务负责：

1. 优先处理重读文件（bus_push_ftp_readfile_flag 表）
2. 优先处理重读表（bus_push_ftp_readtable_flag 表）
3. 按断点时间扫描 FTP 目录，读取新文件（断点续传）
4. 按文件夹粒度推送数据，推送完毕后更新断点时间

整体执行顺序：

processReReadFiles(重读文件)
    ↓
processReReadTables(重读表)
    ↓
getFileList(断点续传扫描)
    ↓
按 fileDate 分组逐文件推送
    ↓
每组推完后立即更新断点时间

二、三种断点（续传）方式

2.1 断点续传（普通模式）

触发条件：正常调度执行
依赖表：bus_push_ftp_readdate（字段：nodeid、readdate）

断点推进逻辑（readAndPushTxtFiles）：

文件夹日期 yyyyMMdd 推送完毕
  → 断点更新为 yyyyMMdd + 1 天（yyyy-MM-dd 格式存入 bus_push_ftp_readdate）
  → 下一轮从该断点对应的文件夹开始

日期连续性要求：

• FTP 文件夹命名格式必须为 *_yyyyMMdd，如 reps1_20260429
• 文件夹内须包含 .log 文件，表示上传已完成，否则跳过
• 若日期不连续（期望 20260428，FTP 上只有 20260430），停止处理并报警，等待补传，或者用户手动设置断点跳过缺失日期

2.2 重读文件（指定文件/文件夹重读）

触发条件：bus_push_ftp_readfile_flag 表中存在 readflag=1 的记录
依赖表：bus_push_ftp_readfile_flag（字段：id、nodeid、filepath、readdate、readflag）

有两种子模式：

按文件夹粒度重读（填写 readdate）

执行逻辑：

1. 将 readdate 转换为 yyyyMMdd（如 20260426）
2. 扫描 FTP rootpath，匹配名称以 _20260426 结尾的所有文件夹
3. 文件夹内须包含 .log 文件，表示上传已完成，否则跳过
4. 遍历文件夹内所有 .txt 文件，已读文件先删除 readfile 标记再下载
5. 下载成功后直接调用 callClient 推送
6. 推送成功后将该记录 readflag 置为 0（updateReadfileFlag）

2.3 重读表（指定表名重读）

触发条件：bus_push_ftp_readtable_flag 表中存在 readflag=1 的记录
依赖表：bus_push_ftp_readtable_flag（字段：id、nodeid、tablename、readdate、readflag）

执行逻辑：

1. 将 readdate 转换为 yyyyMMdd
2. 扫描 FTP rootpath，匹配名称以 _yyyyMMdd 结尾的文件夹
3. 文件夹内须包含 .log 文件，表示上传已完成，否则跳过
4. 过滤文件夹内以 tablename_ 开头的 .txt 文件（如 test_db_delete_20260426.txt、test_db_insert_20260426.txt）
5. 已读文件先删除 readfile 标记再下载
6. 下载成功后直接调用 callClient 推送
7. 推送成功后将该记录 readflag 置为 0（updateReadtableFlag）

三、readdate 日期格式说明

存储规范：所有写入操作（updateReadDate、初始化断点）均使用 yyyy-MM-dd 格式。

四、FTP 文件结构要求

{ftp_path}/                         ← rootpath（由 bus_push_db_parameter.ftp_path 配置）
├── reps1_20260426/                 ← 文件夹命名格式：任意前缀_yyyyMMdd
│   ├── xxx.log                     ← 必须包含 .log 文件（表示上传完成）
│   ├── test_db_insert_20260426.txt ← 数据文件，命名：{表名}_{操作类型}_{yyyyMMdd}.txt
│   ├── test_db_delete_20260426.txt
│   └── other_table_insert_20260426.txt
├── reps1_20260427/
│   ├── xxx.log
│   └── ...
└── reps1_20260428/
    └── ...（无 .log 文件则跳过，等待上传完成）

文件命名规则（用于解析表名和操作类型）：

五、关键日志输出格式

5.1 断点续传阶段日志

5.2 重读文件日志

5.3 重读表日志

5.4 推送阶段日志（callClient）

5.5 断点异常/警告日志

六、相关数据库表

bus_push_ftp_readdate（断点续传时间）

维护方式：系统自动写入/更新，每个文件夹推送完后立即更新为该文件夹日期 +1 天。
手动干预：若需要从某日期重新处理，将 readdate 改为目标日期即可（支持 yyyy-MM-dd 和 yyyyMMdd 两种格式）。

bus_push_ftp_readfile（已读文件记录）

用途：记录已推送的文件，防止重复推送。重读时先调用 deleteReadfile 清除旧记录，推送成功后重新写入。

bus_push_ftp_readfile_flag（重读文件标志）

使用方式：

• 文件夹重读：填写 nodeid、readdate，readflag=1
• readflag=0 的记录在下次查询时自动清除（getReadfileFlag 中执行 delete）

bus_push_ftp_readtable_flag（重读表标志）

使用方式：填写 nodeid、tablename、readdate，readflag=1，推送成功后自动置 0。

七、配置参数（bus_push_db_parameter 表）

八、常见问题排查