一、故障报告

1. 问题（故障）描述

_delimiter:<zcbus>\n" http://10.141.129.200:8030/api/testdb/bd_psndoc/_stream_load                                                           
{
    "TxnId": 21163,
    "Label": "cae29771-94d5-462d-a506-2bd6eacd2643",
    "Comment": "",
    "TwoPhaseCommit": "false",
    "Status": "Fail",
    "Message": "[DATA_QUALITY_ERROR]too many filtered rows",
    "NumberTotalRows": 1,
    "NumberLoadedRows": 0,
    "NumberFilteredRows": 1,
    "NumberUnselectedRows": 0,
    "LoadBytes": 8290539,
    "LoadTimeMs": 88,
    "BeginTxnTimeMs": 1,
    "StreamLoadPutTimeMs": 5,
    "ReadDataTimeMs": 1,
    "WriteDataTimeMs": 80,
    "CommitAndPublishTimeMs": 0,
    "ErrorURL": "http://10.141.129.200:8040/api/_load_error_log?file=__shard_18/error_log_insert_stmt_51436dbb94ccc41d-62673d8273db90bc_51436dbb94ccc41d_62673d8273db90bc"
}
[root@d5fdca907fd6 log]# curl http://10.141.129.200:8040/api/_load_error_log?file=__shard_18/error_log_insert_stmt_51436dbb94ccc41d-62673d8273db90bc_51436dbb94ccc41d_62673d8273db90bc
Reason: column_name[photo], the length of input string is too long than vec schema. first 32 bytes of input str: [89504e470d0a1a0a0000000d49484452] schema length: 2147483643; limit length: 1048576; actual length: 8247464; . src line []; 

2. 问题（故障）原因

doris string类型限制
变长字符串，默认支持 1048576 字节（1MB），可调大到 2147483643 字节（2GB）。可通过 BE 配置 string_type_length_soft_limit_bytes 调整。String 类型只能用在 Value 列，不能用在 Key 列和分区分桶列。

3. 解决

4. 参考

参考: https://doris.apache.org/zh-CN/docs/table-design/data-type

二、实时计算合成表中缺少部分数据

1、问题描述

实时计算过程中，会根据zcbusloadtime 字段来判断计算范围，如上图中所示，当中的这个#zcbus_min# 值取自bus_client_op_full_load_info 中的 start_time 字段的值，即全量开始时间，但是这可能会面临一个问题，当全量开启的时间和数据入库的时间相同时，例如时间都为’2025-10-08 14:23:45’时，实时计算条件值 zcbusoptime>’2025-10-08 14:23:45’ 时则会漏掉部分数据，正确的情况应该修改为zcbusoptime>=’2025-10-08 14:23:45’即可，截止2025-10-20日，问题已提交，待修改

2、临时解决方案：

手动修改值取自bus_client_op_full_load_info中的start_time 字段，将时间点往前推个几十秒即可

三、实时计算合成表数据比源库多