全部标签
#ETL
5 篇 · 3 站
2026年8月Doris Stream Load 的假成功：label、三态判定与"先确认再破坏"一批脚本执行完毕、退出码全零，数据却一行都没进。原因全在装载语义里：label 幂等把重跑变成 SKIP、UNIQUE KEY 只覆盖本次出现的键、全量替换的顺序写反、staging 平铺目录跨日期污染。记录这四处以及我最后定下的装载规范。工程笔记2026年6月第一条离线链路：从 ODS 到 ADS，以及那些写死在提交命令里的参数把采集数据一路推到可查询的 ADS 表，中间踩的不是 SQL 而是工程细节：executor 的代码从哪来、内存为什么必须显式限、JDK 有缺陷怎么绕、校验为什么要在编排层之外再做一遍。工程笔记2026年3月爬虫也要有数据契约：price_status、schema_version 与原始页面留档采集层最划算的设计不是选择器写得多稳，而是把"这一行现在处于什么状态"显式写进字段里。记录 price_status / schema_version / parser_version / 行级页面级指纹的设计，以及为什么原始 HTML 必须留档。工程笔记