全部标签
#数据质量
14 篇 · 3 站
2026年3月Olist 电商湖仓一体项目复盘HDFS、Hive、Spark、Kafka、Doris 全链路湖仓复盘，含质量门禁与图分析。项目复盘2026年2月没在集群跑出来的实验，结论该怎么写批流一致性的正向证据只来自一次真跑通的回放，后面两轮环境里没有 Kafka、作业没重跑，但服务库里仍然摆着那份对账结果——它是搬运来的。这篇记我给"没验证的结论"记账的方式：哪些是设计、哪些跑过、哪些是历史结果、哪些从没实现。工程笔记2026年2月门禁里那些假装在检查的规则给湖仓链路加完数据质量门禁，我复核了一遍规则集，找到四类"看起来在跑、实际不判"的规则：没基线就恒过的漂移检查、被喂了常量的膨胀检查、按定义每次必报警所以被移出管道的规则，以及默认不改变退出码的 BLOCK。工程笔记