LLuminary
文章项目标签关于
返回项目

Olist 电商湖仓

HDFS、Hive Metastore、Spark、Kafka、Doris 一条湖仓链路:CSV 列契约、质量门禁、图分析与批流对账设计,含还没跑通的实验。

第 2 节,共 3 节010203/ 03 节 上一节下一节
  1. 04
    二部图上 PageRank 分数塌缩为同一常数的封面,标出卖家层与商品层的对称结构
    第 4 节 · 工程笔记 · 4分钟阅读

    所有卖家的 PageRank 是同一个数

    对卖家-商品二部图跑 PageRank,收敛后所有卖家的分数完全相同;连通分量算法在这张图上跑挂,我退回了"按主品类聚类"。换成四部异构图之后分数依然没有区分度。问题不在算法实现,在图的结构对称。

    阅读本章
  2. 05
    数据质量门禁里恒为通过的规则封面,标出 PASS、WARN、BLOCK 三态与一条空转的规则
    第 5 节 · 工程笔记 · 4分钟阅读

    门禁里那些假装在检查的规则

    给湖仓链路加完数据质量门禁,我复核了一遍规则集,找到四类"看起来在跑、实际不判"的规则:没基线就恒过的漂移检查、被喂了常量的膨胀检查、按定义每次必报警所以被移出管道的规则,以及默认不改变退出码的 BLOCK。

    阅读本章
  3. 06
    未在集群复现的实验如何标注证据状态的封面,标出设计、执行、历史结果三态
    第 6 节 · 工程笔记 · 5分钟阅读

    没在集群跑出来的实验,结论该怎么写

    批流一致性的正向证据只来自一次真跑通的回放,后面两轮环境里没有 Kafka、作业没重跑,但服务库里仍然摆着那份对账结果——它是搬运来的。这篇记我给"没验证的结论"记账的方式:哪些是设计、哪些跑过、哪些是历史结果、哪些从没实现。

    阅读本章

4–6 / 7 节继续下一节

Luminary

真实项目、工程复盘与长期技术笔记。

LUO / FIELD NOTES
友链RSSGitHub© 2026 Luo