全部写作

文章与工程复盘

第 2 页，共 5 页

Spark 执行模型与 QueryExecution 源码学习笔记封面大数据 · 2026年8月9日Spark 执行模型源码笔记：从懒执行到 QueryExecution学习 Spark 源码的第一站：DataFrame 为什么是懒执行的？逻辑计划经过哪几层才变成真正的计算？带着 Day 1 的疑问去读 QueryExecution.scala 和 LazyTry.scala，把"懒执行"从概念落到代码。阅读全文 3分钟阅读
本页其余6
  1. 2026年8月供应链指标为什么容易吵：范围级高危、代表版本和种子闭包做供应链看板时，最容易翻车的不是图表，而是口径。记录 M01/M03/M07/M08 的定义、误读方式和我最终怎么写进指标字典。工程笔记
  2. 2026年8月改一个键定义，为什么要重放全部历史商品身份 ID 是组键的确定性哈希，所以收紧对齐键会让所有 ID 换代：历史分区和新分区连不上，含 ID 的跨日特征必须全量重放。记录重放前的断点水位清理、字段宽度契约、旧分区 schema 冲突，以及"补完历史要再重载最新一天"这条铁律。工程笔记
  3. 2026年8月Kafka 可靠性语义笔记：从分区到 Exactly-Once整理 BigData-Notes 中 Kafka 分区、副本、生产者确认、消费者 offset 和 Exactly-Once 语义，重点理解“Kafka 保证了什么，以及没有保证什么”。消息队列
  4. 2026年7月口径只能有一个来源：spec_ontology、when 链和那条匹配空串的正则同一个"容量"在采集侧、计算侧、后台各解析一遍，迟早出问题。记录把单位折算、键别名、正则常量收进一个纯 Python 模块的过程，以及两条代价很高的教训：可选单位的正则把 TB 当 GB 落库，十几层 when 链让 executor 被 OOM 杀掉。工程笔记
  5. 2026年7月数仓里常用的 SQL：代表版本、窗口聚合与入仓对账用供应链项目里的真实表，整理代表版本选取、直接依赖聚合、7 日下载滑动、高危榜和条数对账等 SQL。工程笔记
  6. 2026年7月供应链主题域怎么分层：事实粒度、维度表和代理键围绕开源供应链项目，记录 ODS/DWD/DIM/DWS/ADS 怎么切、依赖边和漏洞 affects 的事实粒度怎么定、包/版本维度如何挂代理键。工程笔记