#Spark

出现在硬件行情湖仓数据平台7 Olist 电商湖仓5 引擎与消息原理2 数据平台工程2

2026年3月Olist 电商湖仓一体项目复盘HDFS、Hive、Spark、Kafka、Doris 全链路湖仓复盘，含质量门禁与图分析。项目复盘 2026年2月门禁里那些假装在检查的规则给湖仓链路加完数据质量门禁，我复核了一遍规则集，找到四类"看起来在跑、实际不判"的规则：没基线就恒过的漂移检查、被喂了常量的膨胀检查、按定义每次必报警所以被移出管道的规则，以及默认不改变退出码的 BLOCK。工程笔记 2026年1月所有卖家的 PageRank 是同一个数对卖家-商品二部图跑 PageRank，收敛后所有卖家的分数完全相同；连通分量算法在这张图上跑挂，我退回了"按主品类聚类"。换成四部异构图之后分数依然没有区分度。问题不在算法实现，在图的结构对称。工程笔记 2025年12月装环境最难查的那类故障：全程没有报错在集群机器上从源码编译 Python，`make` 和 `make install` 都成功，然后 pip 连不上 HTTPS、装不了包、PySpark 报缺 `_ctypes`。原因是 configure 检测不到依赖库时只是"跳过那个模块"，而不是失败。Jackson 版本冲突是同一类沉默。工程笔记 2025年12月Spark 写出的 CSV，Doris 并不认把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段，故障都不在计算里：多分区输出会写多次表头，分隔符模式不认 CSV 的引号转义，case class 带出的列名是 camelCase 而表结构是 snake_case，`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。工程笔记

2026年8月Spark 执行模型笔记（二）：宽窄依赖、Shuffle 与 Stage继续 Spark 执行模型：窄依赖"原地算"，宽依赖"要搬家"（Shuffle），Stage 以 Shuffle 为界翻篇。用一张因果链把 Partition、依赖类型、Shuffle、Stage、Job、repartition/coalesce 串起来，附综合例题。大数据 2026年8月Spark 执行模型源码笔记：从懒执行到 QueryExecution学习 Spark 源码的第一站：DataFrame 为什么是懒执行的？逻辑计划经过哪几层才变成真正的计算？带着 Day 1 的疑问去读 QueryExecution.scala 和 LazyTry.scala，把"懒执行"从概念落到代码。大数据