返回项目

引擎与消息原理

Spark 执行模型与 Shuffle/Stage 的源码读法，加上 Kafka 投递语义的边界。

  1. 01
    Kafka 分区、副本、生产者确认和消费 offset 的技术笔记封面
    第 1 节 · 消息队列 · 3分钟阅读

    Kafka 可靠性语义笔记：从分区到 Exactly-Once

    整理 BigData-Notes 中 Kafka 分区、副本、生产者确认、消费者 offset 和 Exactly-Once 语义，重点理解“Kafka 保证了什么，以及没有保证什么”。

    阅读本章
  2. 02
    Spark 执行模型与 QueryExecution 源码学习笔记封面
    第 2 节 · 大数据 · 3分钟阅读

    Spark 执行模型源码笔记：从懒执行到 QueryExecution

    学习 Spark 源码的第一站：DataFrame 为什么是懒执行的？逻辑计划经过哪几层才变成真正的计算？带着 Day 1 的疑问去读 QueryExecution.scala 和 LazyTry.scala，把"懒执行"从概念落到代码。

    阅读本章
  3. 03
    Spark 宽窄依赖、Shuffle 与 Stage 划分学习笔记封面
    第 3 节 · 大数据 · 3分钟阅读

    Spark 执行模型笔记（二）：宽窄依赖、Shuffle 与 Stage

    继续 Spark 执行模型：窄依赖"原地算"，宽依赖"要搬家"（Shuffle），Stage 以 Shuffle 为界翻篇。用一张因果链把 Partition、依赖类型、Shuffle、Stage、Job、repartition/coalesce 串起来，附综合例题。

    阅读本章

1–3 / 3 节回到第 1 节