全部写作

文章与工程复盘

第 5 页，共 5 页

淘宝用户行为离线数仓的分层建模、调度和 BI 链路封面项目复盘 · 2025年9月 - 2025年11月淘宝用户行为离线数仓复盘行为日志离线数仓：分层建模、调度、质量治理一路做到 BI 展示。HiveSparkAirflowKafkaMySQLECharts阅读全文
本页其余2
  1. 2025年12月Spark 写出的 CSV，Doris 并不认把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段，故障都不在计算里：多分区输出会写多次表头，分隔符模式不认 CSV 的引号转义，case class 带出的列名是 camelCase 而表结构是 snake_case，`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。工程笔记
  2. 2025年11月Hive、Spark 与 Doris 在数仓链路里的分工基于 BigData-Notes 的学习整理和本地项目文档，梳理 Hive Metastore、Spark SQL、Parquet、Doris 服务层的定位，以及为什么不要把所有表都同步到 Doris。OLAP