LLuminary
文章项目标签关于
返回项目

Olist 电商湖仓

HDFS、Hive Metastore、Spark、Kafka、Doris 一条湖仓链路:CSV 列契约、质量门禁、图分析与批流对账设计,含还没跑通的实验。

第 1 节,共 3 节010203/ 03 节 上一节下一节
  1. 01
    Spark 导出的 CSV 与 Doris Stream Load 列契约不匹配的封面,标出表头、分隔符、列序三段
    第 1 节 · 工程笔记 · 3分钟阅读

    Spark 写出的 CSV,Doris 并不认

    把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段,故障都不在计算里:多分区输出会写多次表头,分隔符模式不认 CSV 的引号转义,case class 带出的列名是 camelCase 而表结构是 snake_case,`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。

    阅读本章
  2. 02
    源码编译 Python 静默跳过缺失依赖模块的封面,标出 configure、编译、运行期三段
    第 2 节 · 工程笔记 · 3分钟阅读

    装环境最难查的那类故障:全程没有报错

    在集群机器上从源码编译 Python,`make` 和 `make install` 都成功,然后 pip 连不上 HTTPS、装不了包、PySpark 报缺 `_ctypes`。原因是 configure 检测不到依赖库时只是"跳过那个模块",而不是失败。Jackson 版本冲突是同一类沉默。

    阅读本章
  3. 03
    Doris BE 因环境变量拒绝启动并向下游连锁报错的封面,标出进程、心跳、DDL 三层
    第 3 节 · 工程笔记 · 3分钟阅读

    一个环境变量让 Doris BE 假死,报错全在下游

    BE 启动脚本对代理环境变量做"存在即拒绝"的自检,于是进程起不来;FE 心跳连不上就显示 Alive: false;紧接着改副本数会报"replication num should be less than the number of available backends"。三个报错分属三层,起点是一个 `http_proxy`。

    阅读本章

1–3 / 7 节继续下一节

Luminary

真实项目、工程复盘与长期技术笔记。

LUO / FIELD NOTES
友链RSSGitHub© 2026 Luo