全部标签
#Doris
10 篇 · 3 站
2026年3月Olist 电商湖仓一体项目复盘HDFS、Hive、Spark、Kafka、Doris 全链路湖仓复盘，含质量门禁与图分析。项目复盘2025年12月一个环境变量让 Doris BE 假死，报错全在下游BE 启动脚本对代理环境变量做"存在即拒绝"的自检，于是进程起不来；FE 心跳连不上就显示 Alive: false；紧接着改副本数会报"replication num should be less than the number of available backends"。三个报错分属三层，起点是一个 `http_proxy`。工程笔记2025年12月Spark 写出的 CSV，Doris 并不认把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段，故障都不在计算里：多分区输出会写多次表头，分隔符模式不认 CSV 的引号转义，case class 带出的列名是 camelCase 而表结构是 snake_case，`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。工程笔记