Spark 写出的 CSV,Doris 并不认
把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段,故障都不在计算里:多分区输出会写多次表头,分隔符模式不认 CSV 的引号转义,case class 带出的列名是 camelCase 而表结构是 snake_case,`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。
阅读本章HDFS、Hive Metastore、Spark、Kafka、Doris 一条湖仓链路:CSV 列契约、质量门禁、图分析与批流对账设计,含还没跑通的实验。
把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段,故障都不在计算里:多分区输出会写多次表头,分隔符模式不认 CSV 的引号转义,case class 带出的列名是 camelCase 而表结构是 snake_case,`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。
阅读本章在集群机器上从源码编译 Python,`make` 和 `make install` 都成功,然后 pip 连不上 HTTPS、装不了包、PySpark 报缺 `_ctypes`。原因是 configure 检测不到依赖库时只是"跳过那个模块",而不是失败。Jackson 版本冲突是同一类沉默。
阅读本章BE 启动脚本对代理环境变量做"存在即拒绝"的自检,于是进程起不来;FE 心跳连不上就显示 Alive: false;紧接着改副本数会报"replication num should be less than the number of available backends"。三个报错分属三层,起点是一个 `http_proxy`。
阅读本章1–3 / 7 节继续下一节