L
Luminary
文章
项目
标签
关于
全部标签
#数据契约
2 篇 · 2 站
出现在
硬件行情湖仓数据平台
1
Olist 电商湖仓
1
硬件行情湖仓数据平台
1 篇
2026年3月
爬虫也要有数据契约：price_status、schema_version 与原始页面留档
采集层最划算的设计不是选择器写得多稳，而是把"这一行现在处于什么状态"显式写进字段里。记录 price_status / schema_version / parser_version / 行级页面级指纹的设计，以及为什么原始 HTML 必须留档。
工程笔记
Olist 电商湖仓
1 篇
2025年12月
Spark 写出的 CSV，Doris 并不认
把湖仓结果导出成 CSV 再 Stream Load 进 Doris 这一段，故障都不在计算里：多分区输出会写多次表头，分隔符模式不认 CSV 的引号转义，case class 带出的列名是 camelCase 而表结构是 snake_case，`max_filter_ratio` 默认是 0 所以一行坏数据整批不加载。
工程笔记