全部标签
#Doris
10 篇 · 3 站
2026年10月HWLens：硬件行情湖仓数据平台复盘多源挂牌价采集，建湖仓一体数仓，对外给行情大屏、业务后台与智能体问答。项目复盘2026年9月湖仓一体不是一次切换：旁路双写、直连湖与读路径的回滚设计把 Parquet 目录升级成 Iceberg 表，再让 Doris 直连湖、最后把后端读路径切过去——每一步都能独立验证、独立回滚。记录阶段划分理由、"读回刚写分区再入湖"保的三件事，以及 warehouse 路径被序列化成单斜杠导致 scheme null 的那个坑。大数据2026年8月Doris Stream Load 的假成功：label、三态判定与"先确认再破坏"一批脚本执行完毕、退出码全零，数据却一行都没进。原因全在装载语义里：label 幂等把重跑变成 SKIP、UNIQUE KEY 只覆盖本次出现的键、全量替换的顺序写反、staging 平铺目录跨日期污染。记录这四处以及我最后定下的装载规范。工程笔记2026年8月改一个键定义，为什么要重放全部历史商品身份 ID 是组键的确定性哈希，所以收紧对齐键会让所有 ID 换代：历史分区和新分区连不上，含 ID 的跨日特征必须全量重放。记录重放前的断点水位清理、字段宽度契约、旧分区 schema 冲突，以及"补完历史要再重载最新一天"这条铁律。工程笔记2026年6月第一条离线链路：从 ODS 到 ADS，以及那些写死在提交命令里的参数把采集数据一路推到可查询的 ADS 表，中间踩的不是 SQL 而是工程细节：executor 的代码从哪来、内存为什么必须显式限、JDK 有缺陷怎么绕、校验为什么要在编排层之外再做一遍。工程笔记2026年5月集群重启之后：那些不会自启的服务和它们各自的怪脾气一次计划外重启让离线链路连着挂了两天：NameNode 没起、BE 没起、Spark Worker 不自启。逐个踩过 swap 检测、代理变量、文件句柄上限、隧道端口残留之后，我才理解"能跑"和"重启后能跑"是两个工程问题。工程笔记