全部标签
#数据仓库
10 篇 · 3 站
2026年10月HWLens：硬件行情湖仓数据平台复盘多源挂牌价采集，建湖仓一体数仓，对外给行情大屏、业务后台与智能体问答。项目复盘2026年8月Doris Stream Load 的假成功：label、三态判定与"先确认再破坏"一批脚本执行完毕、退出码全零，数据却一行都没进。原因全在装载语义里：label 幂等把重跑变成 SKIP、UNIQUE KEY 只覆盖本次出现的键、全量替换的顺序写反、staging 平铺目录跨日期污染。记录这四处以及我最后定下的装载规范。工程笔记2026年8月改一个键定义，为什么要重放全部历史商品身份 ID 是组键的确定性哈希，所以收紧对齐键会让所有 ID 换代：历史分区和新分区连不上，含 ID 的跨日特征必须全量重放。记录重放前的断点水位清理、字段宽度契约、旧分区 schema 冲突，以及"补完历史要再重载最新一天"这条铁律。工程笔记2026年7月跨源实体对齐：宁可少合并，不可假合并把两个站点的同一条商品认成一个，是所有跨源比价的前提。记录从标题归一化到分层确定性键的整段演进：规格键造出的假合并、concat_ws 对 null 跳段、字符多重集键，以及那条支配所有取舍的不对称原则。工程笔记2026年6月第一条离线链路：从 ODS 到 ADS，以及那些写死在提交命令里的参数把采集数据一路推到可查询的 ADS 表，中间踩的不是 SQL 而是工程细节：executor 的代码从哪来、内存为什么必须显式限、JDK 有缺陷怎么绕、校验为什么要在编排层之外再做一遍。工程笔记2026年3月选题先问数据能不能长出来：硬件行情平台是怎么定下来的毕设立题时有四个候选方向：全栈平台、算法深度、数据中台治理、智能体应用。这篇记录我怎么做取舍——把卖点建立在"现有数据当天就能出结果"的能力上，以及为什么"预测"这个词必须从题目里拿掉。工程笔记