返回项目

硬件行情湖仓数据平台

HWLens:从多源采集与数据契约、跨源实体对齐与口径单点化,到湖仓分阶段改造和前端上线的完整工程记录。

  1. 07
    cron 非登录 shell 环境差异排查的笔记封面
    第 7 节 · 工程笔记 · 2分钟阅读

    cron 不是你的登录 shell:PATH、中文路径和 set -u 的静默丢数

    手工跑一切正常、放进 crontab 就失败的三类原因:非登录 shell 的 PATH、POSIX locale 下 Java 解析不了非 ASCII 工作目录、以及只 set -u 不 set -e 带来的"报了成功但没入湖"。附我的验证方法:用 env -i 模拟 cron。

    阅读本章
  2. 08
    跨源硬件实体对齐与确定性键设计的笔记封面
    第 8 节 · 工程笔记 · 3分钟阅读

    跨源实体对齐:宁可少合并,不可假合并

    把两个站点的同一条商品认成一个,是所有跨源比价的前提。记录从标题归一化到分层确定性键的整段演进:规格键造出的假合并、concat_ws 对 null 跳段、字符多重集键,以及那条支配所有取舍的不对称原则。

    阅读本章
  3. 09
    口径单一来源 spec_ontology 与单位折算的笔记封面
    第 9 节 · 工程笔记 · 3分钟阅读

    口径只能有一个来源:spec_ontology、when 链和那条匹配空串的正则

    同一个"容量"在采集侧、计算侧、后台各解析一遍,迟早出问题。记录把单位折算、键别名、正则常量收进一个纯 Python 模块的过程,以及两条代价很高的教训:可选单位的正则把 TB 当 GB 落库,十几层 when 链让 executor 被 OOM 杀掉。

    阅读本章

7–9 / 14 节继续下一节