全部写作

文章与工程复盘

第 1 页，共 5 页

HWLens 硬件行情湖仓数据平台的整体链路与模块封面项目复盘 · 2026年3月 - 至今HWLens：硬件行情湖仓数据平台复盘多源挂牌价采集，建湖仓一体数仓，对外给行情大屏、业务后台与智能体问答。ScrapySparkKafkaDorisIcebergFastAPIVue阅读全文
本页其余6
  1. 2026年9月删掉旧 chunk 之后，浏览器开始加载两套代码一次前端发布引发的连环事故：清掉旧 hash 产物让老入口 404、"同名换内容"的补丁造成混搭缓存、给 HTML 引用加 query 反而让入口脚本执行两次。记录这两天里所有的误判、真因，以及最后那套"全新目录 + 单独覆盖 index.html"的发布规范。工程笔记
  2. 2026年9月湖仓一体不是一次切换：旁路双写、直连湖与读路径的回滚设计把 Parquet 目录升级成 Iceberg 表，再让 Doris 直连湖、最后把后端读路径切过去——每一步都能独立验证、独立回滚。记录阶段划分理由、"读回刚写分区再入湖"保的三件事，以及 warehouse 路径被序列化成单斜杠导致 scheme null 的那个坑。大数据
  3. 2026年8月开源供应链数仓：从公开数据到可解释风险大屏用 OSV 与 npm 下载量搭供应链主题域，口径版本化并导出静态大屏。项目复盘
  4. 2026年8月Doris Stream Load 的假成功：label、三态判定与"先确认再破坏"一批脚本执行完毕、退出码全零，数据却一行都没进。原因全在装载语义里：label 幂等把重跑变成 SKIP、UNIQUE KEY 只覆盖本次出现的键、全量替换的顺序写反、staging 平铺目录跨日期污染。记录这四处以及我最后定下的装载规范。工程笔记
  5. 2026年8月Spark 执行模型笔记（二）：宽窄依赖、Shuffle 与 Stage继续 Spark 执行模型：窄依赖"原地算"，宽依赖"要搬家"（Shuffle），Stage 以 Shuffle 为界翻篇。用一张因果链把 Partition、依赖类型、Shuffle、Stage、Job、repartition/coalesce 串起来，附综合例题。大数据
  6. 2026年8月把供应链大屏静态部署到子域名：Caddy 与博客共存在已有 zl4629.xyz 博客的服务器上，用纯静态方式上线 oss.zl4629.xyz 数据大屏：导出 JSON、Caddy file_server、自动 HTTPS，不和 blog 抢资源。工程笔记