LLuminary
文章项目标签关于
返回项目

硬件行情湖仓数据平台

HWLens:从多源采集与数据契约、跨源实体对齐与口径单点化,到湖仓分阶段改造和前端上线的完整工程记录。

第 1 节,共 5 节0102030405/ 05 节 上一节下一节
  1. 01
    HWLens 论文选题方向对比与取舍的笔记封面
    第 1 节 · 工程笔记 · 3分钟阅读

    选题先问数据能不能长出来:硬件行情平台是怎么定下来的

    毕设立题时有四个候选方向:全栈平台、算法深度、数据中台治理、智能体应用。这篇记录我怎么做取舍——把卖点建立在"现有数据当天就能出结果"的能力上,以及为什么"预测"这个词必须从题目里拿掉。

    阅读本章
  2. 02
    爬虫数据契约与原始页面留档设计的笔记封面
    第 2 节 · 工程笔记 · 3分钟阅读

    爬虫也要有数据契约:price_status、schema_version 与原始页面留档

    采集层最划算的设计不是选择器写得多稳,而是把"这一行现在处于什么状态"显式写进字段里。记录 price_status / schema_version / parser_version / 行级页面级指纹的设计,以及为什么原始 HTML 必须留档。

    阅读本章
  3. 03
    两个数据源采集差异与终止判据的笔记封面
    第 3 节 · 工程笔记 · 3分钟阅读

    两个源的脾气:编码、兜底页、分页回绕和 503 死循环

    ZOL 和 PConline 一个把规格写成营销长句、一个给结构化键值对;一个超页数返回 200 兜底页、一个直接回绕到首页推荐。记录终止判据、编码、选择器兼容和那次把整晚跑成空转的 503 退避死循环。

    阅读本章

1–3 / 14 节继续下一节

Luminary

真实项目、工程复盘与长期技术笔记。

LUO / FIELD NOTES
友链RSSGitHub© 2026 Luo