L
Luminary
文章
项目
标签
关于
一个项目一站读完
复盘加踩坑,按项目分站。
5 条路径
31 篇文章
硬件行情湖仓数据平台
Olist 电商湖仓
开源供应链风险
引擎与消息原理
数据平台工程
正在施工
14 篇连读
路径 01 / 05
硬件行情湖仓数据平台
多源采集与数据契约
跨源实体对齐与口径单点化
湖仓分阶段改造与读路径切换
开始阅读
多源采集电脑硬件的在售条目与挂牌价格,经 HDFS / Spark / Iceberg / Doris 建一条湖仓一体的离线数仓,对外提供行情大屏、业务后台和智能体问答。
01
工程笔记 · 3分钟阅读
选题先问数据能不能长出来:硬件行情平台是怎么定下来的
→
02
工程笔记 · 3分钟阅读
爬虫也要有数据契约:price_status、schema_version 与原始页面留档
→
03
工程笔记 · 3分钟阅读
两个源的脾气:编码、兜底页、分页回绕和 503 死循环
→
1–3 / 14 节
下一条路径:硬件行情湖仓数据平台