采集量骤降的归因：先怀疑自己，再怀疑源站
某天某类目的条数明显变少，第一反应通常是"被反爬了"。记录一套排除顺序：脚本改动、入湖丢数、分页截断、解析效率逐项排掉，最后用归档 HTML 重放证明是源站供给变化；以及一次把代码问题误判成风控的教训。
阅读本章 返回项目
硬件行情湖仓数据平台
HWLens：从多源采集与数据契约、跨源实体对齐与口径单点化，到湖仓分阶段改造和前端上线的完整工程记录。
- 04
第 4 节 · 工程笔记 · 3分钟阅读 - 05
第 5 节 · 工程笔记 · 3分钟阅读 集群重启之后：那些不会自启的服务和它们各自的怪脾气
一次计划外重启让离线链路连着挂了两天：NameNode 没起、BE 没起、Spark Worker 不自启。逐个踩过 swap 检测、代理变量、文件句柄上限、隧道端口残留之后，我才理解"能跑"和"重启后能跑"是两个工程问题。
阅读本章 - 06
第 6 节 · 工程笔记 · 3分钟阅读 第一条离线链路：从 ODS 到 ADS，以及那些写死在提交命令里的参数
把采集数据一路推到可查询的 ADS 表，中间踩的不是 SQL 而是工程细节：executor 的代码从哪来、内存为什么必须显式限、JDK 有缺陷怎么绕、校验为什么要在编排层之外再做一遍。
阅读本章
4–6 / 14 节继续下一节