#数据采集

出现在硬件行情湖仓数据平台3

2026年4月采集量骤降的归因：先怀疑自己，再怀疑源站某天某类目的条数明显变少，第一反应通常是"被反爬了"。记录一套排除顺序：脚本改动、入湖丢数、分页截断、解析效率逐项排掉，最后用归档 HTML 重放证明是源站供给变化；以及一次把代码问题误判成风控的教训。工程笔记 2026年4月两个源的脾气：编码、兜底页、分页回绕和 503 死循环ZOL 和 PConline 一个把规格写成营销长句、一个给结构化键值对；一个超页数返回 200 兜底页、一个直接回绕到首页推荐。记录终止判据、编码、选择器兼容和那次把整晚跑成空转的 503 退避死循环。工程笔记 2026年3月爬虫也要有数据契约：price_status、schema_version 与原始页面留档采集层最划算的设计不是选择器写得多稳，而是把"这一行现在处于什么状态"显式写进字段里。记录 price_status / schema_version / parser_version / 行级页面级指纹的设计，以及为什么原始 HTML 必须留档。工程笔记