全部写作

文章与工程复盘

第 3 页，共 5 页

跨源硬件实体对齐与确定性键设计的笔记封面工程笔记 · 2026年7月15日跨源实体对齐：宁可少合并，不可假合并把两个站点的同一条商品认成一个，是所有跨源比价的前提。记录从标题归一化到分层确定性键的整段演进：规格键造出的假合并、concat_ws 对 null 跳段、字符多重集键，以及那条支配所有取舍的不对称原则。阅读全文 3分钟阅读
本页其余6
  1. 2026年6月cron 不是你的登录 shell：PATH、中文路径和 set -u 的静默丢数手工跑一切正常、放进 crontab 就失败的三类原因：非登录 shell 的 PATH、POSIX locale 下 Java 解析不了非 ASCII 工作目录、以及只 set -u 不 set -e 带来的"报了成功但没入湖"。附我的验证方法：用 env -i 模拟 cron。工程笔记
  2. 2026年6月第一条离线链路：从 ODS 到 ADS，以及那些写死在提交命令里的参数把采集数据一路推到可查询的 ADS 表，中间踩的不是 SQL 而是工程细节：executor 的代码从哪来、内存为什么必须显式限、JDK 有缺陷怎么绕、校验为什么要在编排层之外再做一遍。工程笔记
  3. 2026年5月集群重启之后：那些不会自启的服务和它们各自的怪脾气一次计划外重启让离线链路连着挂了两天：NameNode 没起、BE 没起、Spark Worker 不自启。逐个踩过 swap 检测、代理变量、文件句柄上限、隧道端口残留之后，我才理解"能跑"和"重启后能跑"是两个工程问题。工程笔记
  4. 2026年4月采集量骤降的归因：先怀疑自己，再怀疑源站某天某类目的条数明显变少，第一反应通常是"被反爬了"。记录一套排除顺序：脚本改动、入湖丢数、分页截断、解析效率逐项排掉，最后用归档 HTML 重放证明是源站供给变化；以及一次把代码问题误判成风控的教训。工程笔记
  5. 2026年4月两个源的脾气：编码、兜底页、分页回绕和 503 死循环ZOL 和 PConline 一个把规格写成营销长句、一个给结构化键值对；一个超页数返回 200 兜底页、一个直接回绕到首页推荐。记录终止判据、编码、选择器兼容和那次把整晚跑成空转的 503 退避死循环。工程笔记
  6. 2026年3月爬虫也要有数据契约：price_status、schema_version 与原始页面留档采集层最划算的设计不是选择器写得多稳，而是把"这一行现在处于什么状态"显式写进字段里。记录 price_status / schema_version / parser_version / 行级页面级指纹的设计，以及为什么原始 HTML 必须留档。工程笔记