全部标签

#HDFS

3 篇 · 2 站
出现在硬件行情湖仓数据平台2Olist 电商湖仓1
2026年6月第一条离线链路：从 ODS 到 ADS，以及那些写死在提交命令里的参数把采集数据一路推到可查询的 ADS 表，中间踩的不是 SQL 而是工程细节：executor 的代码从哪来、内存为什么必须显式限、JDK 有缺陷怎么绕、校验为什么要在编排层之外再做一遍。工程笔记2026年5月集群重启之后：那些不会自启的服务和它们各自的怪脾气一次计划外重启让离线链路连着挂了两天：NameNode 没起、BE 没起、Spark Worker 不自启。逐个踩过 swap 检测、代理变量、文件句柄上限、隧道端口残留之后，我才理解"能跑"和"重启后能跑"是两个工程问题。工程笔记
2026年3月Olist 电商湖仓一体项目复盘HDFS、Hive、Spark、Kafka、Doris 全链路湖仓复盘，含质量门禁与图分析。项目复盘