02 — 匿名交付
某内地互联网公司 · 数据平台运维
P0 调度与数据同步运维智能体
让智能体在早晨开始前清掉路上的故障。
平台承载 180 PiB 级 Hive 数仓与数据湖离线链路，日均 6 万+ 任务实例。回溯、机房迁移与多种计算引擎制造资源尖峰；当 T+1 偏离或同步失败时，值班工程师需要的不只是更多看板。
我们在生产底座之上接入运维智能体闭环：任务与 DAG 状态、日志、SQL、血缘、告警与重试控制变成工具。Agent 可串联证据、解释可能原因、提出重跑或路由建议，写操作则交给审批门槛；可靠执行边界仍由底层平台负责。
工作里
面向 Agent 的生产工具面
ZooKeeper、MySQL、可重建队列与 K8s Job 把持久状态与安全执行原语暴露给 Agent。
理解混合算力
集群负载、队列压力与重试历史共同影响 YARN 与 Serverless Spark 路由，峰值日曾卸载 8,000+ 实例。
诊断异构同步
Connector 元数据、CDC 状态与 Paimon 表为 Agent 提供跨 10+ 数据源、100+ 生产表的证据。
问题与背景
某内地互联网公司的离线数据链路规模大、引擎多、依赖深，T+1 曾在故障或回溯时延误到中午之后；值班工程师还要手工诊断异构同步，并在零数据丢失前提下完成迁移。
量化结果
执行平台 SLA 99.9%，基线任务月度成功率 99.7%；核心 T+1 从常见逾 12 小时延误收敛至每日 08:00 前就绪。Agent 化运维将典型故障定位由 30 分钟以上缩短至 5 分钟内；平台自 2023 年后 0 次 P0/P1，10,000+ 同步任务迁移 0 数据丢失，告警由每日数千条降至数百条。
合作范围
- P0 调度与同步底座：控制面、执行面与 DAG 依赖
- Agent 工具：任务状态、日志、SQL、血缘、路由与重试，写操作设审批门槛
- 10+ 异构数据源、K8s 执行、可观测性与跨机房修复
交付内容
- → 运维智能体闭环：检查 → 串联 → 解释 → 建议 → 审批 → 执行
- → 两次双机房迁移，覆盖 10,000+ 同步任务
- → Flink CDC → Apache Paimon 流式湖仓演进，100+ 生产表
匿名说明
委托方名称、内部系统名与业务数据已匿名化；规模、SLA、时间与迁移结果来自该项目记录。