02 — 匿名交付
某內地互聯網公司 · 數據平台運維
P0 調度與數據同步運維智能體
讓智能體在早晨開始前清掉路上的故障。
平台承載 180 PiB 級 Hive 數倉與數據湖離線鏈路，日均 6 萬+ 任務實例。回溯、機房遷移與多種計算引擎製造資源尖峰；當 T+1 偏離或同步失敗時，值班工程師需要的不只是更多看板。
我們在生產底座之上接入運維智能體閉環：任務與 DAG 狀態、日誌、SQL、血緣、告警與重試控制變成工具。Agent 可串聯證據、解釋可能原因、提出重跑或路由建議，寫操作則交給審批門檻；可靠執行邊界仍由底層平台負責。
工作裡
面向 Agent 的生產工具面
ZooKeeper、MySQL、可重建隊列與 K8s Job 把持久狀態與安全執行原語暴露給 Agent。
理解混合算力
集群負載、隊列壓力與重試歷史共同影響 YARN 與 Serverless Spark 路由，峰值日曾卸載 8,000+ 實例。
診斷異構同步
Connector 元數據、CDC 狀態與 Paimon 表為 Agent 提供跨 10+ 數據源、100+ 生產表的證據。
问题与背景
某內地互聯網公司的離線數據鏈路規模大、引擎多、依賴深，T+1 曾在故障或回溯時延誤到中午之後；值班工程師還要手工診斷異構同步，並在零數據丟失前提下完成遷移。
量化结果
執行平台 SLA 99.9%，基線任務月度成功率 99.7%；核心 T+1 從常見逾 12 小時延誤收斂至每日 08:00 前就緒。Agent 化運維將典型故障定位由 30 分鐘以上縮短至 5 分鐘內；平台自 2023 年後 0 次 P0/P1，10,000+ 同步任務遷移 0 數據丟失，告警由每日數千條降至數百條。
合作范围
- P0 調度與同步底座：控制面、執行面與 DAG 依賴
- Agent 工具：任務狀態、日誌、SQL、血緣、路由與重試，寫操作設審批門檻
- 10+ 異構數據源、K8s 執行、可觀測性與跨機房修復
交付內容
- → 運維智能體閉環：檢查 → 串聯 → 解釋 → 建議 → 審批 → 執行
- → 兩次雙機房遷移，覆蓋 10,000+ 同步任務
- → Flink CDC → Apache Paimon 流式湖倉演進，100+ 生產表
匿名说明
委託方名稱、內部系統名與業務數據已匿名化；規模、SLA、時間與遷移結果來自該項目記錄。