Kafka consumer 積壓壓測:整理券通知堆起來時怎麼量
Limit
Gentle and strong, Limit shines.
目錄
接在 Commit-Then-Send+Kafka 通知 之後。
預約尖峰一過,DB 端可能已經發完券,notify topic 還堆著「請寄信」。你要能回答:
堆了大約一萬筆,consumer 多久清完?清的時候會不會把機器打掛?
文中數字是示意/自製壓測量級,方便你在自己的環境重做,不是正式活動數據。
為什麼需要這招
整點開放時,API 短時間寫入大量 RESERVED 並往 notify topic 灌訊息。寄信通常比扣名額慢,於是:
- DB 看起來發券結束了
- 使用者還沒收信
- 營運問還要多久
沒有積壓壓測,只能賭。
壓測前要先有的觀測
至少能看到:
- Consumer lag
- 處理速率(msg/s)
- CPU/記憶體
- 錯誤率(失敗、重試、死信)
- (加分)外部寄信 API 延遲
沒有 lag 曲線,就不叫積壓壓測,只叫有跑過。
可重現步驟
在非生產環境,人為讓 lag 升到約 N,再觀察降回 0。
- 暫停或縮容 consumer(或先灌再啟動),避免邊產邊消看不清。
- 腳本往 notify topic 寫入 N 筆假預約通知(payload 形狀與正式相同,收件改測試/mock)。
- 確認 lag ≈ N。
- 啟動/恢復 consumer(並行度接近你正式規劃)。
- 記錄:lag 降到 0 的時間、峰值 msg/s、P95 處理延遲、CPU/記憶體是否只升不降、失敗與重試次數。
- 重複 2~3 次看方差;只跑一次很容易被暖機騙到。
示意紀錄:
| 項目 | 示意值(請換成你的) |
|---|---|
| 積壓筆數 N | 10,000 |
| Consumer 數 | 2 |
| lag 降到 0 | 約 1~3 分鐘 |
| 峰值速率 | 約 40~50 msg/s |
| 錯誤 | 0(或列出可重試類型) |
對外用「約略區間」比單點毫秒誠實。
怎麼解讀
| 現象 | 可能意涵 |
|---|---|
| lag 線性下降、資源平穩 | 消化能力可預期,可估算尖峰後多久寄完 |
| lag 下降很慢 | 寄信 API 或同步邏輯太重;考慮批次、非同步、加 consumer |
| 記憶體只升不降 | 疑似連線/快取洩漏;先修再談擴容 |
| 錯誤隨積壓變多 | 重試可能放大風暴;查遞增延遲與死信 |
重點不是把 Kafka 叢集參數調到極致,而是同一套劇本,改版前後可比。
發券正確性(FOR UPDATE/SKIP LOCKED/UNIQUE)決定「該不該有這張券」;本篇決定「通知管線撐不撐得住尖峰後的尾巴」。commit 後、produce 前會丟的訊息,仍要靠 Sweeper——壓測清的是已進 topic 的積壓。
注意
- 不要對生產 cluster 亂灌
- Mock 外部寄信,否則變成對第三方施壓
- 數字標明為壓測量級,別被當成活動成效
之後若要繼續(尚未撰寫):整點閘道/限流、Outbox 升級、Redis 預扣名額。