Kafka consumer 積壓壓測:整理券通知堆起來時怎麼量

Limit
Limit
Gentle and strong, Limit shines.
Kafka consumer 積壓壓測:整理券通知堆起來時怎麼量
目錄

接在 Commit-Then-Send+Kafka 通知 之後。

預約尖峰一過,DB 端可能已經發完券,notify topic 還堆著「請寄信」。你要能回答:

堆了大約一萬筆,consumer 多久清完?清的時候會不會把機器打掛?

文中數字是示意/自製壓測量級,方便你在自己的環境重做,不是正式活動數據。

 

為什麼需要這招

整點開放時,API 短時間寫入大量 RESERVED 並往 notify topic 灌訊息。寄信通常比扣名額慢,於是:

  • DB 看起來發券結束了
  • 使用者還沒收信
  • 營運問還要多久

沒有積壓壓測,只能賭。

 

壓測前要先有的觀測

至少能看到:

  1. Consumer lag
  2. 處理速率(msg/s)
  3. CPU/記憶體
  4. 錯誤率(失敗、重試、死信)
  5. (加分)外部寄信 API 延遲

沒有 lag 曲線,就不叫積壓壓測,只叫有跑過。

 

可重現步驟

在非生產環境,人為讓 lag 升到約 N,再觀察降回 0。

  1. 暫停或縮容 consumer(或先灌再啟動),避免邊產邊消看不清。
  2. 腳本往 notify topic 寫入 N 筆假預約通知(payload 形狀與正式相同,收件改測試/mock)。
  3. 確認 lag ≈ N。
  4. 啟動/恢復 consumer(並行度接近你正式規劃)。
  5. 記錄:lag 降到 0 的時間、峰值 msg/s、P95 處理延遲、CPU/記憶體是否只升不降、失敗與重試次數。
  6. 重複 2~3 次看方差;只跑一次很容易被暖機騙到。

示意紀錄:

項目示意值(請換成你的)
積壓筆數 N10,000
Consumer 數2
lag 降到 0約 1~3 分鐘
峰值速率約 40~50 msg/s
錯誤0(或列出可重試類型)

對外用「約略區間」比單點毫秒誠實。

 

怎麼解讀

現象可能意涵
lag 線性下降、資源平穩消化能力可預期,可估算尖峰後多久寄完
lag 下降很慢寄信 API 或同步邏輯太重;考慮批次、非同步、加 consumer
記憶體只升不降疑似連線/快取洩漏;先修再談擴容
錯誤隨積壓變多重試可能放大風暴;查遞增延遲與死信

重點不是把 Kafka 叢集參數調到極致,而是同一套劇本,改版前後可比。

發券正確性(FOR UPDATE/SKIP LOCKED/UNIQUE)決定「該不該有這張券」;本篇決定「通知管線撐不撐得住尖峰後的尾巴」。commit 後、produce 前會丟的訊息,仍要靠 Sweeper——壓測清的是已進 topic 的積壓。

 

注意

  • 不要對生產 cluster 亂灌
  • Mock 外部寄信,否則變成對第三方施壓
  • 數字標明為壓測量級,別被當成活動成效

之後若要繼續(尚未撰寫):整點閘道/限流、Outbox 升級、Redis 預扣名額。