AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當前位置:首頁 > 科技  > 軟件

監控 Kafka,這十個指標請考慮!

來源: 責編: 時間:2024-04-29 09:05:39 143觀看
導讀大家好,我是君哥。使用消息隊列可以幫助我們實現系統解耦、流量管控等功能。但使用過程中可能會遇到各種各樣的問題,比如系統資源使用率高、集群節點宕機等,進而影響我們生產業務正常開展。為了不讓消息隊列失控,增加監控

大家好,我是君哥。ob828資訊網——每日最新資訊28at.com

使用消息隊列可以幫助我們實現系統解耦、流量管控等功能。但使用過程中可能會遇到各種各樣的問題,比如系統資源使用率高、集群節點宕機等,進而影響我們生產業務正常開展。為了不讓消息隊列失控,增加監控是非常必要的。今天來聊一聊 Kafka 有哪些重要的監控指標。ob828資訊網——每日最新資訊28at.com

1 基礎指標

基礎指標是監控系統常見的監控指標,這里介紹 4 個方面:ob828資訊網——每日最新資訊28at.com

  • CPU、內存、硬盤、網絡 I/O 等資源使用情況,Kafka 提供了 BytesIn/BytesOut 指標來監控帶寬使用率;
  • TCP 連接數、文件描述符使用情況;
  • JVM 監控指標,Kafka 也是一個 JVM 進程,需要監控堆內存使用情況、FULL GC 頻率和時長、JVM 線程數等;
  • 網絡延遲。

2 Broker 指標

2.1 UnderReplicatedPartitions

Kafka 分區 Leader 節點收到消息后,會同步給 Follower 節點。集群健康的情況下,UnderReplicatedPartitions 值等于 0,這時同步正常的 Follower 節點數量(也就是 ISR)等于總的 Follower 節點數量。如果這個指標值大于0,比如等于 1,說明有一個 Follower 同步異常,如下圖:ob828資訊網——每日最新資訊28at.com

圖片圖片ob828資訊網——每日最新資訊28at.com

2.2 ISRShrink/ISRExpand

這個指標表示 ISR 收縮和擴容的頻率。如果這個指標的值很高,那集群中必定有 Follower 節點頻繁地進入或退出 ISR。這個時候就需要定位有 Follower 頻繁進出 ISR 的原因。ob828資訊網——每日最新資訊28at.com

2.3 ActiveControllerCount

Kafka Broker 集群中有一個節點是 Controller 節點,這個節點非常重要,負責監聽 Partition、Topic 和 Broker 的變化,以及元數據管理。ob828資訊網——每日最新資訊28at.com

ActiveControllerCount 指標表示當前 Broker 節點是否是 Controller 節點,集群健康的情況下,有且僅有一個 Broker 節點這個指標值是 1。如果有多個 Broker 這個指標值是 1,或者所有 Broker 指標值都是 0,就需要進行故障排查。ob828資訊網——每日最新資訊28at.com

圖片圖片ob828資訊網——每日最新資訊28at.com

2.4 offlinePartitionCount

這個指標只有 Controller 節點有。表示處于不可用狀態的 Partition 的數量,也就是 Partition 沒有活躍的 Leader 節點的數量。健康的集群,這個值是 0,如果這個值不是 0,就得盡快排查原因,防止影響業務。ob828資訊網——每日最新資訊28at.com

2.5 LeaderElectionRateAndTimeMs

當分區 Leader 節點掛了之后,就會觸發選舉新的 Leader。這個指標值表示選舉新 Leader 的頻率(每秒多少次)和集群中無 Leader 節點的時長。觸發 Leader 選舉,肯定是舊的 Leader 下線,所以需要定位分析原因。ob828資訊網——每日最新資訊28at.com

2.6 UncleanLeaderElectionsPerSec

當 Broker 集群找不到分區 Leader 時,需要從 ISR 集合中選出新的 Leader 節點。而如果 ISR 集合沒有節點,那就得從未同步的 Follower 中選出 Leader 節點,讓集群處于可用狀態,但這個時候因為消息未同步,會有消息丟失。所以這個指標有數據時,代表可能有消息丟失。ob828資訊網——每日最新資訊28at.com

2.7 TotalTimeMs

Broker 處理一筆請求的總時間。比如處理 Producer 發送請求、Consumer 拉取請求、Follower 拉取請求。這個時間如果出現了比較大的波動,需要查看 Broker 的資源情況并考慮應對方案。ob828資訊網——每日最新資訊28at.com

3 Producer

生產者也可以加一些指標來監控發送消息的情況。ob828資訊網——每日最新資訊28at.com

3.1 request-latency-avg

平均請求時間,這個指標包括生產者發送消息到收到響應的延遲,這個指標會影響 Producer 端的吞吐量。ob828資訊網——每日最新資訊28at.com

3.2 waiting-threads

發送緩存區中阻塞的用戶線程數,如果這個指標變高,意味著生產者被阻塞的線程數變高,需要排查原因。ob828資訊網——每日最新資訊28at.com

4 Consumer

4.1 records-lag

消費者在當前分區上落后于生產者的數量,如果這個值變大,有可能當前這個分區的消息量突增,也可能消費者消費能力下降,需要關注。ob828資訊網——每日最新資訊28at.com

5 總結

Kafka 的監控指標非常多,關鍵指標是必須要監控的,其他指標可以根據需要添加,同時也可以加入日志相關的監控。希望本文能對你理解 Kafka 有所幫助。ob828資訊網——每日最新資訊28at.com

本文鏈接:http://www.tebozhan.com/showinfo-26-86342-0.html監控 Kafka,這十個指標請考慮!

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: Go 語言將 PDF 轉為 Word ,代碼怎么實現 ?

下一篇: Python新手必備:掌握OS.path模塊的8個神奇函數

標簽:
  • 熱門焦點
  • 紅魔電競平板評測:大屏幕硬實力

    前言:三年的疫情因為要上網課的原因激活了平板市場,如今網課的時代已經過去,大家的生活都恢復到了正軌,這也就意味著,真正考驗平板電腦生存的環境來了。也就是面對著這種殘酷的
  • 7月安卓手機性能榜:紅魔8S Pro再奪榜首

    7月份的手機市場風平浪靜,除了紅魔和努比亞帶來了兩款搭載驍龍8Gen2領先版處理器的新機之外,別的也想不到有什么新品了,這也正常,通常6月7月都是手機廠商修整的時間,進入8月份之
  • 如何正確使用:Has和:Nth-Last-Child

    我們可以用CSS檢查,以了解一組元素的數量是否小于或等于一個數字。例如,一個擁有三個或更多子項的grid。你可能會想,為什么需要這樣做呢?在某些情況下,一個組件或一個布局可能會
  • 分享六款相見恨晚的PPT模版網站, 祝你做出精美的PPT!

    1、OfficePLUSOfficePLUS網站旨在為全球Office用戶提供豐富的高品質原創PPT模板、實用文檔、數據圖表及個性化定制服務。優點:OfficePLUS是微軟官方網站,囊括PPT模板、Word模
  • 使用AIGC工具提升安全工作效率

    在日常工作中,安全人員可能會涉及各種各樣的安全任務,包括但不限于:開發某些安全工具的插件,滿足自己特定的安全需求;自定義github搜索工具,快速查找所需的安全資料、漏洞poc、exp
  • 首發天璣9200+ iQOO Neo8系列發布首銷售價2299元起

    2023年5月23日晚,iQOO Neo8系列正式發布。其中,Neo系列首款Pro之作——iQOO Neo8 Pro強悍登場,限時售價3099元起;價位段最強性能手機iQOO Neo8同期上市
  • OPPO K11采用全方位護眼屏:三大護眼能力減輕視覺疲勞

    日前OPPO官方宣布,全新的OPPO K11將于7月25日正式發布,將主打旗艦影像,和同檔位競品相比,其最大的賣點就是將配備索尼IMX890主攝,堪稱是2000檔位影像表
  • 滴滴違法違規被罰80.26億 共存在16項違法事實

    滴滴違法違規被罰80.26億 存在16項違法事實開始于2121年7月,歷經一年時間,網絡安全審查辦公室對“滴滴出行”網絡安全審查終于有了一個暫時的結束。據“網信
  • 北京:科技教育體驗基地開始登記

      北京“科技館之城”科技教育體驗基地登記和認證工作日前啟動。首批北京科技教育體驗基地擬于2023年全國科普日期間掛牌,后續還將開展常態化登記。  北京科技教育體驗基
Top