從 Pulsar Client 的原理到它的監控面板
背景前段時間業務團隊偶爾會碰到一些 Pulsar 使用的問題，比如消息阻塞不消費了、生產者消息發送緩慢等各種問題。雖然我們有個監控頁面可以根據 topic 維度查看他的發送狀態，
非常喜歡讀開源項目，每次讀源碼，都會覺得自己修煉某種武學功法，期待修煉完成后，可以大殺四方。
從2012年開始，陸續閱讀了 Cobar、Druid、Xmemcached、RocketMQ、MetaQ、Canal、ShardingJdbc、Sofa-Jraft 等開源項目。
這篇文章，聊聊筆者閱讀 Xmemcached 源碼的心得體會，希望對大家有所幫助。
圖片
XMemcached 是一個 Java memcached 客戶端。
可能有的同學對 Memcached 并不熟悉，它和 Redis 一樣都是分布式內存緩存系統，用于加速動態 Web 應用程序，通過減少數據庫負載來提高性能 。
筆者當時服務于一家彩票公司，公司的核心系統訂單服務、調度中心、業務網關都使用 XMemcached 操作 memcached 。
基于一個非常樸素的好奇心：“如何用 Java 編寫一個緩存客戶端 ？” 筆者花了接近兩個月的時間將 Xmemcached 源碼瀏覽了一次。
瀏覽完源碼后，筆者有三點心得：
下圖是 Xmemcached 的使用范例：
圖片
我們可以清晰的發現流程分為三個部分 ：
MemcachedClient 接口定義了基本的緩存操作方法，比如 get、set、add 、cas 方法，而 XmemcachedClient 是 MemcachedClient 的實現類。
真正創建客戶端對象 XmemcachedClient 是通過構造器 XMemcachedClientBuilder 來實現的，這是一個非常典型的設計模式：Builder 模式 。
Builder 模式是一種創建型設計模式，它允許你分步驟創建復雜對象。與直接構造對象不同，Builder 模式通過一個構建過程，逐步設置對象的不同部分，從而使對象的創建過程更加靈活和可控。
圖片
我們在配置 構造器 XMemcachedClientBuilder 時，可以配置序列化對象、命令工廠、服務器列表等配置。
最后，調用構造器的 build 方法創建 MemcachedClient 對象，見下圖：
圖片
下面是 XMemcached 的主要類的 UML 圖:
圖片
在網絡編程中，一個重要的步驟是對發送的數據包進行編碼、對接受的數據包進行解碼。
1）發送命令，進行編碼)
因為 Xmemcached 使用了自研的網絡通訊框架 ，每次發送命令時，都會調用命令的 encode 方法，將命令對象轉換成 IoBuffer 對象通過網絡發送。
下圖是 TextGetOneCommand 的 encode 方法 ：
圖片
2）接收命令，進行解碼
當通訊框架收到響應字節數組時，可能收到的數據包并不完整，在收到數據包時，通過 decode 方法判斷數據包是否完整，當數據完整之后，將同步請求的 countDownLatch 計數減 1 。
圖片
當筆者理解了網絡命令編解碼的技巧之后，后來用 Netty 寫了個分庫分表 proxy 輪子時，在設計 MySQL 命令包編解碼就使用了類似的技巧。
圖片
一致性 Hash 算法非常典型的應用就是緩存集群，它能夠很大程度上(注意不是完全解決)解決余數哈希的增加服務器導致緩存失效的問題。
我們需要進行如下步驟，使用一致性哈希（Consistent Hashing）將鍵值對映射到 memcached 服務器上。
圖片
下圖，我們新增一臺 memcached 服務器 node5 。
圖片
假如是我們使用余數分布式算法，保存鍵的服務器會發生很大變化從而影響緩存的命中率,但一致性哈希算法僅僅如圖中所示 node2 和 node 5 之間小部分黃色區域會有影響。
KetamaMemcachedSessionLocator.java 實現了一致性哈希算法, 使用的 Hash 算法是 KETAMA HASH 算法。
1、根據服務器列表生成 Hash 環 ，存儲容器 TreeMap
圖片
2、通過 key 得到 TreeMap 的 tailMap，然后找到 firstKey
圖片
閱讀 Xmemcached 源碼，讓筆者的眼界大大提升，比如序列化方式、構造器 Builder 設計模式、一致性哈希算法、通訊命令編解碼、failover 設計等等。
比較可惜的是，筆者當時能力有限，并沒有完全理解自研網絡框架 yanf4j 。
盡管如此，當讀完 Xmemcached 源碼后，筆者對于“如何用 Java 編寫一個緩存客戶端 ？” 這個問題，腦海里已經有了概念，當筆者對于 Netty 更加熟悉之后，這個問題也就變得不是問題了。
本文鏈接：http://www.tebozhan.com/showinfo-26-98411-0.html我們一起聊聊如何編寫一個 Java memcached 客戶端
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
下一篇： K8s 也有設計模式？你知道嗎？
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號