在一次內(nèi)部Java服務(wù)審計(jì)中，我們發(fā)現(xiàn)一些請求沒有在Kubernetes（K8s）網(wǎng)絡(luò)上正確地實(shí)現(xiàn)負(fù)載均衡。導(dǎo)致我們深入研究的問題是HTTP 5xx錯(cuò)誤率的急劇上升，由于CPU使用率非常高，垃圾收集事件的數(shù)量很多以及超時(shí)，但這僅發(fā)生在一些特定的Pod中。lc728資訊網(wǎng)——每日最新資訊28at.com

這種情況并不在所有情況下都可見，因?yàn)樗绊懙蕉郟od服務(wù)，源Pod和目標(biāo)Pod的數(shù)量不同。在本博文中，我將討論我們采取的措施來負(fù)載均衡這組服務(wù)和Pod。lc728資訊網(wǎng)——每日最新資訊28at.com

lc728資訊網(wǎng)——每日最新資訊28at.com

在我們的部署中，請求在Pod之間是如何均衡的？

lc728資訊網(wǎng)——每日最新資訊28at.com

兩個(gè)源Pod向六個(gè)目標(biāo)Pod發(fā)送請求。lc728資訊網(wǎng)——每日最新資訊28at.com

可以清楚地看到請求分布在目標(biāo)Pod之間存在不均衡。lc728資訊網(wǎng)——每日最新資訊28at.com

但為什么會這樣？

K8s負(fù)載均衡器（IPVS代理模式）的默認(rèn)負(fù)載均衡調(diào)度程序設(shè)置為輪詢（round robin）。IPVS提供了更多的選項(xiàng)來均衡流量到Pod后端。在測試這些選項(xiàng)時(shí)，我們發(fā)現(xiàn)當(dāng)涉及到我們的服務(wù)時(shí)，不管配置如何，行為都相同，這些服務(wù)之間使用內(nèi)部路由進(jìn)行通信。lc728資訊網(wǎng)——每日最新資訊28at.com

到底發(fā)生了什么？K8s中的IPVS根據(jù)連接來平衡流量，這在大多數(shù)情況下都表現(xiàn)得相當(dāng)不錯(cuò)。我們的服務(wù)使用OkHttp作為相互通信的HTTP客戶端。我們的問題與這個(gè)HTTP客戶端的行為方式有關(guān)。使用默認(rèn)配置，它會創(chuàng)建到服務(wù)器的連接，如果您不想在代碼中顯式關(guān)閉連接，因?yàn)檫@太昂貴，那么它會保持并重新建立到先前合作伙伴的連接。這意味著客戶端嘗試保持與目標(biāo)的連接，并通過該特定連接發(fā)送請求。通常情況下，它會創(chuàng)建1:1的連接，這在K8s方面沒有均衡。lc728資訊網(wǎng)——每日最新資訊28at.com

該怎么辦？

如果您需要擴(kuò)展或希望使您的服務(wù)得到適當(dāng)?shù)呢?fù)載均衡，您需要在客戶端端更新配置。OkHttp提供了ConnectionPool功能。當(dāng)使用ConnectionPool選項(xiàng)時(shí)，連接將在有限的時(shí)間段內(nèi)建立，然后重復(fù)設(shè)置一個(gè)新的連接，因此IPVS可以進(jìn)行負(fù)載均衡，因?yàn)樗写罅康男逻B接，應(yīng)該根據(jù)IPVS調(diào)度程序路由到目標(biāo)。基本上，它的工作方式類似于機(jī)關(guān)槍而不是激光束。lc728資訊網(wǎng)——每日最新資訊28at.com

我們在發(fā)布此更新后的效果如何？lc728資訊網(wǎng)——每日最新資訊28at.com

lc728資訊網(wǎng)——每日最新資訊28at.com

使用更新的HTTP客戶端和默認(rèn)IPVS調(diào)度程序在多Pod服務(wù)之間實(shí)現(xiàn)了負(fù)載均衡的連接。lc728資訊網(wǎng)——每日最新資訊28at.com

到底做了什么改變？

我們進(jìn)行了大量的測試，使用各種配置來測量響應(yīng)時(shí)間和性能開銷，以確保負(fù)載均衡。下面是主要的代碼更改，看起來沒有明顯的性能開銷。lc728資訊網(wǎng)——每日最新資訊28at.com

lc728資訊網(wǎng)——每日最新資訊28at.com

代碼更改示例lc728資訊網(wǎng)——每日最新資訊28at.com

有一個(gè)選項(xiàng)可以設(shè)置調(diào)度程序，以便能夠并行發(fā)送更多的請求。在我們的情況下，這最終會建立一組最近關(guān)閉的連接，然后繼續(xù)只使用一個(gè)連接。此外，我們試圖防止過于頻繁地打開新連接，因?yàn)閳?zhí)行請求比打開新連接要少要求得多。lc728資訊網(wǎng)——每日最新資訊28at.com

結(jié)果如何？

網(wǎng)絡(luò)和資源的使用現(xiàn)在比以前更加平衡 - 沒有巨大或持續(xù)很長時(shí)間的峰值，也沒有出現(xiàn)只影響部署中某些Pod的“嘈雜鄰居”效應(yīng)。現(xiàn)在幾乎所有的Pod都以幾乎相同的方式被利用，因此我們能夠減少我們的部署中的Pod數(shù)量。我們知道這并不完美，但對于我們的用例來說已經(jīng)足夠好，因?yàn)樗粫o服務(wù)或IPVS負(fù)載均衡器帶來明顯的性能開銷。lc728資訊網(wǎng)——每日最新資訊28at.com

lc728資訊網(wǎng)——每日最新資訊28at.com

現(xiàn)在的Pod上的請求負(fù)載均衡lc728資訊網(wǎng)——每日最新資訊28at.com

結(jié)論

定期進(jìn)行徹底的服務(wù)審計(jì)是有益的，因?yàn)樗梢越沂境鑫磥韺λ蟹?wù)有益的優(yōu)化點(diǎn)，并在解決那些本應(yīng)該立即運(yùn)行的功能的奇怪癥狀時(shí)為您節(jié)省時(shí)間。此外，花些時(shí)間查看文檔，測試，討論并了解在使用客戶端庫時(shí)關(guān)于連接設(shè)置和處理的默認(rèn)設(shè)置的影響，以確保它們將按照您的預(yù)期行事。lc728資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-15866-0.htmlKubernetes使用OkHttp客戶端進(jìn)行網(wǎng)絡(luò)負(fù)載均衡

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 四種常見線程池的原理，你學(xué)會了嗎？

下一篇： 如何使用Python編寫多因子量化策略