最近的迭代轉(zhuǎn)測后遇到了一個比較有意思的問題。在測試環(huán)境整體運行還算平穩(wěn)，但是過一段時間之后，就開始有接口超時了，日志中出現(xiàn)非常多的 “java.net.SocketTimeoutException: Read timed out”。試了幾次重啟大法，每次都是只能堅持一會之后，再次出現(xiàn) SocketTimeoutException。rUt28資訊網(wǎng)——每日最新資訊28at.com

注意：在測試環(huán)境于遇到問題重啟服務(wù)，并不是一個好的實踐，因為重啟可能會讓不容易出現(xiàn)的問題現(xiàn)場被破壞。如果問題在測試環(huán)境不能再重新，卻在發(fā)版后出現(xiàn)在生產(chǎn)環(huán)境的話，那不僅會造成生產(chǎn)運維事件，還要在巨大的壓力下去解決問題。rUt28資訊網(wǎng)——每日最新資訊28at.com

初步分析

順著測試匯報的出現(xiàn)問題的場景，跟蹤調(diào)用鏈上相關(guān)服務(wù)的日志，發(fā)現(xiàn)出現(xiàn)了微服務(wù)之間循依賴調(diào)用。大致情況可以抽象如下所示（圖中所有調(diào)用都是 http 協(xié)議）：rUt28資訊網(wǎng)——每日最新資訊28at.com

圖片rUt28資訊網(wǎng)——每日最新資訊28at.com

• Client 調(diào)用服務(wù) Foo.hello()
• Foo.hello() 邏輯中會調(diào)用服務(wù) Boo.boo()
• Boo.boo() 又調(diào)用回服務(wù) Foo 的另外一個方法 another()

當然真實的場景要比較這個復雜，調(diào)用鏈更長，不過最終形成了環(huán)形依賴調(diào)用。至于這個環(huán)形依賴為什么回導致超時，當時想了多種可能，比如數(shù)據(jù)庫慢查詢、數(shù)據(jù)庫鎖、分布式鎖等等。但是整個調(diào)用鏈上都是查詢請求，而且查詢相關(guān)的數(shù)據(jù)量也非常小，不會有鎖存在。發(fā)生問題的時候也沒有與查詢數(shù)據(jù)相關(guān)的數(shù)據(jù)庫寫請求。rUt28資訊網(wǎng)——每日最新資訊28at.com

鑒于這個環(huán)形依賴調(diào)用確實是這個迭代版本中引入的變更，以及雖然沒有理清其中的因果關(guān)系原理，但是這個環(huán)性依賴調(diào)用還是很可疑的，而且是不必要的環(huán)形調(diào)用。就抱著將環(huán)形依賴調(diào)用去掉試試看的態(tài)度，做了修復。修復完后，SocketTimeoutException 不再出現(xiàn)了。問題解決了。rUt28資訊網(wǎng)——每日最新資訊28at.com

探尋原因

問題雖然不再出現(xiàn)，但是憑運氣解決的問題，通常有可能不是真的的解決。只有弄清楚背后的原理，我們才能真正的確認問題是不是這個原因?qū)е碌?，這樣的修復是不是真的把問題解決了。rUt28資訊網(wǎng)——每日最新資訊28at.com

通過假設(shè)環(huán)形調(diào)用就是導致調(diào)用超時的直接原因。我們看看能不能推出因果關(guān)系。通過把Foo 服務(wù)容器畫的更詳細一點，如下圖：rUt28資訊網(wǎng)——每日最新資訊28at.com

圖片rUt28資訊網(wǎng)——每日最新資訊28at.com

通過這個圖示，我們可以發(fā)現(xiàn)，如果容器中接收請求的線程池如果都在等待服務(wù)Boo.boo() 的響應(yīng)，而 Boo 又需要調(diào)用回服務(wù) Foo.another()。這個時候，如果所有的線程都處于這樣的狀態(tài)，我們就會發(fā)現(xiàn)服務(wù) Foo 容器中以及沒有線程來處理 Boo 的請求了。關(guān)注公眾號：碼猿技術(shù)專欄，回復關(guān)鍵詞：1111 獲取阿里內(nèi)部的Java性能調(diào)優(yōu)手冊！某種程度上來說就是死鎖了。到這里，我們就可以很確定了，這個環(huán)形依賴調(diào)用就是導致出現(xiàn)調(diào)用超時的罪魁禍首。當 client 發(fā)起的請求速度大于這個環(huán)形調(diào)用鏈的處理速度的時候，慢慢的就會導致服務(wù) Foo 的所有線程都進入這種死鎖狀態(tài)。rUt28資訊網(wǎng)——每日最新資訊28at.com

驗證

這里只列出關(guān)鍵的代碼，具體的代碼可以參考 gitee 工程：https://gitee.com/donghbcn/CircularDependencyrUt28資訊網(wǎng)——每日最新資訊28at.com

Eureka 服務(wù)器

建個簡單工程將Eureka server啟動起來。rUt28資訊網(wǎng)——每日最新資訊28at.com

服務(wù) Foo

創(chuàng)建 SpringBoot 工程實現(xiàn) Foo 服務(wù)。Foo 通過 FeignClient 調(diào)用 Boo 服務(wù)。設(shè)置缺省的容器 Tomcat 的最大線程數(shù)為 16，Tomcat 默認配置最大線程數(shù) 200，對于驗證這個場景有點了大了，要看到效果需要等的時間有點長。rUt28資訊網(wǎng)——每日最新資訊28at.com

application.properties

spring.application.name=demo-fooserver.port=8000eureka.client.serviceUrl.defaultZnotallow=http://localhost:8080/eurekaserver.tomcat.threads.max=16

package com.cd.demofoo;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class FooController {    @Autowired    BooFeignClient booFeignClient;    @RequestMapping("/hello")    public String hello(){        long start = System.currentTimeMillis();        System.out.println("[" + Thread.currentThread() +                "] foo:hello called, call boo:boo now");        booFeignClient.boo();        System.out.println("[" + Thread.currentThread() +                "] foo:hello called, call boo:boo, total cost:" +                (System.currentTimeMillis() - start));        return "hello world";    }    @RequestMapping("/another")    public String another(){        long start = System.currentTimeMillis();        try {            //通過 slepp 模擬一個耗時調(diào)用            Thread.sleep(100);        } catch (InterruptedException e) {            e.printStackTrace();        }        System.out.println("foo:another called, total cost:" + (System.currentTimeMillis() - start));        return "another";    }}

服務(wù) Boo

創(chuàng)建 SpringBoot 工程實現(xiàn) Boo 服務(wù)。Boo 通過 FeignClient 調(diào)用 Foo 服務(wù)。rUt28資訊網(wǎng)——每日最新資訊28at.com

package com.cd.demoboo;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class BooController {    @Autowired    FooFeignClient fooFeignClient;    @RequestMapping("/boo")    public String boo(){        long start = System.currentTimeMillis();        fooFeignClient.another();        System.out.println("boo:boo called, call foo:another, total cost:" +                        (System.currentTimeMillis() - start));        return "boo";    }}

Jmeter

采用 Jmeter 來模擬并發(fā) Client 調(diào)用。配置了30 個 線程，無限循環(huán)。rUt28資訊網(wǎng)——每日最新資訊28at.com

圖片rUt28資訊網(wǎng)——每日最新資訊28at.com

很快服務(wù) Foo 日志就卡死了。過一會 Boo 的日志開始出現(xiàn) SocketTimeoutException，如下圖：rUt28資訊網(wǎng)——每日最新資訊28at.com

圖片rUt28資訊網(wǎng)——每日最新資訊28at.com

jstack

通過 jstack 我們可以看到 Foo 進程的所有線程都卡在 hello() 調(diào)用上了。rUt28資訊網(wǎng)——每日最新資訊28at.com

圖片rUt28資訊網(wǎng)——每日最新資訊28at.com

總結(jié)

微服務(wù)之間的環(huán)形依賴類似于類之間的循環(huán)依賴，當依賴關(guān)系形成了環(huán)，會造成比較嚴重的問題：rUt28資訊網(wǎng)——每日最新資訊28at.com

• 微服務(wù)直接不能形成環(huán)形調(diào)用，否則非常容易出現(xiàn)死鎖狀態(tài)。
• 微服務(wù)之間的耦合性非常強，這嚴重違反了微服務(wù)的初衷；這種情況往往是服務(wù)之間的調(diào)用沒有約束導致的，為了方便取到或更新數(shù)據(jù)，服務(wù)之間可以隨意的調(diào)用，以”微服務(wù)“為設(shè)計目標的系統(tǒng)會逐漸演變成一個分布式大單體。

rUt28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-100734-0.html微服務(wù)循環(huán)依賴引發(fā)慘案，有坑！

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： Vue3中使用@作為引用根目錄報錯，該如何解決？

下一篇： Redis高性能架構(gòu)詳解(圖文全面總結(jié))