大家好,我是煎魚。
前幾年非常高頻的接觸到這一堆微服務相關組件:grpc + grpc-gateway + etcd + protobuf + protoc-gen-go,一開始都是相安無事,逐步跟進新版本。
這不,幺蛾子就來了。寫這些組件的開發大佬(或公司)都不在一起,各自為政,各有各的想法、喜歡、規范...因此會出互相不兼容,甚至出現了卡脖子的情況。
圖片
當 etcd 是 v3.3/v3.4,grpc > v1.27 時,經常會遇到各種看著腦殼痛的兼容性問題。
至少但不限于如下幾個場景。只是例舉幾個比較常見的三個兼容錯誤。
找不到 grpc-go 庫中的google.golang.org/grpc/naming 包。原因是什么?原因之一是 go.etcd.io/etcd/client 引用到 grpc-go 庫中的實驗包。
在 go mod tidy 時,會遇到如下報錯:
go: finding module for package google.golang.org/grpc/naminggo: finding module for package google.golang.org/grpc/examples/helloworld/helloworldgo: found google.golang.org/grpc/examples/helloworld/helloworld in google.golang.org/grpc/examples v0.0.0-20231026203026-8cb98464e599go: finding module for package google.golang.org/grpc/naminggo: git.xxx.cn/xxx/xxx-common/jy imports go.etcd.io/etcd/client tested by go.etcd.io/etcd/client.test imports github.com/coreos/etcd/integration imports github.com/coreos/etcd/proxy/grpcproxy imports google.golang.org/grpc/naming: module google.golang.org/grpc@latest found (v1.59.0), but does not contain package google.golang.org/grpc/naming
看到最后的 but does not contain package google.golang.org/grpc/naming。以為是 grpc-go 亂刪庫,做了不兼容變更。
想著找官方解決一下問題。印象很深刻,人家 grpc-go 表示:我這庫早就聲明了是實驗性,隨時可能刪除,你不應該依賴他。(不會支持的意思)
還是由于 grpc-go 庫的實驗包在新版本去掉了。會導致 etcd v3.3 出現:undefined: balancer.PickOptions 和 undefined: resolver.BuildOption 的相關錯誤信息:
$ go get go.etcd.io/etcd/clientv3# github.com/coreos/etcd/clientv3/balancer/resolver/endpoint../../go/pkg/mod/github.com/coreos/etcd@v3.3.18+incompatible/clientv3/balancer/resolver/endpoint/endpoint.go:114:78: undefined: resolver.BuildOption../../go/pkg/mod/github.com/coreos/etcd@v3.3.18+incompatible/clientv3/balancer/resolver/endpoint/endpoint.go:182:31: undefined: resolver.ResolveNowOption# github.com/coreos/etcd/clientv3/balancer/picker../../go/pkg/mod/github.com/coreos/etcd@v3.3.18+incompatible/clientv3/balancer/picker/err.go:37:44: undefined: balancer.PickOptions../../go/pkg/mod/github.com/coreos/etcd@v3.3.18+incompatible/clientv3/balancer/picker/roundrobin_balanced.go:55:54: undefined: balancer.PickOptions
不得不說,這個 BUG 我還給 etcd 提了 issues 和 pr:
圖片
最終合并了。(但是 etcd v3.5 當年發布的太慢了,沒等到...)
protoc-gen-go 與 grpc 版本不兼容。會出現如下報錯:
Getting error undefined: grpc.SupportPackageIsVersion6 and undefined: grpc.ClientConnInterface
本身這個問題,只需要升級 grpc >= 1.27 就可以了。但如果你使用了 etcd sdk,又會前面的 etcd 版本依賴問題,程序會陷入麻煩的升又升不得,降也降不了。
最后還是將 protoc(protoc-gen-go) 降級為 v1.3.2,grpc 保持在 v1.26,這樣 etcd v3.3 的依賴才能正常使用。
細心的同學會發現,歸根到底還是和 etcd v3.3 扯上關系,grpc 就沒法升級到 v1.27 以上。其他所有關聯的 protoc、grpc-gateway 的版本都沒法繼續推進。
當你想用 go module 來做各種兼容管理時,會發現 etcd v3.3 根本沒有 go module...
etcd v3.4 雖然有 go.mod,但也無法拉取和使用(原因詳見:etcd-io/etcd/issues/11154[1])。
圖片
etcd 官方的響應也是不太積極的。猜測是積重難返,比較難解決。
社區等了許多年,現在終于有了解決辦法。etcd v3.5 已經正式支持了 go module!
etcd 將之前的模塊按功能做了領域劃分,把之前各種的低版本依賴、循環依賴等問題都處理了。
如下圖所示:
圖片
圖片
拆分為了 api、client、raft、server、etcdctl、bbolt 等獨立的 Go 模塊。不會像老版本一樣交叉影響。
如果你是新項目,建議無腦使用 etcd v3.5 以上版本。千萬別用 v3.3/v3.4 及更低的!
可能有的同學以為皆大歡喜了?其實并不。
他的模塊化改造成功僅限于 etcd v3.5 的版本。而歷史項目,如果你是使用 etcd v2 store,那么很抱歉。
etcd 老版本(v3.3/v3.4 等)是沒有變動的,在 v3.5 的新版本(包含最新的文檔)中都在開始在逐步去除 etcd v2 的相關支持。
圖片
如果仍然在使用 etcd v2 的同學,建議進行數據遷移用 v3。這樣可以避免很多技術上的問題。
遷移不方便的話,除了各種 replace 和鎖版本外。如果你使用的 etcd 功能非常基礎,也可以自己實現一個簡易版的 SDK。
etcd 的這個歷史問題已經存在了好幾年,一直處理的慢慢吞吞。甚至影響到了 Go 生態圈的一些技術選型問題。
前幾天有同學反饋 tidb 里引用了 cloud.google.com/go/pubsub 庫,而該庫又依賴了 grpc 的較高的版本。從而導致原有卡在 grpc v1.26 的應用又出現了問題。才回過頭來看看。
在新版本中,etcd 的依賴問題終于解決了。真的是,這值得被我們記住!雖然他老版本依然沒處理...
本文鏈接:http://www.tebozhan.com/showinfo-26-16509-0.htmlGo etcd 的依賴問題終于解決了......
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: Istio:微服務開發的終極利器,你還在為繁瑣的通信和部署流程煩惱嗎?
下一篇: 聊一聊 Python 的換行以及轉義