石頭智能洗地機(jī)A10 Plus體驗(yàn)：雙向自清潔治好了我的懶癌
一、前言和介紹專為家庭請假懶人而生的石頭科技在近日又帶來了自己的全新旗艦新品，石頭智能洗地機(jī)A10 Plus。從這個(gè)產(chǎn)品名上就不難看出，這次石頭推出的并不是常見的掃地機(jī)器
代理的核心功能可以用一句話概括：接受客戶端的請求，轉(zhuǎn)發(fā)到后端服務(wù)器，獲得應(yīng)答之后返回給客戶端。
代理的功能有很多，事實(shí)上整個(gè)互聯(lián)網(wǎng)到處都充斥著代理服務(wù)器。如果所有的 HTTP 訪問都是客戶端和服務(wù)器端直接進(jìn)行的話，我們的網(wǎng)絡(luò)不僅會(huì)變得緩慢，而且性能會(huì)大打折扣。
代理服務(wù)器根據(jù)不同的配置和使用，可能會(huì)有不同的功能，這些功能主要包括：
所有的這些功能的實(shí)現(xiàn)都依賴于代理的特性，它可以在客戶端和服務(wù)器端做一些事情，根據(jù)代理做的事情不同，它的角色和功能也就不同。
那么，代理具體可以做哪些事情呢？比如：
修改 HTTP 請求：url、header、body
過濾請求：根據(jù)一定的規(guī)則丟棄、過濾請求
決定轉(zhuǎn)發(fā)到哪個(gè)后端（可以是靜態(tài)定義的，也可以是動(dòng)態(tài)決定）
保存服務(wù)器的應(yīng)答，后續(xù)的請求可以直接使用保存的應(yīng)答
修改應(yīng)答：對應(yīng)答做一些格式的轉(zhuǎn)換，修改數(shù)據(jù)，甚至返回完全不一樣的應(yīng)答數(shù)據(jù)
重試機(jī)制，如果后端服務(wù)器暫時(shí)無法響應(yīng)，隔一段時(shí)間重試
代理可以分為正向代理和反向代理兩種。
正向代理需要客戶端來配置，一般來說我們會(huì)通過瀏覽器或者操作系統(tǒng)提供的工具或者界面來配置。
這個(gè)時(shí)候，代理對客戶端不是透明的，客戶端需要知道代理的地址并且手動(dòng)配置。配置了代理，瀏覽器在發(fā)送請求的時(shí)候會(huì)對報(bào)文做特殊的修改。
反向代理對客戶端是透明的，也就是說客戶端一般不知道代理的存在，認(rèn)為自己是直接和服務(wù)器通信。
我們大部分訪問的網(wǎng)站就是反向代理服務(wù)器，反向代理服務(wù)器會(huì)轉(zhuǎn)發(fā)到真正的服務(wù)器，一般在反向代理這一層實(shí)現(xiàn)負(fù)載均衡和高可用的功能。而且這里也可以看到，客戶端是不會(huì)知道真正服務(wù)器端的 ip 地址和端口的，這在一定程度上起到了安全保護(hù)的作用。
在反向代理中，代理服務(wù)器要轉(zhuǎn)發(fā)的服務(wù)器地址都是事先知道的（包括靜態(tài)配置和動(dòng)態(tài)配置）。比如 使用 nginx 來配置負(fù)載均衡 。
而對于正向代理來說，客戶端可能訪問的服務(wù)器地址是無法事先知道的。因?yàn)镠TTP 協(xié)議活動(dòng)在應(yīng)用層，它無法獲取網(wǎng)絡(luò)層（IP層）信息，那么該協(xié)議要有一個(gè)地方可以拿到這個(gè)信息。
HTTP 中可能保存這個(gè)信息的地方有兩個(gè)：URL 和 header。默認(rèn)情況下，HTTP 請求的 status line 有三部分組成：方法、uri 和協(xié)議版本，比如：
GET /index.html HTTP/1.0User-Agent: gohttp 1.0如果客戶端（比如瀏覽器）知道自己在通過正向代理進(jìn)行報(bào)文傳輸，那么它會(huì)在 status line 加上要訪問服務(wù)器的真實(shí)地址。這個(gè)時(shí)候發(fā)送的報(bào)文是：
GET http://www.marys-antiques.com/index.html HTTP/1.0User-Agent: gohttp 1.0代理路徑客戶端不管是通過代理服務(wù)器，還是直接訪問后端服務(wù)器對于最終的結(jié)果是沒有區(qū)別的，也就是說大多數(shù)情況下客戶端根本不關(guān)心它訪問的到底是什么，只需要（準(zhǔn)確快速地）拿到想要的信息就夠了。
但是有時(shí)候，我們還是希望知道請求到底在中間經(jīng)歷了哪些代理，比如用來調(diào)試網(wǎng)絡(luò)異常，或者做數(shù)據(jù)統(tǒng)計(jì)，而 HTTP 協(xié)議也提供了響應(yīng)的功能。
雖然 RFC 2616 定義了 Via 頭部字段來跟蹤 HTTP 請求經(jīng)過的代理路徑，但在實(shí)際中用的更多的還是 X-Forwarded-For 字段， X-Forwarded-For 是 Squid 緩存代理服務(wù)軟件引入的，目前已經(jīng)在規(guī)范化在 RFC 7239 文檔。
X-Forwarded-For 頭部格式也比較簡單，比如某個(gè)服務(wù)器接受到請求的對應(yīng)頭部可能是：
X-Forwarded-For: client, proxy1, proxy2
對應(yīng)的值有多個(gè)字段，每個(gè)字段代表中間的一個(gè)節(jié)點(diǎn)，它們之間由逗號和空格隔開，從左到右距離當(dāng)前節(jié)點(diǎn)越來越近。
每個(gè)代理服務(wù)器會(huì)在 X-Forwarded-For 頭部填上前一個(gè)節(jié)點(diǎn)的 ip 地址，這個(gè)地址可以通過 TCP 請求的 remote address 獲取。為什么每個(gè)代理服務(wù)器不填寫自己的 ip 地址呢？
有兩個(gè)原因，如果由代理服務(wù)器填寫自己的 ip 地址，那么代理可以很簡單地偽造這個(gè)地址，而上一個(gè)節(jié)點(diǎn)的 remote address 是根據(jù) TCP 連接獲取的（如果不建立正確的 TCP 連接是無法進(jìn)行 HTTP 通信的）；另外一個(gè)原因是如果由當(dāng)前節(jié)點(diǎn)填寫 X-Forwarded-For ，那么很多情況客戶端無法判斷自己是否會(huì)通過代理的。
NOTE：
1、最終客戶端或者服務(wù)器端接受的請求，X-Forwarded-For 是沒有最鄰近節(jié)點(diǎn)的 ip 地址的，而這個(gè)地址可以通過 remote address 獲取
2、每個(gè)節(jié)點(diǎn)（不管是客戶端、代理服務(wù)器、真實(shí)服務(wù)器）都可以隨便更改 X-Forwarded-For 的值，因此這個(gè)字段只能作為參考
代理服務(wù)器實(shí)現(xiàn)這個(gè)部分我們會(huì)介紹如何用 golang 來實(shí)現(xiàn) HTTP 代理服務(wù)器，需要讀者了解一些 HTTP 服務(wù)器端編程的知識(shí)。
正向代理按照我們之前介紹的代理原理，我們可以編寫出這樣的代碼：
package mainimport ( "fmt" "io" "net" "net/http" "strings")type Pxy struct {}func (p *Pxy) ServeHTTP(rw http.ResponseWriter, req *http.Request) { fmt.Printf("Received request %s %s %s/n", req.Method, req.Host, req.RemoteAddr) transport := http.DefaultTransport // step 1 outReq := new(http.Request) *outReq = *req // this only does shallow copies of maps if clientIP, _, err := net.SplitHostPort(req.RemoteAddr); err == nil { if prior, ok := outReq.Header["X-Forwarded-For"]; ok { clientIP = strings.Join(prior, ", ") + ", " + clientIP } outReq.Header.Set("X-Forwarded-For", clientIP) } // step 2 res, err := transport.RoundTrip(outReq) if err != nil { rw.WriteHeader(http.StatusBadGateway) return } // step 3 for key, value := range res.Header { for _, v := range value { rw.Header().Add(key, v) } } rw.WriteHeader(res.StatusCode) io.Copy(rw, res.Body) res.Body.Close()}func main() { fmt.Println("Serve on :8080") http.Handle("/", &Pxy{}) http.ListenAndServe("0.0.0.0:8080", nil)}這段代碼比較直觀，只包含了最核心的代碼邏輯，完全按照最上面的代理圖例進(jìn)行組織。一共分成幾個(gè)步驟：
1、代理接收到客戶端的請求，復(fù)制了原來的請求對象，并根據(jù)數(shù)據(jù)配置新請求的各種參數(shù)（添加上 X-Forward-For 頭部等）
2、把新請求發(fā)送到服務(wù)器端，并接收到服務(wù)器端返回的響應(yīng)
3、代理服務(wù)器對響應(yīng)做一些處理，然后返回給客戶端
上面的代碼運(yùn)行之后，會(huì)在本地的 8080 端口啟動(dòng)代理服務(wù)。修改瀏覽器的代理為 127.0.0.1：:8080 再訪問網(wǎng)站，可以驗(yàn)證代理正常工作，也能看到它在終端打印出所有的請求信息。
雖然這段代碼非常簡短，但是你可以添加更多的邏輯實(shí)現(xiàn)非常有用的功能。比如在請求發(fā)送之前進(jìn)行過濾，根據(jù)一定的規(guī)則直接阻止某些請求的訪問；或者對請求進(jìn)行限流，某個(gè)客戶端在一定的時(shí)間里執(zhí)行的請求有最大限額；統(tǒng)計(jì)請求的數(shù)據(jù)進(jìn)行分析等等。
這個(gè)代理目前不支持 HTTPS 協(xié)議，因?yàn)樗惶峁┝?HTTP 請求的轉(zhuǎn)發(fā)功能，并沒有處理證書和認(rèn)證有關(guān)的內(nèi)容。
如果了解 HTTPS 協(xié)議的話，你會(huì)明白這種模式下是無法完成 HTTPS 握手的，雖然代理可以和真正的服務(wù)器建立連接（知道了對方的公鑰和證書），但是代理無法代表服務(wù)器和客戶端建立連接，因?yàn)榇矸?wù)器無法知道真正服務(wù)器的私鑰。
反向代理編寫反向代理按照上面的思路當(dāng)然沒有問題，只需要在第二步的時(shí)候，根據(jù)之前的配置修改 outReq 的 URL Host 地址可以了。
不過 Golang 已經(jīng)給我們提供了編寫代理的框架：httputil.ReverseProxy 。我們可以用非常簡短的代碼來實(shí)現(xiàn)自己的代理，而且內(nèi)部的細(xì)節(jié)問題都已經(jīng)被很好地處理了。
這部分我們會(huì)實(shí)現(xiàn)一個(gè)簡單的反向代理，它能夠?qū)φ埱髮?shí)現(xiàn)負(fù)載均衡，隨機(jī)地把請求發(fā)送給某些配置好的后端服務(wù)器。使用 httputil.ReverseProxy 編寫反向代理最重要的就是實(shí)現(xiàn)自己的 Director 對象，這是 GoDoc 對它的介紹：
看代碼：
package mainimport ( "log" "math/rand" "net/http" "net/http/httputil" "net/url")func NewMultipleHostsReverseProxy(targets []*url.URL) *httputil.ReverseProxy { director := func(req *http.Request) { target := targets[rand.Int()%len(targets)] req.URL.Scheme = target.Scheme req.URL.Host = target.Host req.URL.Path = target.Path } return &httputil.ReverseProxy{Director: director}}func main() { proxy := NewMultipleHostsReverseProxy([]*url.URL{ { Scheme: "http", Host: "localhost:9091", }, { Scheme: "http", Host: "localhost:9092", }, }) log.Fatal(http.ListenAndServe(":9090", proxy))}我們讓代理監(jiān)聽在 9090 端口，在后端啟動(dòng)兩個(gè)返回不同響應(yīng)的服務(wù)器分別監(jiān)聽在 9091 和 9092 端口，通過 curl 訪問，可以看到多次請求會(huì)返回不同的結(jié)果。
? curl http://127.0.0.1:9090116064a9eb83? curl http://127.0.0.1:90908f7ccc11718f同樣的，這段代碼也只是一個(gè) demo，存在著很多問題，比如沒有錯(cuò)誤處理機(jī)制，如果后端某個(gè)服務(wù)器掛了，代理會(huì)返回 502 錯(cuò)誤，更好的做法是把請求轉(zhuǎn)發(fā)到另外的可用服務(wù)器。當(dāng)然也可以添加更多的特性讓它更好用，比如動(dòng)態(tài)地添加后端服務(wù)器列表；根據(jù)后端服務(wù)器的負(fù)載情況進(jìn)行負(fù)載轉(zhuǎn)發(fā)等等。
本文鏈接：http://www.tebozhan.com/showinfo-26-86067-0.htmlGo語言如何實(shí)現(xiàn)HTTP代理和反向代理
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號