前言
GO語言在WEB開發(fā)領(lǐng)域中的使用越來越廣泛，Hired 發(fā)布的《2019 軟件工程師狀態(tài)》報告中指出，具有 Go 經(jīng)驗的候選人是迄今為止最具吸引力的。平均每位求職者會收到9 份面試邀請。
想學(xué)習(xí)go，最基礎(chǔ)的就要理解go是怎么做到高并發(fā)的。
那么什么是高并發(fā)？
高并發(fā)（High Concurrency）是互聯(lián)網(wǎng)分布式系統(tǒng)架構(gòu)設(shè)計中必須考慮的因素之一，它通常是指，通過設(shè)計保證系統(tǒng)能夠同時并行處理很多請求。
嚴格意義上說，單核的CPU是沒法做到并行的，只有多核的CPU才能做到嚴格意義上的并行，因為一個CPU同時只能做一件事。那為什么是單核的CPU也能做到高并發(fā)。這就是操作系統(tǒng)進程線程調(diào)度切換執(zhí)行，感覺上是并行處理了。所以只要進程線程足夠多，就能處理C1K C10K的請求，但是進程線程的數(shù)量又受到操作系統(tǒng)內(nèi)存等資源的限制。每個線程必須分配8M大小的棧內(nèi)存，不管是否使用。每個php-fpm需要占用大約20M的內(nèi)存。所以目前有線程的Java就比只有進程的PHP的并發(fā)處理能力高。當然了，軟件的處理能力不僅僅跟內(nèi)存有關(guān)，還有是否阻塞，是否異步處理，CPU等等。Nginx作為單線程的模型卻可以承擔(dān)幾萬甚至幾十萬的并發(fā)請求，Nginx的話題說起來也就更多了。
我們繼續(xù)聊我們的Go，那么是不是可以有一種語言使用更小的處理單元，占用內(nèi)存比線程更小，那么它的并發(fā)處理能力就可以更高。所以Google就做了這件事，就有了golang語言,golang從語言層面就支持了高并發(fā)。
go為什么能做到高并發(fā)
goroutine是Go并行設(shè)計的核心。goroutine說到底其實就是協(xié)程，但是它比線程更小，幾十個goroutine可能體現(xiàn)在底層就是五六個線程，Go語言內(nèi)部幫你實現(xiàn)了這些goroutine之間的內(nèi)存共享。執(zhí)行g(shù)oroutine只需極少的棧內(nèi)存(大概是4~5KB)，當然會根據(jù)相應(yīng)的數(shù)據(jù)伸縮。也正因為如此，可同時運行成千上萬個并發(fā)任務(wù)。goroutine比thread更易用、更高效、更輕便。
一些高并發(fā)的處理方案基本都是使用協(xié)程，openresty也是利用lua語言的協(xié)程做到了高并發(fā)的處理能力，PHP的高性能框架Swoole目前也在使用PHP的協(xié)程。
協(xié)程更輕量，占用內(nèi)存更小，這是它能做到高并發(fā)的前提。
go web開發(fā)中怎么做到高并發(fā)的能力
學(xué)習(xí)go的HTTP代碼。先創(chuàng)建一個簡單的web服務(wù)。
package main
import (
"fmt"
"log"
"net/http"
)
func response(w http.ResponseWriter, r *http.Request) {
fmt.Fprintf(w, "Hello world!") //這個寫入到w的是輸出到客戶端的
}
func main() {
http.HandleFunc("/", response)
err := http.ListenAndServe(":9000", nil)
if err != nil {
log.Fatal("ListenAndServe: ", err)
}
}
然后編譯
go build -o test_web.gobin
./test_web.gobin
然后訪問
curl 127.0.0.1:9000
Hello world!
這樣簡單的一個WEB服務(wù)就搭建起來。接下來我們一步一步理解這個Web服務(wù)是怎么運行的，怎么做到高并發(fā)的。
我們順著http.HandleFunc("/", response)方法順著代碼一直往上看。
func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
DefaultServeMux.HandleFunc(pattern, handler)
}
var DefaultServeMux = defaultServeMux
var defaultServeMux ServeMux
type ServeMux struct {
mu sync.RWMutex//讀寫鎖。并發(fā)處理需要的鎖
m map[string]muxEntry//路由規(guī)則map。一個規(guī)則一個muxEntry
hosts bool //規(guī)則中是否帶有host信息
}
一個路由規(guī)則字符串，對應(yīng)一個handler處理方法。
type muxEntry struct {
h Handler
pattern string
}
上面是DefaultServeMux的定義和說明。我們看到ServeMux結(jié)構(gòu)體，里面有個讀寫鎖，處理并發(fā)使用。muxEntry結(jié)構(gòu)體，里面有handler處理方法和路由字符串。
接下來我們看下，http.HandleFunc函數(shù)，也就是DefaultServeMux.HandleFunc做了什么事。我們先看mux.Handle第二個參數(shù)HandlerFunc(handler)
func (mux *ServeMux) HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
mux.Handle(pattern, HandlerFunc(handler))
}
type Handler interface {
ServeHTTP(ResponseWriter, *Request) // 路由實現(xiàn)器
}
type HandlerFunc func(ResponseWriter, *Request)
func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) {
f(w, r)
}
我們看到，我們傳遞的自定義的response方法被強制轉(zhuǎn)化成了HandlerFunc類型，所以我們傳遞的response方法就默認實現(xiàn)了ServeHTTP方法的。
我們接著看mux.Handle第一個參數(shù)。
func (mux *ServeMux) Handle(pattern string, handler Handler) {
mux.mu.Lock()
defer mux.mu.Unlock()
if pattern == "" {
panic("http: invalid pattern")
}
if handler == nil {
panic("http: nil handler")
}
if _, exist := mux.m[pattern]; exist {
panic("http: multiple registrations for " + pattern)
}
if mux.m == nil {
mux.m = make(map[string]muxEntry)
}
mux.m[pattern] = muxEntry{h: handler, pattern: pattern}
if pattern[0] != '/' {
mux.hosts = true
}
}
將路由字符串和處理的handler函數(shù)存儲到ServeMux.m 的map表里面，map里面的muxEntry結(jié)構(gòu)體，上面介紹了，一個路由對應(yīng)一個handler處理方法。
接下來我們看看，http.ListenAndServe(":9000", nil)做了什么
func ListenAndServe(addr string, handler Handler) error {
server := Server{Addr: addr, Handler: handler}
return server.ListenAndServe()
}
func (srv *Server) ListenAndServe() error {
addr := srv.Addr
if addr == "" {
addr = ":http"
}
ln, err := net.Listen("tcp", addr)
if err != nil {
return err
}
return srv.Serve(tcpKeepAliveListener{ln.(*net.TCPListener)})
}
net.Listen("tcp", addr) ，就是使用端口addr用TCP協(xié)議搭建了一個服務(wù)。tcpKeepAliveListener就是監(jiān)控addr這個端口。
接下來就是關(guān)鍵代碼，HTTP的處理過程
func (srv *Server) Serve(l net.Listener) error {
defer l.Close()
if fn := testHookServerServe; fn != nil {
fn(srv, l)
}
var tempDelay time.Duration // how long to sleep on accept failure
if err := srv.setupHTTP2_Serve(); err != nil {
return err
}
srv.trackListener(l, true)
defer srv.trackListener(l, false)
baseCtx := context.Background() // base is always background, per Issue 16220
ctx := context.WithValue(baseCtx, ServerContextKey, srv)
for {
rw, e := l.Accept()
if e != nil {
select {
case -srv.getDoneChan():
return ErrServerClosed
default:
}
if ne, ok := e.(net.Error); ok ne.Temporary() {
if tempDelay == 0 {
tempDelay = 5 * time.Millisecond
} else {
tempDelay *= 2
}
if max := 1 * time.Second; tempDelay > max {
tempDelay = max
}
srv.logf("http: Accept error: %v; retrying in %v", e, tempDelay)
time.Sleep(tempDelay)
continue
}
return e
}
tempDelay = 0
c := srv.newConn(rw)
c.setState(c.rwc, StateNew) // before Serve can return
go c.serve(ctx)
}
}
for里面l.Accept()接受TCP的連接請求，c := srv.newConn(rw)創(chuàng)建一個Conn，Conn里面保存了該次請求的信息(srv,rw)。啟動goroutine，把請求的參數(shù)傳遞給c.serve，讓goroutine去執(zhí)行。
這個就是GO高并發(fā)最關(guān)鍵的點。每一個請求都是一個單獨的goroutine去執(zhí)行。
那么前面設(shè)置的路由是在哪里匹配的？是在c.serverde的c.readRequest(ctx)里面分析出URI METHOD等，執(zhí)行serverHandler{c.server}.ServeHTTP(w, w.req)做的?？聪麓a
func (sh serverHandler) ServeHTTP(rw ResponseWriter, req *Request) {
handler := sh.srv.Handler
if handler == nil {
handler = DefaultServeMux
}
if req.RequestURI == "*" req.Method == "OPTIONS" {
handler = globalOptionsHandler{}
}
handler.ServeHTTP(rw, req)
}
handler為空，就我們剛開始項目中的ListenAndServe第二個參數(shù)。我們是nil，所以就走DefaultServeMux，我們知道開始路由我們就設(shè)置的是DefaultServeMux，所以在DefaultServeMux里面我一定可以找到請求的路由對應(yīng)的handler，然后執(zhí)行ServeHTTP。前邊已經(jīng)介紹過，我們的reponse方法為什么具有ServeHTTP的功能。流程大概就是這樣的。
我們看下流程圖
結(jié)語
我們基本已經(jīng)學(xué)習(xí)忘了GO 的HTTP的整個工作原理，了解到了它為什么在WEB開發(fā)中可以做到高并發(fā)，這些也只是GO的冰山一角，還有Redis MySQL的連接池。要熟悉這門語言還是多寫多看，才能掌握好它。靈活熟練的使用。
好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。
您可能感興趣的文章:- 基于Golang 高并發(fā)問題的解決方案
- golang高并發(fā)限流操作 ping / telnet
- golang-gin-mgo高并發(fā)服務(wù)器搭建教程
- 如何利用Golang寫出高并發(fā)代碼詳解
- 關(guān)于golang高并發(fā)的實現(xiàn)與注意事項說明
