golang-gin-mgo高并發(fā)服務(wù)器搭建教程

gin-mgo服務(wù)器搭建

該服務(wù)器實現(xiàn)簡單接收請求并將請求參數(shù)封裝存儲在mongodb數(shù)據(jù)庫中,本文將講述gin－mgo的使用方法。

項目完整代碼地址： https://github.com/wayne-yhp/golang-gin-mgo

gin web框架使用介紹

首先獲取gin框架依賴

go get gopkg.in/gin-gonic/gin.v1

func main() {
  server = gin.Default()
  app.server.GET("/do", IndexRouter)//創(chuàng)造一個GET請求的路由地址，并指定處理函數(shù)為IndexRouter函數(shù)
  app.server.Run(":8080")
}
func IndexRouter(c *gin.Context) {
  if c.Request.Form == nil {   //獲取所有請求參數(shù)名和值的預(yù)處理
    c.Request.ParseMultipartForm(32  20)
  }
  params = c.Request.Form   //獲取所有參數(shù)列表
  fmt.Println(params)     //打印輸出參數(shù)
  c.String(http.StatusOK,"hello gin")//返回給頁面hello gin字符串
  //c.HTML(http.StatusOK, "index.html", nil)   //頁面跳轉(zhuǎn)
}

mgo 持久層框架使用介紹

前提條件mongodb環(huán)境已經(jīng)搭建好了，首先安裝mgo框架依賴

go get labix.org/v2/mgo

type User struct{
  username string
  pwd string
}
func main() {
  mgo_session, err = mgo.Dial("127.0.0.1") //獲取連接對象session
  if err != nil {
    panic(err)
  }
  defer session.Close()    //方法執(zhí)行完后關(guān)閉連接
  mgo_db = oper.mgo_session.DB("test")  //獲取數(shù)據(jù)庫對象，數(shù)據(jù)庫名為test
  //如果沒有mongodb沒有開啟權(quán)限認(rèn)證，則跳過這一步
  mgo_db.Login("test1", "test1")  //用戶認(rèn)證，用戶名賬戶和密碼都是test1
  mgo_c = oper.mgo_db.C("coll")  //獲取數(shù)據(jù)庫某個集合對象
  //插入操作
  mgo_c.insert(User{
    username: "xxx",
    pwd: "xxx",
  })
}

提高服務(wù)器高并發(fā)性能講解(針對文章開頭地址中的項目)

該項目主要實現(xiàn)接收請求，解析封裝參數(shù)，插入數(shù)據(jù)庫的簡單操作，這里只涉及插入操作，故不涉及數(shù)據(jù)緩存的知識，整個服務(wù)處于單機下，故不涉及分布式服務(wù)架構(gòu)，集群的知識。

注意以下

1、開啟一個協(xié)程獨自監(jiān)聽訪問數(shù)量，進(jìn)行插入操作

2、實現(xiàn)批量插入

3、實現(xiàn)定時插入

4、加鎖解決并發(fā)資源競爭

開啟一個協(xié)程獨自監(jiān)聽訪問數(shù)量，進(jìn)行插入操作

如果將插入操作放在主線程，那么接收http請求和邏輯處理，數(shù)據(jù)庫插入操作都必須要順序執(zhí)行，大大降低了插入效率，因此要開啟一個協(xié)程，獨自監(jiān)聽訪問數(shù)量，進(jìn)行數(shù)據(jù)庫插入。

實現(xiàn)批量插入

假想一下如果每次有人訪問你的數(shù)據(jù)庫你就進(jìn)行一次插入操作，那么你的數(shù)據(jù)庫將會是一個什么樣的情況？我們都知道數(shù)據(jù)庫操作相對服務(wù)器其他操作是一件相對很耗時的事情，所以每次訪問就操作一次數(shù)據(jù)庫，會大大降低服務(wù)器性能，更別說有幾千上萬的人同時訪問你的服務(wù)器了。

實現(xiàn)定時插入

在實現(xiàn)了批量插入的基礎(chǔ)上，如果沒有達(dá)到一定的訪問量，那么就不會執(zhí)行插入操作，剛好在兩個訪問請求中間隔了很長時間，那么前面的請求就會等待很久才會更新到數(shù)據(jù)庫中，為了防止這種情況，我們必須要設(shè)定一個時間，定時插入。

加鎖解決并發(fā)資源競爭

在并發(fā)量幾千上萬的情況下，可能一秒可以執(zhí)行很多次數(shù)據(jù)庫的插入操作，這個時候很有可能上一個插入還沒執(zhí)行完，第二個就已經(jīng)執(zhí)行了，這時候可能出現(xiàn)數(shù)據(jù)冗余，服務(wù)器癱瘓等問題，因此要給批量插入操作加上一個讀寫鎖。

具體實現(xiàn)細(xì)節(jié)可以去上述地址中查看。

補充：Golang號稱高并發(fā)，但高并發(fā)時性能不高

1.管道chan吞吐極限10,000,000，單次Put,Get耗時大約100ns/op，無論是采用單Go程，還是多Go程并發(fā)(并發(fā)數(shù):100, 10000, 100000)，耗時均沒有變化，Go內(nèi)核這對chan進(jìn)行優(yōu)化。

解決之道：

在系統(tǒng)設(shè)計時，避免使用管道chan傳遞主業(yè)務(wù)數(shù)據(jù)，避免將業(yè)務(wù)流程處理流程分割到對個Go程中執(zhí)行，這樣做減少chan傳輸耗時，和Go程調(diào)度耗時，性能會有很大的提升。

案例分析：nsq和nats都是實時消息隊列，nsq在客戶端端和服務(wù)端大量使用chan轉(zhuǎn)發(fā)消息，導(dǎo)致性能不佳，只有100,000／s；而nats服務(wù)端在分發(fā)消息流程中，沒有使用chan，只在客戶端接收時使用chan，性能可達(dá)到1,000,000／s。

2.互斥鎖Mutex在單Go程時Lock,Unlock耗時大約20ns/op，但是采用多Go程時，性能急劇下降，并發(fā)越大耗時越長，在Go1.5并發(fā)數(shù)達(dá)到1024耗時900ns/op，Go1.6優(yōu)化到300ns/op，究其原因，是構(gòu)建在CPU的原子操作之上，搶占過于頻繁將導(dǎo)致，消耗大量CPU時鐘，進(jìn)而CPU多核無法并行。

解決之道：

采用分區(qū)，將需要互斥保護的數(shù)據(jù)，分成多個固定分區(qū)(建議是2的整數(shù)倍，如256)，訪問時先定位分區(qū)(不互斥)，這樣就可降低多個Go程競爭1個數(shù)據(jù)分區(qū)的概率。

案例分析：Golang的Go程調(diào)度模塊，在管理大量的Go程，使用的就是數(shù)據(jù)分區(qū)。

3.select異步操作在單管道時耗時120ns/op，但是隨著管道數(shù)增加，性能線性下降，每增加1個管道增加100ns/op，究其原因，slelect時當(dāng)chan數(shù)超過1后，Go內(nèi)部是創(chuàng)建一個Go程，有它每1ms輪訓(xùn)的方式檢查每個chan是否可用，而不是采用事件觸發(fā)。

解決之道：

在select中避免使用過多的管道chan分支，或者把無法用到的chan置為nil；解決select超時，避免使用單獨的超時管道，應(yīng)與數(shù)據(jù)返回管道共享。

案例分析：nsq和nats都是實時消息隊列，由于nsq大量使用chan，這就必然導(dǎo)致大量使用select對多chan操作，結(jié)果是性能不高。

4.Go調(diào)度性能低下，當(dāng)出現(xiàn)1,000,000Go程時，Go的調(diào)度器的性能急劇下降。

解決之道：

避免動態(tài)創(chuàng)建Go程，服務(wù)端收到數(shù)據(jù)并處理的流程中，避免使用chan傳遞業(yè)務(wù)數(shù)據(jù)，這樣會引起Go程調(diào)度。

案例分析：nsq和nats都是實時消息隊列，由于nsq大量使用chan，這就必然導(dǎo)致在服務(wù)過程中，引起Go調(diào)度，結(jié)果是性能不高。

5.defer性能不高，每次defer耗時100ns，，在一個func內(nèi)連續(xù)出現(xiàn)多次，性能消耗是100ns*n，累計出來浪費的cpu資源很大的。

解決之道：

除了需要異常捕獲時，必須使用defer；其它資源回收類defer，可以判斷失敗后，使用goto跳轉(zhuǎn)到資源回收的代碼區(qū)。

6.內(nèi)存管理器性能低下，申請16字節(jié)的內(nèi)存，單次消耗30ns，64字節(jié)單次消耗70ns，隨著申請內(nèi)存尺寸的增長，耗時會迅速增長。加上GC的性能在1.4, 1.5是都不高，直到1.6, 1.7才得到改善。

解決之道：

建議使用pool，單次Put，Get的耗時大約在28ns，在并發(fā)情況下可達(dá)到18ns，比起每次創(chuàng)建，會節(jié)省很多的CPU時鐘。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。