面試官：你對高並發了解多少？我：emmm...

#高並發，幾乎是每個程式設計師都想擁有的經驗。 原因很簡單：隨著流量變大，會遇到各種各樣的技術問題，例如介面響應逾時、CPU load升高、GC頻繁、死鎖、大數據量存儲等等，這些問題能推動我們在技術深度上不斷精進。

在過往的面試中，如果候選人做過高並發的項目，我通常會讓對方談談對於高並發的理解，但是能係統性地回答好此問題的人並不多，大概分成這樣幾類：

1、##對資料化的指標沒有概念：不清楚選擇什麼樣的指標來衡量高並發系統？分不清並發量和QPS，甚至不知道自己系統的總用戶量、活躍用戶量，平峰和高峰時的QPS和TPS等關鍵數據。

2、設計了一些方案，但細節掌握不透徹：##講不出該方案要關注的技術點和可能帶來的副作用。例如讀取效能有瓶頸會引入緩存，但是忽略了快取命中率、熱點key、資料一致性等問題。

3、理解片面，把高並發設計等同於效能優化：大談並發程式設計、多層快取、非同步化、水平擴容，卻忽略高可用設計、服務治理及維運保障。

4、掌握大方案，卻忽略最基本的東西：能講清楚垂直分層、水平分區、快取等大思路，卻沒意識去分析資料結構是否合理，演算法是否高效，沒想過從最根本的IO和計算兩個維度去做細節優化。

這篇文章，我想結合自己的高並發專案經驗，系統性地總結下高並發需要掌握的知識和實踐思路，希望對你有所幫助。 內容分成以下3個部分：

• 如何理解高並發？
  
• 高並發系統設計的目標是什麼？
• 高並發的實踐方案有哪些？
  
  

高並發意味著大流量，需要運用技術手段抵抗流量的衝擊，這些手段好比操作流量，能讓流量更平穩地被系統所處理，帶給用戶更好的體驗。

我們常見的高並發場景有：淘寶的雙11、春運時的搶票、微博大V的熱點新聞等。除了這些典型事情，每秒數十萬請求的秒殺系統、每天千萬級的訂單系統、每天億級日活的資訊流系統等，都可以歸為高並發。

很顯然，上面談到的高並發場景，並發量各不相同，那到底多大並發才算高並發呢？

1、不能只看數字，要看具體的業務場景。不能說10W QPS的秒殺是高並發，而1W QPS的訊息流就不是高並發。資訊流場景涉及複雜的推薦模型和各種人工策略，它的業務邏輯可能比秒殺場景複雜10倍不止。因此，不在同一個維度，沒有任何比較意義。

2、業務都是從0到1做起來的，並發量和QPS只是參考指標，最重要的是：在業務量逐漸變成原來的10倍、100倍的過程中，你是否用到了高並發的處理方法去演進你的系統，從架構設計、編碼實現、甚至產品方案等維度去預防和解決高並發引起的問題？而不是一味的升級硬體、加機器做水平擴充。

此外，各個高並發場景的業務特徵完全不同：有讀多寫少的資訊流場景、有讀多寫多的交易場景，那是否有通用的技術方案解決不同場景的高並發問題呢？

我覺得大的思路可以藉鑑，別人的方案也可以參考，但是真正落地過程中，細節上還會有無數的坑。另外，由於軟硬體環境、技術堆疊、以及產品邏輯都沒辦法做到完全一致，這些都會導致同樣的業務場景，就算用相同的技術方案也會面臨不同的問題，這些坑還得一個個趟。

因此，這篇文章我會將重點放在基礎知識、通用思路、和我曾經實踐過的有效經驗上，希望讓你對高並發有更深的理解。

先搞清楚高並發系統設計的目標，在此基礎上再討論設計方案和實務經驗才有意義和針對性。

#高並發絕不表示只追求高性能，這是很多人片面的理解。 從宏觀角度看，高並發系統設計的目標有三：高效能、高可用，以及高可擴展。

1、高效能：效能體現了系統的平行處理能力，在有限的硬體投入下，提高效能意味著節省成本。同時，效能也反映了使用者體驗，回應時間分別是100毫秒和1秒，給使用者的感受是完全不同的。

2、高可用：表示系統可以正常服務的時間。一個全年不停機、無故障；另一個隔三差五出線上事故、宕機，用戶肯定選擇前者。另外，如果系統只能做到90%可用，也會大大拖累業務。

3、高擴展：表示系統的擴展能力，流量高峰時能否在短時間內完成擴容，更平穩地承接尖峰流量，例如雙11活動、明星離婚等熱點事件。

這3個目標是需要通盤考慮的，因為它們互相關聯、甚至也會互相影響。

比#如說：考慮系統的擴充能力，你會將服務設計#成無狀態的， #這種群集設計保證了高擴展性，其實也間接提升了系統的性能和可用性。

再比如說：為了確保可用性，通常會對服務介面進行超時設置，以防大量執行緒阻塞在慢請求上造成系統雪崩，那超時時間設定成多少合理呢？一般，我們會參考依賴服務的效能表現進行設定。

再從微觀角度來看，高效能、高可用和高擴展又有哪些具體的指標來衡量？為什麼會選擇這些指標呢？

❇ 效能指標

#透過效能指標可以測量目前存在的效能問題，同時作為效能最佳化的評估依據。一般來說，會採用一段時間內的介面回應時間作為指標。

1、平均回應時間：最常用，但是缺陷很明顯，對於慢請求不敏感。例如1萬次請求，其中9900次是1ms，100次是100ms，則平均回應時間為1.99ms，雖然平均耗時僅增加了0.99ms，但是1%請求的回應時間已經增加了100倍。

2、TP90、TP99等分位值：將回應時間依照從小到大排序，TP90表示排在第90分位元的回應時間， 分位值越大，對慢請求越敏感。

#3、吞吐量：和回應時間呈反比，例如回應時間是1ms，則吞吐量為每秒1000次。

通常，設定效能目標時會兼顧吞吐量和回應時間，例如這樣表述：在每秒1萬次請求下，AVG控制在50ms以下，TP99控制在100ms以下。對於高並發系統，AVG和TP分位值必須同時考慮。

另外，從使用者體驗角度來看，200毫秒被認為是第一個分界點，使用者感覺不到延遲，1秒是第二個分界點，使用者能感受到延遲，但是可以接受。

因此，對於一個健康的高並發系統，TP99應該控制在200毫秒以內，TP999或TP9999應該控制在1秒以內。

❇ 可用性指標

高可用性是指系統具有較高的無故障運作能力，可用性= 正常運作時間/ 系統總運作時間，一般使用幾個9來描述系統的可用性。

對於高並發系統來說，最基本的要求是：保證3個9或4個9。原因很簡單，如果你只能做到2個9，代表有1%的故障時間，像一些大公司每年動輒千億以上的GMV或收入，1%就是10億等級的業務影響。

❇ 可擴展性指標

#面對突發流量，不可能暫時改造架構，最快的方式就是增加機器來線性提升系統的處理能力。

對於業務叢集或基礎元件來說，擴充性= 效能提升比例 / 機器增加比例，理想的擴充能力是：資源增加數倍，效能提升數倍。 通常來說，擴充能力要維持在70%以上。

但是從高並發系統的整體架構角度來看，擴展的目標不僅僅是把服務設計成無狀態就行了，因為當流量增加10倍，業務服務可以快速擴容10倍，但是資料庫可能就變成了新的瓶頸。

像是MySQL這種有狀態的儲存服務通常是擴充的技術困難，如果架構上沒有事先做好規劃（垂直和水平分割），就會涉及到大量資料的遷移。

因此，高擴展性需要考慮：服務叢集、資料庫、快取和訊息佇列等中間件、負載平衡、頻寬、依賴的第三方等，當並發達到某一個量級後，上述每個因素都可能成為擴展的瓶頸點。

❇ 縱向擴充（scale-up）

#它的目標是提升單機的處理能力，方案又包含：

❇ 橫向擴展（scale-out）

1、做好分層架構：這是橫向擴展的提前，因為高並發系統往往業務複雜，透過分層處理可以簡化複雜問題，更容易做到橫向擴展。

上面這種圖是網路最常見的分層架構，當然真實的高並發系統架構會在此基礎上進一步完善。例如會做動靜分離並引入CDN，反向代理層可以是LVS Nginx，Web層可以是統一的API網關，業務服務層可進一步按垂直業務做微服務化，儲存層可以是各種異質資料庫。

2、各層進行水平擴展：無狀態水平擴容，有狀態做分片路由。業務群集通常能設計成無狀態的，而資料庫和快取往往是有狀態的，因此需要設計分區鍵做好儲存分片，當然也可以透過主從同步、讀寫分離的方案來提升讀取效能。

❇ 高效能的實務方案

#1、叢集部署，透過負載平衡減輕單機壓力。

上述方案無外乎從計算和IO 兩個維度考慮所有可能的優化點，需要有配套的監控系統實時了解當前的性能表現，並支撐你進行效能瓶頸分析，然後再遵循二八原則，抓主要矛盾進行最佳化。

❇ 高可用的實踐方案

#1、對等節點的故障轉移，Nginx和服務治理框架都支援一個節點失敗後訪問另一個節點。

高可用的方案主要從冗餘、取捨、系統運維3個方向考慮，同時需要有配套的值班機制和故障處理流程，當出現線上問題時，可及時跟進處理。

❇ 高擴展的實踐方案

#1、合理的分層架構：例如上面談到的網路最常見的分層架構，另外還能進一步依照資料存取層、業務邏輯層對微服務做更細粒度的分層（但是需要評估效能，會存在網路多一跳的情況）。

高並發確實是一個複雜且系統性的問題，由於篇幅有限，諸如分散式Trace、全鏈路壓測、柔性事務都是要考慮的技術點。另外，如果業務場景不同，高並發的落地方案也會有差異，但是整體的設計思路和可參考的方案基本上類似。

高並發設計同樣要秉承架構設計的3個原則：簡單、合適和演進。 “過早的優化是萬惡之源”，不能脫離業務的實際情況，更不要過度設計，合適的方案就是最完美的。

希望這篇文章能帶給你關於高並發更全面的認識，如果你也有可藉鑑的經驗和深入的思考，歡迎評論區留言討論。