導(dǎo)讀：經(jīng)常有用戶咨詢由于數(shù)據(jù)量的增加，當(dāng)前服務(wù)器無法支撐，需要買什么樣配置的服務(wù)器的問題，這涉及網(wǎng)站架構(gòu)的規(guī)劃，并不是簡單給單個服務(wù)器增加硬件配置。
推薦閱讀以下文章來詳細了解網(wǎng)站架構(gòu)演化歷程：
• 各大互聯(lián)網(wǎng)公司架構(gòu)演進之路匯總
大型網(wǎng)站架構(gòu)演化發(fā)展歷程
作者：hollischuang
大型網(wǎng)站的技術(shù)挑戰(zhàn)主要來自于龐大的用戶，高并發(fā)的訪問和海量的數(shù)據(jù)，任何簡單的業(yè)務(wù)一旦需要處理數(shù)以 P 計的數(shù)據(jù)和面對數(shù)以億計的用戶，問題就會變得很棘手。大型網(wǎng)站架構(gòu)主要解決這類問題。
初始階段的網(wǎng)站架構(gòu)
大型網(wǎng)站都是從小型網(wǎng)站發(fā)展而來，網(wǎng)站架構(gòu)也是一樣，是從小型網(wǎng)站架構(gòu)逐步演化而來。小型網(wǎng)站最開始沒有太多人訪問，只需要一臺服務(wù)器就綽綽有余，這時的網(wǎng)站架構(gòu)如下圖所示：
應(yīng)用程序、數(shù)據(jù)庫、文件等所有資源都在一臺服務(wù)器上。
應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離
隨著網(wǎng)站業(yè)務(wù)的發(fā)展，一臺服務(wù)器逐漸不能滿足需求：越來越多的用戶訪問導(dǎo)致性能越來越差，越來越多的數(shù)據(jù)導(dǎo)致存儲空間不足。這時就需要將應(yīng)用和數(shù)據(jù)分離。應(yīng)用和數(shù)據(jù)分離后整個網(wǎng)站使用3臺服務(wù)器：應(yīng)用服務(wù)器、文件服務(wù)器和數(shù)據(jù)庫服務(wù)器。這 3 臺服務(wù)器對硬件資源的要求各不相同：
應(yīng)用服務(wù)器需要處理大量的業(yè)務(wù)邏輯，因此需要更快更強大的CPU；
數(shù)據(jù)庫服務(wù)器需要快速磁盤檢索和數(shù)據(jù)緩存，因此需要更快的磁盤和更大的內(nèi)存；
文件服務(wù)器需要存儲大量用戶上傳的文件，因此需要更大的硬盤。
此時，網(wǎng)站系統(tǒng)的架構(gòu)如下圖所示：
應(yīng)用和數(shù)據(jù)分離后，不同特性的服務(wù)器承擔(dān)不同的服務(wù)角色，網(wǎng)站的并發(fā)處理能力和數(shù)據(jù)存儲空間得到了很大改善，支持網(wǎng)站業(yè)務(wù)進一步發(fā)展。但是隨著用戶逐漸增多，網(wǎng)站又一次面臨挑戰(zhàn)：數(shù)據(jù)庫壓力太大導(dǎo)致訪問延遲，進而影響整個網(wǎng)站的性能，用戶體驗受到影響。這時需要對網(wǎng)站架構(gòu)進一步優(yōu)化。
使用緩存改善網(wǎng)站性能
網(wǎng)站訪問的特點和現(xiàn)實世界的財富分配一樣遵循二八定律：80% 的業(yè)務(wù)訪問集中在20% 的數(shù)據(jù)上。既然大部分業(yè)務(wù)訪問集中在一小部分數(shù)據(jù)上，那么如果把這一小部分數(shù)據(jù)緩存在內(nèi)存中，就可以減少數(shù)據(jù)庫的訪問壓力，提高整個網(wǎng)站的數(shù)據(jù)訪問速度，改善數(shù)據(jù)庫的寫入性能了。 網(wǎng)站使用的緩存可以分為兩種：緩存在應(yīng)用服務(wù)器上的本地緩存和緩存在專門的分布式緩存服務(wù)器上的遠程緩存。
本地緩存的訪問速度更快一些，但是受應(yīng)用服務(wù)器內(nèi)存限制，其緩存數(shù)據(jù)量有限，而且會出現(xiàn)和應(yīng)用程序爭用內(nèi)存的情況。
遠程分布式緩存可以使用集群的方式，部署大內(nèi)存的服務(wù)器作為專門的緩存服務(wù)器，可以在理論上做到不受內(nèi)存容量限制的緩存服務(wù)。
使用緩存后，數(shù)據(jù)訪問壓力得到有效緩解，但是單一應(yīng)用服務(wù)器能夠處理的請求連接有限，在網(wǎng)站訪問高峰期，應(yīng)用服務(wù)器成為整個網(wǎng)站的瓶頸。
使用應(yīng)用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力
使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。當(dāng)一臺服務(wù)器的處理能力、存儲空間不足時，不要企圖去更換更強大的服務(wù)器，對大型網(wǎng)站而言，不管多么強大的服務(wù)器，都滿足不了網(wǎng)站持續(xù)增長的業(yè)務(wù)需求。這種情況下，更恰當(dāng)?shù)淖龇ㄊ窃黾右慌_服務(wù)器分擔(dān)原有服務(wù)器的訪問及存儲壓力。 對網(wǎng)站架構(gòu)而言，只要能通過增加一臺服務(wù)器的方式改善負載壓力，就可以以同樣的方式持續(xù)增加服務(wù)器不斷改善系統(tǒng)性能，從而實現(xiàn)系統(tǒng)的可伸縮性。應(yīng)用服務(wù)器實現(xiàn)集群是網(wǎng)站可伸縮架構(gòu)設(shè)計中較為簡單成熟的一種，如下圖所示：
通過負載均衡調(diào)度服務(wù)器，可以將來自用戶瀏覽器的訪問請求分發(fā)到應(yīng)用服務(wù)器集群中的任何一臺服務(wù)器上，如果有更多用戶，就在集群中加入更多的應(yīng)用服務(wù)器，使應(yīng)用服務(wù)器的壓力不再成為整個網(wǎng)站的瓶頸。
數(shù)據(jù)庫讀寫分離
網(wǎng)站在使用緩存后，使對大部分數(shù)據(jù)讀操作訪問都可以不通過數(shù)據(jù)庫就能完成，但是仍有一部分讀操作（緩存訪問不命中、緩存過期）和全部的寫操作都需要訪問數(shù)據(jù)庫，在網(wǎng)站的用戶達到一定規(guī)模后，數(shù)據(jù)庫因為負載壓力過高而成為網(wǎng)站的瓶頸。 目前大部分的主流數(shù)據(jù)庫都提供主從熱備功能，通過配置兩臺數(shù)據(jù)庫主從關(guān)系，可以將一臺數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)更新同步到另一臺服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫的這一功能，實現(xiàn)數(shù)據(jù)庫讀寫分離，從而改善數(shù)據(jù)庫負載壓力。如下圖所示：
應(yīng)用服務(wù)器在寫數(shù)據(jù)的時候，訪問主數(shù)據(jù)庫，主數(shù)據(jù)庫通過主從復(fù)制機制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫，這樣當(dāng)應(yīng)用服務(wù)器讀數(shù)據(jù)的時候，就可以通過從數(shù)據(jù)庫獲得數(shù)據(jù)。為了便于應(yīng)用程序訪問讀寫分離后的數(shù)據(jù)庫，通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問模塊，使數(shù)據(jù)庫讀寫分離對應(yīng)用透明。
使用反向代理和 CDN 加速網(wǎng)站響應(yīng)
隨著網(wǎng)站業(yè)務(wù)不斷發(fā)展，用戶規(guī)模越來越大，由于中國復(fù)雜的網(wǎng)絡(luò)環(huán)境，不同地區(qū)的用戶訪問網(wǎng)站時，速度差別也極大。有研究表明，網(wǎng)站訪問延遲和用戶流失率正相關(guān)，網(wǎng)站訪問越慢，用戶越容易失去耐心而離開。為了提供更好的用戶體驗，留住用戶，網(wǎng)站需要加速網(wǎng)站訪問速度。主要手段有使用 CDN 和方向代理。如下圖所示：
CDN 和反向代理的基本原理都是緩存。
CDN 部署在網(wǎng)絡(luò)提供商的機房，使用戶在請求網(wǎng)站服務(wù)時，可以從距離自己最近的網(wǎng)絡(luò)提供商機房獲取數(shù)據(jù)
反向代理則部署在網(wǎng)站的中心機房，當(dāng)用戶請求到達中心機房后，首先訪問的服務(wù)器是反向代理服務(wù)器，如果反向代理服務(wù)器中緩存著用戶請求的資源，就將其直接返回給用戶
使用 CDN 和反向代理的目的都是盡早返回數(shù)據(jù)給用戶，一方面加快用戶訪問速度，另一方面也減輕后端服務(wù)器的負載壓力。
使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)
任何強大的單一服務(wù)器都滿足不了大型網(wǎng)站持續(xù)增長的業(yè)務(wù)需求。數(shù)據(jù)庫經(jīng)過讀寫分離后，從一臺服務(wù)器拆分成兩臺服務(wù)器，但是隨著網(wǎng)站業(yè)務(wù)的發(fā)展依然不能滿足需求，這時需要使用分布式數(shù)據(jù)庫。文件系統(tǒng)也一樣，需要使用分布式文件系統(tǒng)。如下圖所示：
分布式數(shù)據(jù)庫是網(wǎng)站數(shù)據(jù)庫拆分的最后手段，只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用。不到不得已時，網(wǎng)站更常用的數(shù)據(jù)庫拆分手段是業(yè)務(wù)分庫，將不同業(yè)務(wù)的數(shù)據(jù)部署在不同的物理服務(wù)器上。
使用 NoSQL 和搜索引擎
隨著網(wǎng)站業(yè)務(wù)越來越復(fù)雜，對數(shù)據(jù)存儲和檢索的需求也越來越復(fù)雜，網(wǎng)站需要采用一些非關(guān)系數(shù)據(jù)庫技術(shù)如 NoSQL 和非數(shù)據(jù)庫查詢技術(shù)如搜索引擎。如下圖所示：
NoSQL 和搜索引擎都是源自互聯(lián)網(wǎng)的技術(shù)手段，對可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器則通過一個統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。
業(yè)務(wù)拆分
大型網(wǎng)站為了應(yīng)對日益復(fù)雜的業(yè)務(wù)場景，通過使用分而治之的手段將整個網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線。如大型購物交易網(wǎng)站都會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產(chǎn)品線，分歸不同的業(yè)務(wù)團隊負責(zé)。
具體到技術(shù)上，也會根據(jù)產(chǎn)品線劃分，將一個網(wǎng)站拆分成許多不同的應(yīng)用，每個應(yīng)用獨立部署。應(yīng)用之間可以通過一個超鏈接建立關(guān)系（在首頁上的導(dǎo)航鏈接每個都指向不同的應(yīng)用地址），也可以通過消息隊列進行數(shù)據(jù)分發(fā)，當(dāng)然最多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構(gòu)成一個關(guān)聯(lián)的完整系統(tǒng)，如下圖所示：
分布式服務(wù)
隨著業(yè)務(wù)拆分越來越小，存儲系統(tǒng)越來越龐大，應(yīng)用系統(tǒng)的整體復(fù)雜度呈指數(shù)級增加，部署維護越來越困難。由于所有應(yīng)用要和所有數(shù)據(jù)庫系統(tǒng)連接，在數(shù)萬臺服務(wù)器規(guī)模的網(wǎng)站中，這些連接的數(shù)目是服務(wù)器規(guī)模的平方，導(dǎo)致數(shù)據(jù)庫連接資源不足，拒絕服務(wù)。
既然每一個應(yīng)用系統(tǒng)都需要執(zhí)行許多相同的業(yè)務(wù)操作，比如用戶管理、商品管理等，那么可以將這些共用的業(yè)務(wù)提取出來，獨立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫，提供共用業(yè)務(wù)服務(wù)，而應(yīng)用系統(tǒng)只需要管理用戶界面，通過分布式服務(wù)調(diào)用共用業(yè)務(wù)服務(wù)完成具體業(yè)務(wù)操作。如下圖所示：
大型網(wǎng)站的架構(gòu)演化到這里，基本上大多數(shù)的技術(shù)問題都得以解決，諸如跨數(shù)據(jù)中心的實時數(shù)據(jù)同步和具體網(wǎng)站業(yè)務(wù)相關(guān)的問題也都可以通過組合改進現(xiàn)有技術(shù)架構(gòu)解決。
