關於浙江電信雲資源池引入VxLAN的部署初探論文
中國電信浙江公司為解決業務雲資源池中網路資源管理遇到的困境，試點引入VxLAN技術，以此為基礎構建與物理網路松耦合的網路虛擬化資源池，進一步探索私有云網路資源開放的可行性。本文從VxLAN技術的實際部署設計方案出發，解析雲資源池引入VxLAN的設計要點，並結合資源池的實際情況，進一步分析引入VxLAN如何為雲資源池在網路資源管理效率方面帶來提升。
主要問題
中國電信浙江公司自2011年開始研究部署雲計算技術，建設了業務雲計算資源池。經過幾年的發展和最佳化，現已基本形成安全、可靠的雲計算資源池體系。目前在資源池上已經承載了包括企業資訊化系統在內的近300個應用平臺。自2013年開始，伴隨著資源池規模的增大、部署應用系統的增多、業務需求的不斷疊加，網路能力逐漸成為了資源池演進的瓶頸：網路集中配置導致業務開通時間越來越長、不同應用的網路個性需求不斷疊加到基礎網路上、網路資源的SLA粒度與資源池其他資源的分配管理互不匹配等。
究其原因，我們認為主要存在以下兩點。
● 資源池網路相關裝置均是由傳統的IP裝置組成，維護人員直接管理、配置和維護物理裝置，但是物理裝置無法實現高效的動態化。已經可以動態按需分配的計算資源會因物理網路裝置的限制而無法高效地實現自動化供給與調配;不同型別資源的統一快速配置與編排組合還難以做到，快速的自動協同更是不可能;無法滿足多租戶環境下不同客戶對各類資源的統一快速供給需求。
● 資源池內共享的網路資源導致物理裝置上配置複雜，各配置資訊集中在某些核心裝置上，缺乏隔離手段，會出現某一配置出錯，進而導致整個資源池網路出現故障，並引發業務大面積的中斷，配置壓力也很大。複雜的配置決定網路的配置必須集中在1~2名對資源池網路環境非常熟悉並且對各租戶網路需求充分理解的維護人員上，這不僅需要維護人員的技術水平極高，而且也形成了資源池的配置瓶頸。
因此，我們嘗試了“網路資源池化”：將網路資源封裝為類似計算、儲存的池化資源進行多租戶管理，並透過SDN網路管理能力開放的方法，解決上述問題。
軟體定義網路
軟體定義網路(Software-Defined-Network，SDN)技術廣義上是解決雲資源池網路瓶頸的理想方案，其具體的實現方案主要包括以下3種類型。
(1)基於專用介面的方案：該類方案的實現思路是不改變傳統網路的實現機制和工作方式，透過對現有網路裝置的作業系統進行升級改造，使之能夠支援專用的可程式設計介面供網路管理系統呼叫，實現網路裝置的統一配置管理和策略下發，改變原先需要逐臺裝置進行登入配置的手工操作方式;同時這些介面也可用於開發網路應用，實現網路裝置的軟體程式設計。其中，最典型的技術產品是思科的onePK(Open Network Environment Platform Kit)。
(2)基於疊加網路的方案：該類方案的實現思路是以現行的IP網路為基礎，在其上建立疊加的邏輯網路(Overlay Logical Network)用於遮蔽掉底層物理網路的差異，實現網路資源的虛擬化，使得多個邏輯上彼此隔離的網路分割槽以及多種異構的虛擬網路可以在同一共享網路基礎設施上共存，支援網路資源的多租戶共享並突破傳統網路技術對租戶網路的限制。其中，最典型的技術產品包括VMware NSX及其主導推出的VxLAN、微軟支援的NVGRE、IBM的DOVE等，其中VXLAN利用了現有通用的UDP傳輸，成熟性極高。總體比較，VxLAN技術相對具有優勢。VxLAN網路裝置主要有3種角色，分別是VTEP(VXLAN Tunnel End Point)、VxLAN GW(VxLANGateway)、VxLAN IP GW(VxLAN IP Gateway)，均是物理網路的邊緣裝置，而由3種邊緣裝置構成了VxLAN Overlay網路，對於應用系統來說，只與這3種裝置相關，與底層物理網路無關。
(3)基於開放協議的方案：這是當前最流行的SDN實現方案，它引入了開放的網路協議標準，強調網路中控制與轉發的分離，支援南向網路裝置的集中控制，並提供豐富的北向應用程式設計介面，能夠有效降低網路架構複雜度，支援業務驅動的網路資源靈活調配。其中，最典型的技術成果是由ONF(OpenNetworking Foundation，開放網路基金會)提出的基於OpenFlow南向控制協議的SDN架構。
基於中國電信浙江公司雲資源池的現狀和需求，我們選擇了對現網影響最小的疊加網路方案，同時以VxLAN作為專案實施的核心技術，其主要原因在於：
● 大規模雲計算資源池對VLAN的需求遠不止4096;
● 資源池大量的物理及虛擬伺服器的存在，物理交換機上的MAC表項資源面臨耗盡;
● 多租戶需要隔離、自主的網路環境;
● 弱化運營商傳統建設採購模式造成的底層物理裝置差異性;
● VxLAN協議的引入，不會對現有網路造成大規模的改造工作，改造風險最小。
實施方案引入
中國電信浙江公司雲資源池希望在VMwarevSphere虛擬化平臺基礎之上，藉助VxLAN技術實現網路的虛擬化，使網路資源成為一種可以按需動態分配的資源，期望能在確保系統安全的前提下透過平滑、穩定升級，實現資源池網路能力的多租戶開放、自配置、自管理、構建靈活、高效、擴充套件性強的網路環境。
雲資源池網路現狀
中國電信浙江公司雲資源池是一個部署在紹興和金華2個物理節點的“雙活統一”資源池，兩物理節點以DWDM互接，節點核心交換機透過跨節點2層虛擬化堆疊實現資源池的邏輯統一，拓撲如圖1。雲資源池網路採用扁平化的網路架構(核心-接入)。
● 核心層採用H3C 12518交換機，負責高速的3層交換。
● 接入層主要採用H3C 5500/5800交換機。
接入交換機安裝在每個伺服器機櫃的機架頂，實現伺服器網路接入，但只開啟2層轉發，所有3層閘道器設定在核心層。核心層和接入層均採用了H3C的IRF2技術，構建了天然無環網路結構，因此沒有啟用STP (生成樹協議)，所有機架內伺服器之間的3層流量需要上行至核心層進行交換。
● 所有的部件和線路都採用雙節點、雙線路的部署方式，保證業務的高可靠性。網路收斂比約為1:5。
核心層-接入層的連線採用萬兆乙太網連線，並透過多鏈路捆綁提供效能擴充套件和高可用保護。接入層透過多條千兆連線捆綁的方式，連線伺服器。網路管理上區分為資源管理網、業務資料網。實施方案設計
方案設計整體思路
從更好地融合計算資源和網路資源的角度考慮，本次方案選擇了資源池虛擬化平臺同平臺的NSXfor vSphere(以下簡稱NSX)作為SDN的解決方案。方案總體思路是一種將虛擬網路從傳統物理網路中解放出來的疊加網路解決方案。以VxLAN為基礎，NSX透過建立虛擬網路提供一種抽象的、執行在物理和邏輯網路之間的虛擬網路層。
根據平臺不同的角色定義和硬體能力需求，總體上將環境分為不同的功能域：計算(Computing)、管理(Management)、邊界(Edge)、橋接(Bridge)、網路的邏輯架構。
物理網路設計
網路虛擬化的一個關鍵目標就是提供虛擬到物理網路的抽象化，因此物理網路必須提供一種健壯的IP傳輸並具有下列特性：
● 簡易性
● 可擴充套件性
● 容錯性
● 服務質量等級(QoS)保證為了達到以上幾種特性，且便於網路虛擬化後的運維便利，我們對原有的網路功能拓撲進行了重新設計。
● 核心交換機仍為管理網段的閘道器, 在此為各個管理網段配置閘道器IP地址。
● 將原本只是作為純粹L 2 通道交換的接入交換機改造為架頂式TOR(to p -of-rack)交換設計，在此為各V x L A N的V T E P配置閘道器地址，並開啟3層路由功能。
● TOR 核心路由器為3層路由OSPF(Open ShortestPath First)交換, 資源可平行擴充套件, 能支援大量機架及TOR建設。同時縮小了TOR及核心交換機管理MAC地址的數量，縮小了2層網路範圍。
● 計算域(Computing)內的VNI建立以每個業務的各種服務型態為單位, 如典型業務有Web/APP/DB3種服務型態，即開設3個V N I用於該業務，便於實現服務的“東西向”傳輸效率及提高安全性。
● 邊界域(Edge)部署在VxLAN和VLAN閘道器之間，其數量等於外聯VLAN的數量。該設計使得每個Edge虛擬閘道器負載較小，但數量增加，可以選擇使使用者叢集中的伺服器進行負載均衡，且Edge虛擬閘道器與服務VLAN 1:1對應, 有利於問題的查詢。
● 透過V x L A N 流量的網路裝置，需將M T U 值置為>1600。
整體物理網路設計架構如
虛擬網路設計
網路虛擬化包含3個主要的方面：解耦合、再組成和自動化。所有3方面對於達到預期的效果都是重要的。解耦合，它是使物理網路變簡單與可擴充套件的關鍵。
當建立一個新的.環境時，選擇一個允許未來擴充套件的架構是必須要考慮的。此類部署的指導思路是使用一個簡單的叢集式架構而非透過VLAN的擴充套件實現。儘管這是一個簡單的需求，但卻對物理交換架構如何建立和擴充套件有深遠的影響。
我們還是以3種叢集的視角來設計討論：計算叢集、邊界叢集、管理叢集。
● 計算叢集
計算叢集用以為業務平臺提供虛擬計算資源，計算叢集需要具有如下設計屬性：
> 與現有網路可互動
> 對於新部署或重新設計
> 對於虛擬機器接入不需要考慮VLAN劃分
> 對於計算叢集的網路擴充套件不應該考慮VLAN方式。
> 提供一種可重複利用的架構設計虛擬化後的主機通常會發起3 種的流量：VxLAN流量、管理流量、vSphere vMotion流量。VxL AN可看作網路虛擬化後新引入的流量，透過UDP封裝，用以承載所有虛擬機器通訊的流量。
不同的流量型別可以被VLAN隔離，從IP地址段的層面加以明確區分。VLAN在TOR交換機匯聚，設定如下:
> VTEP的VLAN提供一個3層的網路埠;
> vMotion的VLAN並不提供任何閘道器，不論2或3層都無法上行出去;
> 管理VLAN上行至另一獨立的管理接入交換機以2層連線至核心交換機。
● 邊界叢集
邊界叢集作為連線虛擬與物理網路之間的橋樑，會有大量的資料互動，其主要功能：
> 提供“進站 / 出站”式的物理網路連線
> 透過VLAN與物理網路建立連線
> 主機式集中物理服務邊界是所有邏輯網路的終點，並且在物理和邏輯網路間提供3層跳轉。設計思路的重點是區分VxLAN(疊加)流量和未封裝(原始)流量。物理上這兩種網路流量會有重疊，可能都匯聚在相同的邊界叢集接入交換機上，需要使用兩個不同的VLAN加以區分。
邊界節點(Edge)可以使用兩種方式提供服務，根據實際情況選擇適合的方案：
1. 內部地址僅在Edge內部使用，對外使用NAT的方式進行通訊。外部VLAN在Edge上聯口終止。外部閘道器裝置無需額外路由配置。
2. 內部地址透過預設路由方式對外建立連線。閘道器使用靜態路由將需要訪問內部的流量向Edge傳輸，後者透過OSPF獲得路由進行資料包分發。Edge上聯口僅需配置點對點傳輸介面即可。
● 管理叢集實施效果
透過部署SDN將VxL AN引入雲計算資源池，網路能力可以成為一種資源進行按需配置，同時將各租戶的網路配置進行隔離，提高了網路安全性並簡化了網路配置，很多配置可以由租戶自行完成，結合在2014年底部署的分散式塊儲存(SVR-SAN)實現軟體定義儲存(SDS)，基本消除了網路和儲存的供給瓶頸，將資源池變成一個基礎設施能力超市。目前已經部署“天翼閱讀”等業務進行商用，基本達到引入預期，概括起來主要體現在4方面。
1.透過VxLAN 可以自由定義2層網路，實現了可擴充套件的多租戶網路，可以由租戶自管理和自配置，目前VxLAN技術已經基本成熟，且業內已經基本形成產業標準，對未來企業資源池資源的全面雲化、資源自助管理有著深刻的意義。
2.以業務平臺(租戶)為單位實現路由、負載均衡、NAT和防火牆功能，是未來資源池設計必須實現的目標，由此達到網路資源池的2次隔離和封裝的目的，用以實現任何一個業務平臺的網路變更、割接都不會對其他業務和大網造成影響。
3.分散式路由功能有必要在資源池網路虛擬化工作中引入，其可以大大減輕資源池核心交換機的流量壓力和配置的複雜性，也為以業務為單位的QoS及SLA定義提供了便捷。
4 .資源池多層次的安全控制必須被考慮，包括資源池“東西向”流量安全和“南北向”進出流量安全，可以透過軟、硬結合的防火牆實現。
VxLAN作為Overlay網路技術的一種代表，引入雲計算資源池的代價是相對較低的，也在一定程度上幫助實現了網路資源的虛擬化。但是，作為一項底層基礎技術，距離雲計算資源池對網路的終極目標還有一段距離。後續隨著虛擬網路元件功能的不斷完善，在實現網路資源建立、更改、釋放更快捷;加速新業務開發和網路資源控制更精細;控制能力與業務的結合更密切等方面還需要做積極的嘗試。