图4. 数据中心服务器区分层网络模型
如图4所示，在典型的数据中心服务器区分层网络模型中，网络核心层用于连接各服务器区的汇聚层设备，实现服务器区之间报文的高速转发。汇聚层设备做为服务器的网关，是服务器区的网络流量汇集点，是部署安全设备和应用优化设备的最佳位置。数据中心接入层为服务器提供高可用的二层网络接入，并通过VLAN划分实现接入服务器的隔离。接入层应根据服务器数量规划接入交换机的端口数，并考虑未来的扩展能力。接入层应按照服务器物理形态进行统一规划，相同形态的服务器对于网络接入方式以及机柜布线的要求基本相同，因此将相同形态的服务器集中摆放，并接入到相同的接入层交换机上可提高服务器机柜利用率和机房的管理效率。
无论对于机架式服务器还是刀片式服务器而言，高可用性与高扩展性都是数据中心网络接入层网络设计的基本原则。然而，机架式服务器与刀片式服务器在网络可管理性方面却有不同的要求。在刀片服务器的刀箱中，通常配有管理模块（或管理刀片），通过管理模块提供的WEB界面，可以实现对刀箱中的服务器刀片和刀片交换机的统一管理。这种管理统一性虽然简化了整个系统的管理，但会导致网络管理边界与服务器管理边界的模糊问题。由于数据中心网络管理员不具备刀片服务器的管理权限，不能实现对刀片交换机的管理；而服务器管理员因为网络技术能力的限制，又不能很好的完成服务器二层网络接入的相关配置工作，由此易引起服务器接入的网络故障。笔者曾在某银行数据中心项目的实施过程中遇到过类似问题：在当时条件下，银行网管人员为保证服务器的二层可扩展性与高可用性，设计中在刀片交换机与数据中心汇聚交换机间使能生成树协议，但由于服务器管理员在配置刀片交换机时，采用了错误了生成树协议参数，致使网络中断，由此影响了整个业务系统的上线时间。因此，在规划刀片服务器接入网络时，明确网络与服务器管理边界，提高网络可管理性，也是一个重要的设计原则。*
服务器接入层交换机按照是否采用N:1虚拟化技术（如H3C IRF技术）可分为两大类方案。从数据中心网络的高可用性、可扩展性以及易管理性出发，不同的服务器形态（机架式、刀片）有不同的推荐组网方案。以下将就两大类方案对于机架式服务器和刀片服务器的适用性进行分析探讨。
3.2 未采用虚拟技术的服务器接入方案
虚拟化技术的网络拓扑方案有四种，分别为：倒U形方案、U形方案、矩形方案和三角形方案。为了便于比较各种组网拓扑，这里假设接入交换机（或刀箱内的刀片交换机）采用两个万兆以太网接口与上行以太网交换机连接，服务器通过双网卡分别接入到两台接入交换机（或刀片交换机）上。如表1所示为各方案的适用性分析。
3.2.1 二层无环U形组网
图5. 二层无环U形组网
方案优点：
* 网络络接入层不存在二层环路，接入层交换机可以不启用生成树协议，因此网络的配置管理简单。
方案缺点：
* 从接入交换机到汇聚交换机缺少二层冗余路径，方案不具备高可用性。；
* 服务器的接入VLAN不能跨汇聚层，服务器不能实现跨交换机的二层互联，网络的二层扩展能力有限。
* 服务器网关指向汇聚交换上VRRP的VIP地址，但VRRP心跳报文的传输路径必须经过两台接入交换机，当两台接入层交换机之间的链路发生中断时，两台汇聚交换机都变为VRRP主设备，网络进入三层不稳定状态 。
机架式服务器适用性分析：
* 网络接入不具备高可用性，且二层扩展能力有限，因此不建议在机架式服务器接入时采用这种组网。
刀片服务器适用性分析：
* 网络接入不具备高可用性，二层扩展能力有限，不建议在刀片服务器接入时采用这种组网。
3.2.2 二层无环倒U形组网
图6. 二层无环倒U形组网
方案优点：
* 网络接入层不存在二层环路，接入交换机不启用生成树协议，网络配置管理简单。
* 服务器的接入VLAN可以跨汇聚交换机，因此能实现VLAN跨不同的接入层交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。
* 接入交换机上行汇聚交换机采用捆绑链路，因此上行链路可靠性高，链路的带宽利用率高；
方案缺点：
* 当汇聚交换机与接入交换机之间的链路中断时，服务器不能感知这种故障，服务器上行流量仍然发送到出现故障的接入交换机，从而形成了“流量黑洞”；
机架式服务器适用性分析：
* 由于存在“流量黑洞”的问题，因此不建议在机架式服务器接入时采用这种组网。
刀片服务器适用性分析：
* 刀片交换机可通过上行捆绑链路的状态监测机制解决“流量黑洞”问题：刀片交换机在正常运行状态时，周期性的对上行汇聚层交换机的接口进行状态检查，当发现上行接口故障时，该刀片交换机将shutdown其上所有端口。此时，接入到该刀片交换机上的服务器将把流量切换到与另一个刀片交换机相连的网卡上，从而避免了“流量黑洞”。
* 这种方案配置管理简单，如刀片交换机具备防 “流量黑洞”的特性，则适用于刀片交换机的网络接入。
3.2.3 二层环路矩形组网
图7. 二层环路矩形组网
方案优点：
* 服务器接入VLAN可以跨汇聚交换机，能实现VLAN跨不同的接入交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。
* 接入交换机到汇聚交换机间有冗余链路，网络接入层具备高可用性。
方案缺点：
* 正常情况时，两台接入交换机之间的链路被生成树协议阻塞。当某台接入交换机上行链路故障时，交换机之间的链路变为转发状态。此时，发生故障的交换机一侧的所有服务器上行流量，将经过另一侧交换机上行到汇聚交换机，该交换机的上行收敛比增加一倍，导致网络发生拥塞，网络转发性能降低。
机架式服务器适用性分析：
* 服务器接入具备高可用性和高可扩展性。当一侧接入交换机发生故障时，另一侧交换机拥塞加重，网络转发性能降低，因此不建议在机架式服务器接入时采用这种组网。
刀片服务器适用性分析：
* 刀片交换机模块需要配置生成树协议，不利于刀片系统的管理维护。且同样存在一侧刀片交换机故障时，网络转发性能下降的问题，因此不建议在刀片服务器接入时采用这种组网。
3.2.4 二层环路三角形组网
图8. 二层环路三角形组网
方案优点：
* 服务器接入VLAN可以跨汇聚交换机，能实现VLAN跨不同的接入交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。
* 接入交换机到汇聚交换机有冗余链路，接入网络具备高可用性，且通过MSTP可实现上行流量分担。
方案缺点：
* 网络配置管理较复杂，为提高二层网络的高可用性与安全性，在接入交换机与汇聚交换机上使能“BPDU保护”、“环路保护”、“根保护”等特性；
机架式服务器适用性分析：
* 服务器接入网络具备高可用性、高可扩展性，建议在机架式服务器接入时采用这种组网。
刀片服务器适用性分析：
* 刀片交换机上的配置复杂，可管理性较差，不建议在刀片服务器接入时采用这种组网。
3.2.5 刀片服务器pass-through组网方式分析
刀片服务器内可集成刀片交换机，也可以通过部署pass-through模块，将服务器的网络接入延伸到刀箱外的网络上。如图10所示，采用了pass-through模块的刀片服务器在网络接入层设计上与机架式服务器的关注点相同，重点是保证服务器的高可用接入以及服务器的接入可扩展性，因此建议采用具备接入高可用性和高可扩展性的“二层环路三角形组网”。
图9. 刀片服务器pass-through组网
3.3 采用虚拟化技术的服务器接入方案
对于接入层而言，传统架构为保证网络高可用性通常采用MSTP+VRRP，这种组网需要在接入交换机与汇聚交换机间运行MSTP协议，配置和管理较复杂。当接入交换机和汇聚交换机都采用网络虚拟化技术时，则可将每两台接入交换机和两台汇聚交换机分别组合成两台虚拟逻辑交换机，在逻辑接入交换机与逻辑汇聚交换机间通过捆绑链路连接，如图10所示。
图10. 采用虚拟化技术的接入方式
方案优点：
* 高可用性网络。虚拟化技术通过成员设备的N:1备份、跨设备链路聚合实现了服务器接入网络高可用性设计。
* 高可扩展性网络。服务器接入VLAN可跨汇聚交换机，且不存在二层环路问题，实现了大二层服务器接入网络，使数据中心服务器接入层具备很强的扩展能力；
* 网络配置管理简单。从逻辑上看，一个堆叠组就是一台设备，因此接入交换机和汇聚交换机间不存在二层环路，可以避免MSTP的配置管理，简化网络设计。
服务器适用性分析：
* 具备服务器接入高可用性、高可扩展性，易管理性，建议在机架式服务器以及刀片式服务器接入时，都采用基于交换机N:1虚拟化技术（如H3C IRF技术）的组网拓扑。
4 服务器机柜布线方式的差异
数据中心机房平面布局通常采用矩形结构，为了保证制冷效果，通常将 10 至 20 个机柜背靠背并排放置成一行，形成一对机柜组（又称为一个POD），POD中的机柜都采用前后通风模式，冷空气从机柜前面板的吸入并从后部排出，由此在机柜背靠背摆放的POD中间形成 “热通道”，相邻的两个POD之间形成“冷通道”。热通道正对CRAC（机房空调），热空气沿热通道流回CRAC，再开始新一次循环。
图11. 数据中心机房平面布局
如图11所示，每个POD由服务器机柜和网络机柜组成，其中服务器机柜占多数。由于服务器的形态差异（机架式服务器、刀片服务器），POD中服务器机柜和网络机柜的布线方式也不存在差异。
4.1 机架式服务器的布线方式
4.1.1 交换机EOR（End of Row）布线方式
采用交换机EOR布线方式时，每个POD中的两排机柜的最边端摆放2个网络机柜，POD中所有的服务器机柜安装配线架，配线架上的铜缆延伸到POD最边端网络机柜，网络机柜中安装接入交换机。机架式服务器安装在服务器机柜中，服务器网卡通过跳线（铜缆）连接机柜中的配线架，如图12所示。
图12. 机架式服务器EOR布线方式
交换机EOR布线方式特点：
* 交换机EOR布线方式最为常见。通常在服务器和接入交换机安装以前，服务器机柜到网络机柜的布线施工已经完成，设备（服务器/交换机）安装和跳线工作都在服务器机柜内和网络机柜内进行。
* 如果每台机架式服务器的功率为500W，且每个服务器机柜的电源输出功率按4KW或6KW计算，则一个42U高度的服务器机柜能安装8-12台机架式服务器。
* EOR布线方式的缺点：从服务器机柜到网络机柜的铜缆多（约有20-40根铜缆），且距网络机柜越远的服务器机柜的铜缆，在机房中的布线距离越长，由此导致线缆管理维护工作量大、灵活性差。
* 交换机MOR（Middle of Row）布线是对EOR布线方式的改进。MOR方式的网络机柜部署在POD的两排机柜的中部，由此可以减少从服务器机柜到网络机柜的线缆距离，简化线缆管理维护工作。
4.1.2 交换机TOR（Top of Rack）布线方式
交换机TOR布线方式是对EOR/MOR方式的扩展，采用TOR布线时，POD中每个服务器机柜的上端部署1-2台两台接入交换机，机架式服务器通过跳线接入到机柜内的交换机上，交换机上行端口通过铜缆或光线接入到EOR/MOR的网络机柜中的汇聚交换上。如图13所示
图13. 机架式服务器TOR布线方式
TOR布线方式特点：
* TOR布线方式简化了服务器机柜与网络机柜间的布线，从每个服务器机柜到EOR/MOR的网络机柜的光纤或铜缆数量较少（4-6根）。
* 机柜中服务器的密度高。对于标准的19英寸宽，42U高的机柜，如果采用交换机TOR布线方式，则每个机柜可部署15-30台1U高度的机架式服务器（具体数量需要考虑单台服务器的功耗和机柜的电源输出功率）。
* TOR布线的缺点：每个服务器机柜受电源输出功率限制，可部署的服务器数量有限，由此导致机柜内交换机的接入端口利用率不足。在几个服务器机柜间共用1-2台接入交换机，可解决交换机端口利用率不足的问题，但这种方式增加了线缆管理工作量。
* 从网络设计考虑，TOR布线方式的每台接入交换机上的VLAN量不会很多，在网络规划的时候也要尽量避免使一个VLAN通过汇聚交换机跨多台接入交换机，因此采用TOR布线方式的网络拓扑中，每个VLAN的范围不会太大，包含的端口数量不会太多。但对于EOR布线方式来说，接入交换机的端口密度高，在网路最初设计时，就可能存在包含较多端口数的VLAN。
* TOR方式的接入交换机数量多，EOR方式的接入交换机数量少，所以TOR方式的网络设备管理维护工作量大。
4.2 刀片服务器的布线方式
集成刀片交换机的刀片服务器在进行机柜安装时，不需要考虑机柜内从服务器到接入交换机/或配线架的跳线，只需考虑刀片交换机上行端口的配线方式即可。而机架式服务器则需要分别对每台服务器进行跳线连接。例如，一个42U的服务器机柜安装10台1RU机架式服务器，1台接入交换机，并采用TOR布线方式时，在机柜后面将看到22根电源线（服务器和交换机都配置冗余电源）、10根KVM线、至少30根双绞线（每台服务器两个业务网卡和一个管理网卡），2根光纤（交换机上行端口），这还不包括连接外部存储和其他设备的线缆，显的非常凌乱。而对于一台配置了10个服务器模块和2个交换机模块的刀片服务器来说，则只需2根电源线，1根KVM线，4根光纤。因此刀片服务器在机房布线管理上比机架式服务器具有明显的优势。
集成交换机模块的刀片服务器主要采用EOR/MOR布线方式，但这种EOR布线方式与机架式服务器TOR布线方式的特点基本相同，如图14所示。服务器在服务器机柜内完成网络接入，从服务器机柜到EOR/MOR网络机柜的电缆主要是刀片交换机上行汇聚交换机的光线，而且数量比较少。但刀片服务器的计算单元的密度比机架式服务器更高，所以对单个机柜的电源输出功率以及机房制冷环境的要求也更高。
图14. 集成刀片交换机的布线方式
采用pass-through模块的刀片服务器的机柜布线方式可分为EOR/MOR和TOR两种，如图15所示，两种方式的特点与机架式服务器的相应方式相同，此处不再赘述。
图15. 刀片服务器pass-through的布线方式
5 结束语机架式服务器与刀片式服务器都是数据中心最常部署的服务器形态。
按照数据中心网络设计的高可用性、可扩展性和易管理性要求，如果接入/汇聚交换机未采用虚拟化技术，则机架式服务器建议采用“二层环路三角形组网”，刀片交换机建议采用“二层无环倒U形组网”；如果接入/汇聚交换机采用了虚拟化技术，则无论对于机架式服务器还是刀片式服务器，全虚拟化组网都是最优的部署方案。
机架式服务器与刀片服务器在机柜布线方式上存在较大的差异，由于刀片服务器内集成了网络刀片、管理刀片等，从而简化了服务器机柜内的布线方式，因此刀片服务器在机柜布线管理上比机架式服务器具有明显的优势。但也应该看到，由于刀片服务器的单位计算密度比机架式服务器成倍提高，所以刀片服务器对单个服务器机柜的电源输出功率以及机房制冷环境也提出更高的要求。
总之，机架式服务器与刀片式服务器各有特点，数据中心用户需要根据自己的网络部署要求和机房环境要求等因素进行分析选择。
