数据中心N+C冗余系统的设计探讨——以宁夏中卫某数据中心工程为例

数据中心 N+C冗余系统的设计探讨——以宁夏中卫某数据中心工程为例

唐明东

万国数据 200092

摘要：以宁夏中卫某数据中心工程为例，通过对传统供电架构的比较和总结，结合项目特点，建设方需求，探讨N+C冗余系统在该项目的应用特点。

关键词：数据中心，N+C冗余系统，供电可靠性 模块化 分期建设

前言

随着云计算技术的迅速发展和广泛运用，信息和数据量呈几何级增长，由此对数据中心的需求日益增加，对数据中心的要求也不断提高。近年来，国内数据中心的发展异常迅猛，许多较大型互联网公司对数据中心的需求，由原来由第三方租赁逐渐变为自建、自销、自我运维的模式。规模也从原先的数十个机架，发展为数千、数万。单机架功耗也有原先的2kW，发展为至今的常见的20kW，最高可达40kW。

不仅国内的企业如此，越来越多的国际公司，也将目光放到了中国。将中国作为亚洲、乃至全球的数据汇聚、交换、存储中心。

1.项目背景

本项目位于宁夏中卫市，为某数据中心项目。该项目共分为3给地块，每个地块之间物理距离约100公里，物理位置呈三角模式。每个地块的建设规模及方式完全一致。故三个地块为镜像关系，互为备份。

每个数据中心预计建设1600个机架，单机架功耗约10kW。需分为4期建设。故每期拟建设400个机架。考虑到数据中心运行的安全性及机密性，进行后期建设施工时，不能影响再用机房的运行，不能越界施工。故采用模块化建设模式，各个模块之间互不干扰。

考虑到三个数据中心在整个网络架构层面互为备用关系，则对单个数据中心的基础设施建设等级即可降低，即相应的建筑、供电、消防等建设等级均可按C级机房标准建设。

2.供电架构构思

2.1常用供电架构介绍

根据数据中心的使用性质、数据丢失或网络中断在经济或社会上造成的损失或影响程度，可降数据中心分为A、B、C三级。

1）符合下列情况之一的数据中心应为A级：

1 电子信息系统运行中断将造成重大的经济损失；

2 电子信息系统运行中断将造成公共场所秩序严重混乱。

2）符合下列情况之一的数据中心应为B级。

1 电子信息系统运行中断将造成较大的经济损失；

2 电子信息系统运行中断将造成公共场所秩序混乱。

3）不属于A级或B级的数据中心应为C级。

A级数据中心的基础设施宜按容错系统配置，在电子信息系统运行期间，基础设施应在一次意外事故后或单系统设备维护或检修时仍能保证电子信息系统正常运行。常用供电架构有2N架构、2（N+1）架构、一路市电+一路UPS架构、一路市电+一路高压直流架构。

B级数据中心的基础设施应按冗余要求配置，在电子信息系统运行期间，基础设施在冗余能力范围内，不应因设备故障而导致电子信息系统运行中断。常用供电架构有N+C架构、DR架构、RR架构。

C级数据中心的基础设施应按基本需求配置，在基础设施正常运行情况下，应保证电子信息系统运行不中断。常用供电架构有N架构。

2.1.1 N架构

N配置的电气架构仅适用于C级机房，通常仅有单路市电为整个系统供电（若条件满足，也可采用双路市电经ATS切换后，为UPS系统供电）。若UPS系统后备蓄电池放电时间不满足业务需求，可单独设置柴油发电机组。为机架供电的UPS电源均单组设置，无冗余备份。若该系统需要检修时，需要依靠其手动维修旁路替代其在检修期间为机架供电。末端机架大多为单电源设备。即使部分设备为双电源设备，其供电源头仍为单路电源，称其为C2N-假两路。

该系统的特点是建设成本低、建设周期快、系统架构简单、对物理空间需求小、运维难度低。整个供电系统可靠性不高，正常情况下，变压器负荷率为70%~80%。系统上存在多个单点故障，任何一个节点出现故障，均会引起机架断电。整个供电系统框架结构简单，逻辑清晰，操作维护方便。其安全性最低、系统抗风险能力低、只能满足基本需求。

图1 N架构

2.1.2 RR后备冗余架构

RR配置的电气架构适用于B、C级机房，B级及以上时，市电电源为双路进线。为提高其供电的可靠性，通常会设置柴油发电机组。油机为N或N+X配置，通过配电分配装置，分配至两路市电，作为其后备电源。

整个系统会设置多套变配电系统，每套变配电系统进线均经高压ATS切换，保证其有双路市电保障。其中设置一套公用冗余R系统，作为其他几个系统的公共备用。每套变配电系统之间相互独立。当其中一套变配电出现故障时，冗余系统可承担其全部负载。在配电末端设置静态转换开关STS，其两路进线电源中，主用端引自主单元UPS系统，备用端引自冗余单元UPS系统。以满足其末端机架电源毫秒级切换的需求。

该系统的特点是整个系统设置冗余单元，为每个主用模块的公共冗余单元。当其中一套低压系统出现故障时，冗余系统可承担其全部负载。整个供电系统可靠性较高，可靠性较高，正常情况下，变压器负荷率大于70%。单个系统间可实现物理分隔，可分期建设。且建设成本较低，可节约物理空间。但每个模块未设置独立的应急电源，过于依赖冗余单元。且系统上依然存在单点故障。末端冗余的切换过于依赖末端的STS，若其中一套系统出现故障，在检修期间冗余系统存在超载的风险。系统架构复杂、运行成本和运维难度偏高。

图2 RR后备冗余架构

2.2 N+C冗余系统架构与常用构架的区别

N+C配置的电气架构适用于B、C级机房，与RR系统类似,同属于后备式冗余，但又在其基础上有所改进。整个系统可满足模块化分期建设需求。市电电源总进线仍为双路进线。通过高压分配装置，分配给每个模块内的变配电装置。每套变配电系统均设置柴油发电机组（高压柴发与低压柴发均可）作为应急后备电源。其中设置一套公用冗余C（Catcher）系统，作为其他几个系统的公共备用，配置与主用模块一致。每套变配电系统之间相互独立。

该系统的特点是将单个模块内低压系统分为多级，即市电切换段，UPS输入输出段，动力配电段等。在每级配电处均设置ATS切换装置，引入冗余单元电源作为备用电源。在为关键负荷（机架）配电末端设置静态转换开关STS，其两路进线电源中，主用端引自主单元UPS系统，备用端引自冗余单元UPS系统。以满足其末端机架电源毫秒级切换的需求。为提高其供电的可靠性，通常会设置快速启动柴油发电机组作为应急电源。油机为N配置，在变压器高压进线或者变压器低压出线侧做切换。整个系统会设置多套变配电系统，每套变配电系统之间相互独立。当其中一套市电出现故障时，冗余系统可暂时承担其全部负载，待后备柴发启动之后，通过手动切换关键配电盘处ATS，将其由冗余模块带载状态更改为自带油机带载状态，待市电恢复正常后，在转由市电带载。整个过程，冗余模块仅作为过渡电源使用，大大减少主用模块对其的依赖。整个系统的可靠性大大提升。且切换逻辑较RR系统简单。

整个系统设置的冗余单元，为每个主用模块的公共冗余单元。当其中一套低压系统出现故障时，冗余系统可承担其全部负载。整个供电系统可靠性较高，可靠性较高，正常情况下，变压器负荷率常年在75%左右。单个系统间可实现物理分隔，可完全实现分期建设。且建设成本较低，可节约物理空间。每个模块均设置独立的应急电源，不会过于依赖冗余单元。且系统上依然不存在单点故障。但系统架构复杂、各级主备用切换逻辑较复杂，运行成本和运维难度高。一般适用于于成熟型企业，即拥有完整的运维操作手册及丰富的实操经验。

N+C系统架虽然与RR系统类似，但又在其基础上有所改进，具体体现在以下几个方面——

1. 1. 每个模块可做到完全的物理隔离、系统上也完全相互独立。

   2. 每个模块可做到分期建设且互不干扰。

   3. 每个模块为N配置架构，建设成本较低、维护简单。

   4. 每个模块均可有公共冗余系统接入后备电源，且自备柴油发电机组。每级配电均设置冗余介入端，大大提高了N系统的安全性。

   5. 当每个模块的市电出现故障时，优先启用后备油机。降低了对冗余单元的依赖。

图3 N+C后备冗余架构

3. N+C冗余系统架构在项目中的应用

为满足建设方分期建设的需求，以及对每个站点的供电等级需求为C级。故将N+C系统架构应用于本项目。

该项目共分八个供电模块，每个模块采用N配置，每期建设两个模块，每个模块的建设要求均一致。整个系统共4路高压进线。每路进线的总容量至多可支持4个模块的需求。

每个模块独立设置变配电系统级后备柴油发电机组，并引入冗余单元电源。故，在每套系统的低压配电进线端设置三路ATS转换开关。其中一路为主用，其余两路为备用。当主路出现故障时，通过ATS内部PLC逻辑控制，选择备用开关的开合顺序。

在低压配电系统的每级关键配电处，如UPS系统的输入、输出柜，空调负荷的输入、输出柜等，设置双路ATS转换开关，一路引自主用模块，另一路引自冗余单元相同级配电单元。如下图中，ATS-A为市电、柴发、冗余模块切换，ATS-B为UPS系统输入端转换开关，ATS-C为机架末端转换开关。各级ATS由PLC系统控制其延时切换时间，形成上下级配合转换。并于其他主用模块设置联锁，避免多个主用模块同时切换至冗余模块。

在配电末端设置也可多个静态转换开关STS，其两路进线电源中，一路来自主用UPS系统，一套来自冗余UPS系统。可为客户提供N、N+C、2N等不同供电等级，不同价格区间的云计算服务，以满足各种用户的需求。

图4 宁夏中卫某数据中心N+C供电模式图

整个系统不仅在配电方式上选用了最经济配置，而且通过冗余模块及自身应急柴发，大大提升了系统的安全。并且可以完全满足建设方分期建设的需求。建设方完全可根据自身业务状况，分期、分模块建设。冗余模块采用母线输出方式，更加灵活的分配至每个配电单元。即使对于每个单元来说，建设级别是C级，供电模式为N配置，但整体配电系统的可靠性已大大提高。且机架服务器供电类型多，可灵活调配以适应不同的客户需求。但是对于基础设施的运维人员来说，供电架构上的逻辑复杂性也相对增加，运维成本也会相应的增加。

4.结语

数据中心的建设方式，随着建设方的业务需求、市场规划等原因，建设方不再考虑一次性投入，而是会根据业务的增长率，来分期建设数据中心内的基础设施，因此数据中心越来越倾向于模块化设计。传统2N模式的经济性及可扩展性已不能满足市场的需求，所以在寻求更加经济、可靠的供电架构的同时，适应市场及建设需求也成为十分重要的一个关注点。N+C系统正是能很好的满足经济、灵活、稳定的要求，可为今后数据中心模块化建设方向提供了一个思路。

参考文献

[1] 张广明. 数据中心UPS系统设计方案的选择[C]// 中国通信电源、局站环境标准宣讲与新技术论坛. 2008.

[2] 李峰. 数据中心供配电系统设计[J]. 通信技术, 2010, 43(6):227-231.

[3] 任红. 数据中心供配电系统可靠性的研究[C]// 中国. 2012.

作者介绍：

  唐明东（1991.1.30），性别：男；籍贯：陕西汉中；民族：汉；学历：本科、学士；职称：无；职务：电气设计师；研究方向：数据中心电气设计。