HPC集群机房建设与管理：能效模型研究成果

上述PUE模型，清楚地列出了机房能量消耗的三大部分：

·IT设备的能量消耗。

·供电系统的能量消耗。

·空调系统的能量消耗。

下面对上述三个能量消耗（简称能耗）部分进行探讨。

2.3.2.1　IT设备的能耗研究

机房的IT设备（IT Equipment，ITE）包含服务器、存储器、交换机等，其中服务器的数量最多占绝大多数。这些IT设备的用电特性基本类似，下面以服务器为例。

在机房中，众多服务器为机架式服务器，部分高端数据中心采用小型机、大型机等大型服务器设备。

服务器上的电源（Power），和个人计算机（PC）电源一样，都是一种开关电源。下面以某一款1U标准服务器电源模块的铭牌为例（如图2-24所示）。

图2-24　某一款1U标准服务器电源模块的铭牌

关于服务器电源的铭牌，一般不直接贴在服务器的外壳，而是贴在服务器电源模块外壳侧面，将该电源模块抽出后可看到对应的铭牌。

铭牌上INPUT（输入）标明服务器电源的额定输入电压为220V，而4A为该电源模块的最大输入电流。因此，服务器电源的输入功率（消耗功率）不能直接用额定输入电压×最大输入电流来计算。

OUTPUT（输出）250W MAX标明该服务器电源的最大输出功率，对于机房设计者具有重要的设计意义，通常只在服务器电源铭牌上才能看到。

服务器电源的最大输出功率为250W，按照AC/DC转换效率为85%（平均值），服务器的最大输入功率（消耗功率）PSERVER为：

式中，PMAX OUT等于250W，为AC/DC效率，取平均值85%。

服务器的最大输入功率（消耗功率）PSERVER代表服务器的最大工作功率，即在设计满配置（CPU、内存、硬盘等全满配置），CPU、内存和硬盘等设备全负荷100%速度工作时所能消耗的最大功率。在一般的使用过程中，服务器在该工况下运行的概率是非常罕见的。

因此，在机房设计中，参考配置系数c，同时利用系数k。

PACTUAL=PSERVER×c×k=295×0.8×0.8=188.8W

其中，配置系数c取0.8，代表服务器电源的厂家裕量。k为同时利用系数，取0.8。

早期服务器电源的功率因数较低，通常是0.8左右，而最近几年随着节能减排的要求越来越高，加上电源技术提升，大部分厂家生产的服务器电源都采用带PFC功能的服务器电源，使得服务器电源的功率因数提升到0.95以上，并趋向于达到0.99～1.00的功率因数。

以上讨论的是服务器配置一个电源的工作功率。但是，为了提高服务器工作可靠性，目前服务器普遍采用冗余电源技术，具有均流、故障切换等功能，可有效避免电源故障对系统的影响，实现24h x7d的不停顿运行。

冗余电源较为常见的是N+I冗余（1+1、2+1、3+1等），可以保证在一个电源发生故障的情况下系统不会瘫痪（同时出现两个以上电源故障的概率非常小）。冗余电源通常和热插拔技术配合，即热插拔冗余电源，它可以在系统运行时拔下出现故障的电源并换上一个完好的电源，从而大大提高了服务器系统的稳定性和可靠性。

冗余电源的应用带来新的问题：每一个服务器电源工作在较轻负荷状态之下，导致工作效率降低。比如在1+1电源配置下，每一个服务器电源的负载均小于50%（通常只有20%负载），这样电源模块的效率将只有80%左右，甚至更低至75%。较高效率的服务器电源效率如图2-25所示。

图2-25　较高效率的服务器电源效率图

为了提高服务器电源的工作效率，减小服务器体积，服务器行业开始向刀片式服务器升级。

刀片式服务器的外形扁而平，活像个刀片，于是形象地称为“刀片式服务器”。在标准高度的机架式机箱内可插装多个卡式的服务器单元（即刀片，它实际上是符合工业标准的板卡，板卡上有处理器、内存和硬盘等，并安装了操作系统，因此一个刀片就是一台小型服务器）。这一张张的刀片组合起来，进行数据的互通和共享，在系统软件的协调下同步工作就可以变成高可用性和高密度的新型服务器。

这些刀片式服务器共用系统背板、冗余电源、冗余风扇、网络端口、光驱、软驱、键盘、显示器和鼠标，一个机箱对外就是一台服务器，而且多个刀片机箱还可以级联，形成更大的集群系统。某型号的刀片式服务器（每个机箱可安装10个刀片）如图2-26所示。

图2-26　刀片式服务器（每个机箱安装10个刀片）

因为一个标准机架式机箱通常内置了8～16个甚至更多个刀片式服务器，这些刀片式服务器共用冗余电源，所以服务器电源的工作效率得到很大提升。刀片式服务器因为体积小，与同等速度与配置的机架式服务器相比，更加省电与节能。

2.3.2.2　供电系统的能耗研究及其PUE计算

供电系统指的是从市电变压器、发电机组之后，包括ATS自动切换开关、配电系统、UPS、供电电缆等环节，如图2-27所示。

图2-27　机房常见供电系统图（示意图）

在计算机类负载为1kW时，为计算机类负载提供供电的系统（包括ATS自动切换开关、低压配电开关、UPS供电系统、供电电缆等）在输出功率为1kW的条件下，计算供电系统的损耗即为PUE供配电能效因子，计算的数学模型为：

供配电能效因子PLF=ATS开关损耗+低压配电系统损耗+UPS系统损耗+供电电缆损耗

其中，ATS开关损耗、低压配电系统损耗、供电电缆损耗很小，基本上是铜损与接触电阻损耗，统计数据表明为1%～3%，取中间值2%即为0.02。

供配电能效因子PLF=0.02+UPS系统损耗

在机房设计与运营中，UPS系统的损耗随着UPS供电方案的不同而变化。

根据中国国家标准《电子信息系统机房设计规范》（GB 50174-2008）和《数据中心基础设施施工及验收规范》（GB 50462-2015），同时可参照美国通信工业协会（TIA）发布的《Telecommunications Infrastructure Standard for Data Centers，数据中心的通信基础设施标准》（ANSI/TIA942-2005），机房UPS实际供电方案或为N+1供电系统，或为2N与2（N+1）供电系统。在不同配置方式下，负载比率不同，效率略有差异。本书以由两台UPS单机组成双母线的2N供电系统（如图2-28所示）为例，研究正常工作下UPS的效率与损耗。

假设某机房服务器等计算机类负载为100kW。

如果由2台UPS组成单机双母线解决方案，UPS容量可按下列两种方法选择：

·经济型：选用160kV·A/144kW，输出功率因数为0.9。

·扩容型：选用200kV·A/180kW，输出功率因数为0.9。

图2-28　由两台UPS单机组成双母线的2N供电系统

（1）经济型方案的UPS效率与供配电能效因子。

计算机类负载为100kW，正常工作时，双母线上的每台UPS平分负载，即每台UPS承担的负载为50kW，单台UPS的负载率为：

某型号160kV·A UPS功率效率如表2-7所示。

表2-7　某型号160kV·A UPS功率

将负载率34%放入25%～50%区间，进行数学插值法计算，得出损耗率为：

H=8.77%即0.0877

供电系统总损耗为：

供配电能效因子PLF=0.02+UPS系统损耗=0.02+0.0877=0.108

（2）扩容型方案的UPS效率与供配电能效因子。

在扩容型方案中，UPS容量较大，为200kV·A/180kW。计算机类负载为100kW，两条母线上的每台UPS平分负载，即每台UPS承担负载为50kW，单台UPS的负载率为：

K=50/180=27%

某型号200kV·A UPS效率如表2-8所示。

表2-8　某型号200kV·A UPS效率

负载率为27%，约等于25%，得出损耗率为：

H=9.37%即0.0937

供电系统总损耗为：

供配电能效因子PLF=0.02+UPS系统损耗=0.02+0.0937=0.114

在上述两种UPS供电方案下，PUE指标中的PLF从0.108变化到0.114，变动不大，说明UPS供电系统是对PUE影响较小的因素。需要强调的是：

①因为采用由两台UPS主机组成的单机双母线的2N供电系统，是负载率较小的配置，所以所得到PUE供配电能效因子是较大的。

②如果采用2（N+l）方式，在配置合理情况下，PUE的供配电能效因子将小于上述计算模型数值。

③当配置带输出隔离变压器的配电柜或分配柜时供电能效因子将增加0.03～0.05。

④如果为每个UPS输出母线上安装大容量的STS，将导致供配电能效因子增加0.01～0.02。

此计算模型不含市电入户变换器的效率，即功率与损耗计量从低压侧计算，不含35kV/0.4kV或10kV/0.4kV的转换损耗。

2.3.2.3　空调系统的能耗研究及其PUE计算

HPC集群机房环境对服务器等IT设备的正常稳定运行起着决定性作用。机房建设的国家标准《电子信息系统机房设计规范》（GB 50174-2008）和《数据中心基础设施施工及验收规范》（GB 50462-2015）对机房开机时的环境要求如表2-9所示。

表2-9　GB 50174-2008、GB 50462-2015对机房开机时的环境要求

为使机房能达到上述要求，应采用机房专用空调。如果机房环境不能满足以上要求，则会对服务器等IT设备造成以下影响：

·温度无法保持恒定：降低电子元器件的寿命。

·局部温度过热：设备突然关机。

·湿度过高：产生冷凝水，短路。

·湿度过低：产生破坏性静电。

·洁净度不够：机组内部件过热，腐蚀。

（1）机房热负荷及其计算方法。

按照机房主要热量的来源可分为：

·设备热负荷（计算机等IT设备热负荷）。

·机房照明热负荷。

·建筑维护结构热负荷。

·补充的新风热负荷。

·人员的散热负荷等。

①机房热负荷计算方法一：各系统累加法。(www.xing528.com)

A.设备热负荷。

Q1=P×η1×η2×η3（kW）

式中，Q1为计算机设备热负荷；

P为机房内各种设备总功耗（kW）；

η1为同时使用系数；

η2为利用系数；

η3为负荷工作均匀系数。

通常，η1、η2、η3取0.6～0.8，考虑制冷量的冗余，通常η1×η2×η3取值为0.8。

B.机房照明热负荷。

Q2=C×S（kW）

式中，C为根据国家标准《计算站场地技术要求》，机房照度应大于2001x，其功耗约为20W/m2；在以后的计算中，照明功耗将以20W/m2为依据计算；

S为机房面积。

C.建筑维护结构热负荷。

Q3=K×S/1000（kW）

式中，K为建筑维护结构热负荷系数（50W/m2机房面积）；

S为机房面积。

D.人员的散热负荷。

Q4=P×N/1000（kW）

式中，N为机房常有人员数量；

P为人体发热量，轻体力工作人员热负荷显热与潜热之和，在室温为21℃和24℃时均为130W/人。

E.新风热负荷。因计算较为复杂，则以空调本身的设备余量来平衡，不另外计算。

以上5种热源组成了机房的总热负荷。由于上述后三项计算复杂，通常采用工程查表予以确定。但是，因为在机房的规划与设计阶段中非常难以确定，所以实际在机房中通常采用设计估算与事后调整法。

②机房热负荷计算方法二：设计估算与事后调整法。

机房的主要热负荷来源于设备的发热量及维护结构的热负荷。

因此，应了解主设备的数量及用电情况，以确定机房专用空调的容量及配置。根据以往的经验，除主要的设备热负荷之外的其他负荷，如机房照明负荷、建筑维护结构负荷、补充的新风负荷、人员的散热负荷等，若不具备精确计算的条件，则可根据机房设备功耗及机房面积，按经验进行测算。

采用“功率及面积法”计算机房热负荷。

Qt=Q1+Q2

式中，Qt为总制冷量（kW）；

Q1为室内设备负荷（=设备功率×1.0）；

Q2为环境热负荷（=0.10～0.18kW/m2×机房面积），南方地区可选0.18，而北方地区通常选择0.10。

方法二是对复杂科学计算的工程简化计算方法。在这种计算方法下，通常容易出现计算热量大于实际热量的情况。因为机房专用空调自动控制温度并决定运行时间，所以多余的配置可以作为冗余配置，对机房专用空调的效率与耗电量不大。本文以方法二推导机房专用空调配置与能效计算。

（2）机房专用空调配置。

设定机房的IT类设备功率为100kW，并且固定不变。根据上述方法二，还需要确定机房的面积。

再假定机房的热负荷密度为平均热负荷密度，即4kW/机柜。也就是说，平均每个机柜为4kW的热负荷。

机房的机柜数量为：100kW/4kW=25台机柜。

下面按国家标准《电子信息系统机房设计规范》（GB 50174-2008）有关机柜占地面积计算方法进行计算。

①当计算机系统设备已选型时，可按下式计算：

A=K∑S

式中，A为计算机主机房使用面积（m2）；

K为系数，取值为5～7；

S为计算机系统及辅助设备的投影面积（m2）。

②当计算机系统的设备尚未选型时，可按下式计算：

A=KN

式中，K为单台设备的占用面积，可取3.5～5.5（m2/台）；

N为计算机主机房内所有设备（机柜）的总台数。

取每个机柜的占地面积为中间值4m2/台，那么机房的面积为：

25台机柜×4m2/台=100m2

假定环境热负荷系数取0.15kW/m2，则机房总热负荷为：

Qt=Q1+Q2=100kW+100×0.15=115kW

机房送风方式选择：按国家标准要求，采用地板下送风，机柜按冷热通道布置。

机房专用空调选择：机房空调通常分为（直接制冷）与非直接制冷（包括各类水制冷系统等），先讨论直接制冷系统的机房空调。不同的厂家有不同型号的机房专用空调，下面以某型号机房空调为例。

在24℃、相对湿度为50%的工况下，某型号的机房空调制冷量为60.6kW，两台空调的总制冷量为121.2kW，略大于115kW的计算热负荷。

根据国家标准《电子信息系统机房设计规范》（GB 50174-2008）中关于机房空调配置建议，机房通常建议采用N+M（M=l，2，…）配置形式，提供工作可靠性与安全性。

假设本机房采用N+l方式配置，即为以2+1方式配置3台标称冷量为60.6kW机房空调，实现两用一备工作。

（3）机房专用空调耗电量与能效计算。

机房空调耗电器件有：

·压缩机，也是主要的耗电器件。

·室内风机。

·室外风机。

·室内加湿器。

·再热器，用于过冷状态下加热。

·控制与显示部件等，耗电量较少，几乎忽略不计。

①压缩机、室内风机、室外风机的耗电计算。

由压缩机、蒸发器、膨胀阀、冷凝器组成一个完整的冷热循环系统（空调四部件），其中耗电部分是压缩机、室内风机、室外风机三个部件。

详细计算不同工况下的三个部件的耗电量是困难的，但是在最大制冷量输出下，空调行业有个标准的参数，即能效比。

能效比指一台空调用1000W的电能运输多少千瓦的制冷/热量，采用性能参数COP或能效比EER衡量。例如，一台空调的制冷量是4800W，制冷功率是1860W，制冷能效比（COPC）是：4800/1860≈2.6；制热量是5500W，制热功率是1800W，制热能效比COPh（辅助加热不开）是：5500/1800≈3.1。

显然，能效比越大，空调效率就越高，空调也就越省电。

机房专用空调因为采用专用压缩机，所以能效比为3.3～3.5。本例中的最大负荷制冷功率为115kW，则3台机房空调为两用一备。

2台制冷量为60.6kW空调，总制冷功率为121.2kW，取能效比中间值3.4计算，则四部件电功率为：

P四部件=P制冷/COP=121.2kW/3.4=35.64kW。

②室内加湿器功率。

机房的环境、建筑条件、密封状态等不同，导致加湿功率不同。

某机房空调采用远红外加湿器，结构简洁，易于拆卸、清洗和维护。悬挂在不锈钢加湿水盘上的高强度石英灯管发射出红外光和远红外光，在5～6s内，使水盘中的水分子吸收辐射能以摆脱水的表面张力，在纯净状态下蒸发，不含任何杂质。远红外加湿器的应用减少了系统对水质的依赖性，其自动冲洗功能，使水盘更清洁。

查相关产品手册，远红外加湿器功率为9.6kW。

P加湿=9.6kW

空调系统总的电功率消耗与能效指标如下。

功率：P空调=P四部件+P加湿=35.64+9.6=45.24kW。

能效指标：制冷能效因子CLF=45.24/100=0.452。

至此，机房的PUE为：

PUE=l+PLF+CLF=1+0.108～0.114+0.452=1.560～l.566

显然，一个设计与运营良好的机房，在空调系统配置正确，不考虑照明、新风机等设备下，能效比应该小于1.6。

因为当前实际运行的机房的能效比动辄大于2.5，所以新规划与设计的机房要求PUE的指标为1.6～1.8（常规制冷方式下），才能体现节能与减排目标。