关于上海数据中心新政PUE小于1.3的节能对策解读-孙长青
关于《上海市三年行动计划》的节能对策解读
钛基数据设计总监 孙长青
1、事件背景
《上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划（2018-2020年）》的通知，引起了数据中心基础设施圈内各个层面的人热烈解读，从中，有人看到希望，有人看到了危机，有人看到了数据中心发展的趋势，有人看到了上海有关部门对数据中心的态度。
其中有一段话，深深的吸引了大家的眼球，是关于基础设施的要求：推进数据中心布局和加速器体系建设。统筹空间、规模、用能，加强长三角区域协同，布局高端、绿色数据中心，新建机架控制在6万个，总规模控制在16万个。推动数据中心节能技改和结构调整，存量改造数据中心PUE不高于1.4，新建数据中心PUE限制在1.3以下。开展计算资源布局规划和资源配置方案研究，实施技术试验及模式研究。依托数据中心布局，建设基于中央处理器（CPU）、图形处理器（GPU）等的计算中心，面向人工智能的计算加速资源占新增数据中心机架总量的50%。
其中最让人揪心的，是新建数据中心PUE限制在1.3以下，这个数值代表什么，对数据中心行业熟悉的人们都心里有数，那是上海有关部门对节能的极致追求，如果按照传统的成熟方案进行设计，几乎是不可能达到1.3的要求的，那就是要逼迫从业者采用更加有效的节能方案。
由此，可能给全国数据中心行业带来一次节能技术的革命。
2、PUE的前世今生
首先，让我们来看看PUE的由来，在2007年的时候，美国绿色网格（The Green Grid，IT专业人士的非营利性贸易组织，旨在满足数据中心和整个信息服务交付生态系统的电力和冷却要求，不支持任何特定于供应商的产品或解决方案，提供有关旨在提高整体数据中心效率的最佳实践，指标和技术的建议。）为了更好地了解和提高现有数据中心的能效，认识到建立数据中心效率指标的重要性，并由此为提高每瓦性能的技术指导提供理论支持。理想情况下，这些指标和流程将有助于确定在需要新数据中心之前是否可以优化现有数据中心。由此，提出了PUE的概念，即Power Usage Effectiveness（能源使用效率），从那时起，PUE已在业界得到广泛采用。
下面来看PUE的定义：能源使用效率，数据中心IT设备和配套基础设施的电量或能量和除以由设计人员按企业采用的标准计算获得的IT设备电量或能量之和。业内一般通用的，多指整个数据中心包括IT设备和配套基础设施的年耗电量除以IT设备年耗电量。
PUE计算公式如下：
PUE =机械负载系数（MLC）+电气负载系数（ELC）+ 1.0
这里所有因素都是按IT负荷除以的比率：
•1.0表示标准化的IT负载。实际上，这是IT负载因子（ILF），但始终为1.0。
•机械负载系数（MLC）是制冷设备、泵、风机等消耗的总能耗除以IT能耗，如下：
其中，制冷能耗（kWh）=场地内通过蒸气压缩、通风、减湿、蒸发、吸收和吸附等方式实现制冷和加湿所耗费的能耗总和；不计算冷却塔底盘加热器的能耗。当未采用电制冷时，燃料化学能耗或热能耗须转换为kWh。（ASHRAE 90-4P节能标准-2016）
•电气负载系数（ELC）是开关设备，不间断电源（UPS），配电单元（PDU）等消耗的总能耗除以IT能耗。
通常，电制冷时，电制冷机组消耗的能量将占到整个制冷系统的60%90%。而机械负载系数，在不同的架构下，通常能贡献的数值范围可达到0.051，波动范围较大，是影响最终PUE数值的核心因素。
3、应对策略
应对这个PUE数值要求的策略，就得从核心因素下手去解决，也就是机械负载系数，通俗的讲，就是从暖通空调的制冷方案下手。当然，电气负载系数也不容忽视，可按采取节能措施之后，ELC值约为0.05考虑。
在选取对应策略之前，需要详细分析上海地区室外参数，上海地区室外极端湿球温度31℃，极端最高温度39.4℃，极端最低温度-10.1℃。由中国气象参数集的数据，可查得上海地区一年内8760小时的逐时气象参数，经统计，其湿球温度的分布如下：
湿球温度1 湿球温度2 小时数
30.0 32.0 2
28.9 30.0 9
27.8 28.9 47
26.7 27.8 155
25.6 26.7 404
24.4 25.6 475
23.3 24.4 351
22.2 23.3 385
21.1 22.2 438
20.0 21.1 443
19.0 20.0 431
17.8 19.0 372
16.7 17.8 290
15.6 16.7 282
14.4 15.6 307
13.3 14.4 270
12.2 13.3 265
11.1 12.2 280
10.0 11.1 327
8.9 10.0 364
7.8 8.9 434
6.7 7.8 381
5.6 6.7 327
4.4 5.6 351
3.3 4.4 346
2.2 3.3 287
-15 2.2 737
合计小时数 8760
其干球温度的分布如下：
干球温度1 干球温度2 小时数
30.0 41.0 303
28.9 30.0 226
27.8 28.9 298
26.7 27.8 417
25.6 26.7 381
24.4 25.6 418
23.3 24.4 349
22.2 23.3 469
21.1 22.2 466
20.0 21.1 371
19.0 20.0 323
17.8 19.0 295
16.7 17.8 305
15.6 16.7 293
14.4 15.6 302
13.3 14.4 285
12.2 13.3 267
11.1 12.2 277
10.0 11.1 263
8.9 10.0 353
7.8 8.9 339
6.7 7.8 305
5.6 6.7 282
4.4 5.6 323
3.3 4.4 258
2.2 3.3 231
-15 2.2 361
合计小时数 8760
在上海气象参数下，要想提高PUE，就得想办法降低冷机部分的用电量，或采取延长自然冷却时间的措施，可选的方案有如下几种：
1）采用三联供系统
在明确PUE的定义之前，有人认为可以通过三联供的方式，通过发电机产生的余热驱动溴化锂机组制冷，可以将电制冷机组部分的电量省去，在计算PUE时，将获得极大优势。这种三联供形式的余热利用，不属于直接的化学燃料燃烧能耗，在计算PUE中，可否从制冷部分的能耗中直接剔除，尚需要与上海有关方面进行核实认可。如果能获得认可，将是获得低PUE值的捷径。
现按PUE计算中不考虑化学燃料的消耗，来做一下PUE分析。
如下图所示，一个常规采用自然冷却的数据中心，PUE达到1.47的某数据中心，各项能耗占比情况：
注：图中，1代表IT年耗能占比，2代表冷机年耗能占比，3代表水泵冷塔等年耗能占比，4代表精密空调及新风等年耗能占比，5代表电气输送损耗年耗能占比。
由于有一定时间的自然冷却，冷机并不是全年运行，其所占比例有所降低，但是其比例仍然不低，如果采用三联供溴化锂机组，则冷机部分能耗将进一步降低。以1000冷吨即3500kw左右的冷机耗电功率来比较，功率消耗极大的降低了，如下表所示：
机组形式 制冷量（kw） 配电功率（kw）
溴化锂机组 3489 21.7
离心式电制冷机组 3516 550
在其他所有条件不变的情况下，将电制冷的冷水机组更换为溴化锂冷水机组，冷机的年耗电量变为原来4%所有。则新的能耗占比图将变为如下所示：
此时的PUE已经有原来的1.47，提高到了1.23。
由上可知，上海地区采用三联供技术，完全可以实现年平均PUE低于1.3以下，只要有关部门认可化学燃料不计入PUE计算，是可行的应对策略。
2）采用间接蒸发冷却
模块机房空调设计参数设定为送风25℃，回风38℃。
采用间接蒸发冷却系统，在室外湿球温度比送风温度低6℃的情况下，即室外湿球温度达到19℃可停止压缩机运行，进入自然冷却。在室外湿球温度低于31℃的时候，即可进行部分自然冷却，对38℃回风进行预冷处理。基于上海地区的室外气象参数分析，全年均可以进行自然冷却，一年中的35.8%（3140小时）的时间可以进行半自然冷却，一年中的64.2%（5620小时）可以进行完全自然冷却。
一年自然冷却时间详见下图：
湿球温度℃ 湿球温度℃ 小时数 总小时数
27.8 31.0 58 3140
26.7 27.8 155
25.6 26.7 404
24.4 25.6 475
23.3 24.4 351
22.2 23.3 385
21.1 22.2 438
20.0 21.1 443
19.0 20.0 431
17.8 19.0 372 5620
16.7 17.8 290
15.6 16.7 282
14.4 15.6 307
13.3 14.4 270
12.2 13.3 265
11.1 12.2 280
10.0 11.1 327
8.9 10.0 364
7.8 8.9 434
6.7 7.8 381
5.6 6.7 327
4.4 5.6 351
3.3 4.4 346
2.2 3.3 287
-20.0 2.2 737
间接蒸发冷却机组示意图：
机组放置及气流组织示意图如下：
PUE分析及计算
间接蒸发冷却系统，机房送回风温度25/38℃，分析上海地区全年8760小时的气象参数，得到结果如下：
运行模式 统计小时数（Hrs） 占全年的比率
无自然冷却，电制冷模式 0 0.0%
部分自然冷却 3140 35.8%
完全自然冷却 5620 64.2%
根据全年8760小时的设备运行能耗，分析计算PUE值如下：
全年最高PUE 全年最低PUE 全年平均PUE
1.48 1.16 1.27
间接蒸发冷却系统PUE值较低，并且由于无空气直接进入机房，不需要频繁更换过滤单元及化学过滤填料，相对水冷系统，蒸发量较小，其蒸发量约为水冷系统冷却塔蒸发量的1/3，节水效果明显。但初投资很贵，占地面积较大，且单机组功率不太高，200kw左右的机组，重量可能能达到5吨以上，不利于设备搬运维修。
由计算可知，上海地区采用间接蒸发冷却技术，完全可以实现年平均PUE低于1.3以下，是可行的应对策略。
3）采用氟泵自然冷技术
针对存量改造数据中心PUE不高于1.4的要求，目前存量数据中心中，大型的数据中心，都对节能要求比较严格，大多采用水冷系统，且都会伴随采用自然冷却技术，基本能满足不高于1.4的要求。而对于小型的数据中心，大都采用的是风冷直膨式精密空调，并没有自然冷却的措施，而风冷系统本身的效率又较低，导致大部分小型数据中心的PUE停留在1.8左右。所以，针对小型数据中心，将面临严苛的考验。
氟泵自然冷技术的出现，就是针对小型数据中心的一项节能改造技术，氟泵自然冷给传统的风冷直膨式空调系统插上了自然冷却的翅膀，使它飞向了更高的节能空间。当室外环境温度低于一定温度时采用氟泵代替压缩机运行，制冷剂的循环过程中无气体压缩及节流降压过程，利用氟泵克服制冷剂管道的阻力实现制冷循环，达到自然冷却的目的。其原理图如下:
下表为杭州某机房改造为氟泵自然冷前后，单台精密空调室内外机的能耗差异：
改造前年耗电量：
环境温度 T（℃） 全年持续时间 传统机房空调 传统机房空调产品
（H） 能效比（W/W） 耗电量（kW•h）
T≤-10 0 3.3 0
-10<T≤-5 0 3.25 0
-5<T≤0 119 3.2 1488
0<T≤5 872 3.15 11073
5<T≤15 2693 3.1 34748
15<T≤20 1326 3.05 17390
20<T≤35 3690 3 49200
T>35 60 3 800
总耗电量（kW•h） 114699
改造后年耗电量：
环境温度 T（℃） 全年持续时间 氟泵自然冷空调 氟泵自然冷全年耗电
（H） 能效比（W/W） 量（kW•h）
T≤-10 0 16.25 0
-10<T≤-5 0 14.71 0
-5<T≤0 119 12.14 392
0<T≤5 872 9.77 3570
5<T≤15 2693 4.61 23367
15<T≤20 1326 4.19 12659
20<T≤35 3690 3.24 45556
T>35 60 3 800
总耗电量 86343
改造后的年PUE，达到了1.38，满足规定的存量数据中心小于1.4的要求。
所以，针对存量改造的小型数据中心，氟泵自然冷技术也可满足PUE不大于1.4的要求。
4）其他节能方案
当然，随着探索的深入，应该会有更多的节能方案可以实现降低PUE的目的，比如：
A、液冷技术，有为数不少的数据中心已经开始小规模实验性质的在推广应用，其节能效果是直接芯片级的节能方式，大大提高了散热效果，降低了能耗，由于没有IT机柜风扇、精密空调、冷机等制冷耗能部分，可以实现直接新风冷却或者冷却塔冷却，全年自然冷却，PUE将可实现极大的降低，可大大小于1.3的PUE要求。
B、高温服务器技术，此技术也有不少数据中心在做尝试，小规模实验性质的应用，其节能思路是让服务器能承受高温条件，当能适应的温度足够高的时候，将可以实现完全不用冷机制冷，而只需要通风或全年自然冷却的冷却盘管，就可以解决数据机房的散热问题，此方案下的PUE也将极大的降低，实现远小于1.3的PUE要求。
C、在采用常规服务器的情况下，进一步放弃对舒适性的要求，适当的提高机房内的进出风温度，进而提高冷冻水供回水温度，延长自然冷却的时间，再结合背板制冷等贴近IT机柜的节能技术，也可实现PUE小于1.3的要求。
4、结论
上海地区的气象条件，要想实现新建数据中心PUE小于1.3，存量数据中心PUE小于1.4，传统的常用制冷方案基本无法满足要求，不过，就目前相对成熟的技术来说，至少有几种制冷形式，是可以满足上海市对PUE达到1.3或1.4的要求的，还有其他的节能方案也能实现此目的，在将来，在面临政策压力下，可能会加快新技术的普及应用。
总之，尽管道路是曲折的，可通往罗马的大道是宽阔而多样的。