国家超级计算深圳中心(简称“深圳超算中心”)是国家863计划、广东省和深圳市的重大项目,也是深圳建市以来最大的科研基础设施。深圳超算中心立足深圳、面向全国、服务华南、港、澳、台及东南亚地区,将承担各种大规模科学计算和工程计算任务,同时以其强大的数据处理和存储能力为社会提供云计算服务,将建成功能齐全、平台丰富、高效节能、国际一流的高性能计算研究开发中心和云计算服务中心,运营后能够大大缓解华南乃至东南亚地区高性能计算能力紧张的局面,在新能源开发、新材料研制、自然灾害预警分析、气象预报、工业仿真模拟等众多领域发挥重要作用。
深圳超算中心总投资12.2亿元,配备了每秒1271万亿次计算峰值、20PB超大存储量的曙光6000超级计算机系统。一期建设用地面积1.2公顷,总建筑面积4.3万平方米,其中机房楼地面四层1.2万平方米、科研楼地面16层3.1万平方米。
图 深圳超算中心主体大楼
基于该项目的重要影响以及超级计算机超强的运算能力,对数据中心基础设施应用提出的巨大挑战不言而喻,特别是对高达25kW/机柜高热密度的刀片计算系统散热提出了严峻挑战。如何配建一套与之相匹配的制冷系统,并且实现绿色节能,成了深圳超算中心项目建设过程中的一项关键技术任务。
为此,提供了针对性极强的水冷机柜系统解决方案。水冷机柜采用高效节能的水冷技术,为全封闭式机柜, 单机柜制冷量最大可达30kW, 满足机柜内高热密度服务器的散热要求。机柜内制冷循环与机房内空调系统独立。机柜内置高效节能的V 型盘管热交换系统实现机房冷却水和机柜内空气的隔离热交换。机柜内空气循环系统采用正面送风、背面排风的形式。工作时,机柜风扇吸收服务器背面排出的热风, 从回风口送入盘管全热交换器系统中冷却,再将冷风从送风口送至服务器正面,灌入刀片服务器,依次循环,以达到对服务器的散热功能。水冷机柜的风扇控制系统可根据机柜内温度调节风速, 高效节能,风扇系统采用2+1冗余结构,确保风扇故障、维修情况下, 机柜制冷系统仍能正常运转。水冷机柜底部的V 型盘管留有进水口和回水口, 通过带有静态水力平衡阀的金属软管与水管管道相连。在盘管的回水端, 安装有三通阀,三通阀会根据送气口出风温度自动调节, 将多余的冷水旁通掉, 使流经内部盘管的水流量大小合适, 从而控制机柜送风口温度维持在设定范围内。
图 深圳超算中心水冷机柜系统
水冷机柜制冷系统的优点, 主要如下:
采用水作为制冷剂,节能环保;
可靠性高,能有效解决传统的空调集中送风所存在的散热不均匀等问题;
制冷量大,能解决普通空调散热系统所无法实现的高热密度散热问题;
制冷效率高,刀片服务器内置于密闭的柜体内,能大大降低机房噪音。
该解决方案不论是在技术先进性还是节能等方面,均很好地满足了深圳超算的应用需求,经过实际运行的考验,性能发挥非常稳定,显示效果出众,完全达到了项目设计的预期目标,力地保障了深圳超算的高效、稳定运行,获得了客户的高度认可。