在阿里云HPC上用容器服务一键部署和运行WRF解决方案
更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud
背景
众所周知,容器技术的出现深刻改变了软件交付的方式:
敏捷: 秒级应用启动、轻量级隔离、细粒度资源控制、低性能损耗
标准化:版本管理可追溯。
可移植性: 环境无关的交付、部署方式;可用于软件生命周期中不同运行环境。 这些能力不但影响了企业软件的开发、构建和交付模式,提高了交付效率和可靠性,也对于像WRF(Weather Research Forecast)这类大型开源气象科学预报软件产生了潜移默化的影响。美国国家大气研究中心(NCAR,也是WRF的开发方)于2016年开源了自己的容器化解决方案。 而阿里云HPC团队和容器服务团队在NCAR方案的基础上进行了改进和增强,在保持高性能的同时,方便您实现一键式的部署和运行WRF,将复杂的WRF工作变成一个高效,可控的自动化流程。
注: 为节省篇幅,会将美国国家大气研究中心统称为NCAR
痛点
美国国家大气研究中心(NCAR)容器化WRF并非无痛呻吟,作为WRF的开发方,维护者和主要使用者,对于WRF这个在工业界和学术界得到广泛使用的数值天气预测软件,NCAR面临这如下挑战:
编译和执行WRF非常复杂,需要专业的知识和大量的时间准备,很久才能得到结果
代码量巨大
非常多的软件依赖
配置容易出错,很难排查
经常需要数周的准备才能将WRF运行起来并且得到结果
WRF本身的部署难度给基于MPI的WRF的高扩展性带来了困难
WRF迭代迅速,而部署构建困难导致许多公司和研究机构依然使用3.4.1版本的WRF,造成了极大的维护成本
初学者抱怨搭建WRF难度过大,对于软件知识要求太高,导致入门花的时间太多
研究者发现重现数值天气预报的难度极大,因为机器不同,编译器配置不同,以及复杂的配置和流程
而这些痛苦也是中国的WRF使用者遭遇到的,为了解决这个问题,阿里云容器服务给出以下解决方案:
方案
整个方案分为下面几个步骤:
通过容器镜像标准化WRF的构建和配置,同时实现一次构建到处运行
-客户可以直接使用阿里云Dockerfile,也可以对其进行改进和替换
利用OSSFS上传WRF配置文件,WPS配置文件, 气象数据以及地理基础数据,
如果是海量数据可以考虑海量数据迁移至OSS服务: https://market.aliyun.com/products/52738004/cmfw000394.html
利用容器服务一键式部署和WRF应用,并且将运行出的数据导出到OSS上,并可以直接下载
可以通过参数配置指定运行方式
利用容器服务一键式部署和运行NCL应用,将WRF运算出的结果通过NCL绘图出来
上图所列的是通过阿里云提供高性能计算,容器服务和OSS实现一键式的从数据到计算再产生数据的全过程。
这样就可以看到气象的走势
总结
可以看到,利用阿里云HPC和容器服务,您除了可以获得高性能计算的洪荒之力,还可以简单的掌控这种能力,降低使用门槛,真正实现弹性的高性能计算。利用阿里云的能力,我们可以在云端快速的部署和执行气象模拟应用,让传统的WRF应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施,从弹性计算、负责均衡到对象存储,日志、监控等等。
具体来说:
帮助客户构建标准化可追溯的容器镜像
让客户很清楚自己在WRF上配置了什么,并且很容易复制自己的配置
将系统构建过程透明化,整个架构可描述,降低运维成本,避免人员变化带来的隐患
加快交付速度,缩短投产时间(从周到小时)
支持WRF应用的一键式部署和执行
无需提前软件依赖,几个小时内WRF就开始工作
支持本地和云上构建和测试,保持一致性
国际上WRF的版本演进非常迅速,紧跟国际潮流,保持更新速度
多种软件及配置组合比较,最优性能选择
想了解更多容器服务内容,请访问 https://www.aliyun.com/product/containerservice
想了解如何在HPC上使用容器服务,请访问https://help.aliyun.com/document_detail/48631.html