揭开HPC应用的神秘面纱 本文主要通过部署调优一个量子化学的HPC应用让大家更直观的了解和感受HPC的魅力。## 前言说起高性能计算High Performance Computing缩写 HPC很多人第一个想法就是动辄亿亿次浮点运算的“超级计算机”国家花这么大代价做出来的机器干啥用呢其实大到天气预报、飞机制造、新冠疫苗研发小到唐氏筛查、《熊出没》渲染到处可见HPC的身影就拿最近的北京冬奥会来说其成功举办就脱离不了济南超算对空气质量预报准确及时的预警当然HPC也可以离我们很远举几个戈登贝尔奖的栗子(被誉为“超级计算应用领域”内的诺贝尔奖)。section: 揭开HPC应用的神秘面纱 本文主要通过部署调优一个量子化学的HPC应用让大家更直观的了解和感受HPC的魅力。 前言source_type: html_tablefields:获奖年份获奖项目超算系统rows:获奖年份2021; 获奖项目超大规模量子随机电路实时模拟; 超算系统中国.神威获奖年份2020; 获奖项目超过一亿个原子的分子动力学模拟计算; 超算系统美国.Summit获奖年份2016; 获奖项目千万核可扩展全球大气动力学全隐式模拟; 超算系统中国.神威对超算来说硬件很重要但现在是“软件吞噬一切”的时代路修的再好没有车在上面跑也没用如果把开源软件比作汽车市场那么HPC应用就是这个市场中的 “豪车”为了追求最极致的性能它们用着最先进的“发动机”(编译器)、最复杂的“轮胎”(并行技术)同时也拥有最繁琐的“机械结构”(安装和调优流程)优化过HPC应用的“赛车手”都有一个感受抱黄连敲门—苦到家了难怪HPC被喻为是IT行业“金字塔上的明珠”本文旨在通过部署调优一个量子化学的HPC应用让大家直观的感受HPC的魅力让看似阳春白雪的HPC也能走向平民化走向每个人、每个家庭、每个组织。## 求解薛定谔方程波函数被证明对获取材料的宏观性能(如光学性质、力学性质、热力学性质、磁学性质)极具价值现实中的物质由多个电子构成的它们的波函数该如何求解一个铁原子有26个电子两个有52个电子计算2个铁原子相互作用时需要计算任意一个与其它51个电子的相互作用当计算原子数增加时计算量呈指数增加100个铁原子的计算量恐怕都是天文数字了更不要说几十万个原子纳米材料这就不得不提著名的Kohn-Sham公式他将多电子体系近似用一个或几个函数来代替求解多体薛定谔方程计算量大大减少Kohn因为这个公式获1998年Nobel化学奖本文要介绍的HPC应用QE就是这个公式的开源实现在量子化学领域被广泛应用从官网介绍来看“QUANTUM ESPRESSO是一种用于电子结构计算和材料建模的量子化学方法的软件套件在GNU通用公共许可证下免费分发。它基于密度泛函理论平面波基组和赝势包括范数守恒和超软理论。”这段文字看不懂没关系只要记住求解公式是这个就行了Kohn-Sham公式## 安装QE准备工作CentOS7/openEulerARM服务器QE的安装可以参考文档( https://support.huaweicloud.com/prtg-kunpenghpcs/openmind_kunpengqe_02_0001.html )一步步安装。但是本文推荐另一种更简便的安装方式那就是HPC贾维斯助手( https://gitee.com/openeuler/hpcrunner )专门为HPC应用打造的一键依赖安装、环境配置、编译、运行、调优平台将HPCRunner解压或者clone到服务器某个位置其目录结构及说明如下所示贾维斯源码目录步骤1进入这个贾维斯目录并初始化环境cd hpcunner source ./init.sh步骤2拷贝QE的HPC配置并切换到改配置(基于鲲鹏GCCOpenMPI技术栈)cp ./templates/qe/6.4/data.qe.test.config ./ ./jarvis -use data.qe.test.config步骤3获取QE及依赖软件1下载QE 6.4版本( https://github.com/QEF/q-e/archive/refs/tags/qe-6.4.1.tar.gz )解压至tmp目录tar -xzvf ./downloads/q-e-qe-6.4.1.tar.gz -C /tmp2将QE的算例也拷贝至/tmp\cp -rf ./workloads/QE/qe-test /tmp步骤4一键下载并安装依赖执行如下命令安装鲲鹏GCCOpenMPI (请准备咖啡5分钟左右)./jarvis -d -dp下载依赖并安装步骤5一键编译QE./jarvis -bQE的编译步骤6一键运行QE./jarvis -rQE的运行几分钟后应该可以看到“JOB DONE”字样经过14次SCF自洽运算我们就可以得出原子间的能量值到这里你已经体验了一遍HPC应用的安装运行全流程了。## QE调优在HPC应用运行的过程中可以通过perf性能工具无侵入式的采集热点函数数据而且以目录树的形式展现出来。步骤1运行QE./jarvis -r步骤2新建窗口并进入hpcrunner目录运行性能采集命令./jarvis -p从热点函数实时分布图可以看出除了MPI通信之外GEMM矩阵运算操作占比较高可以考虑使用openblas进行替代同时可以考虑把编译器换成毕昇、MPI通信库换为HyperMPI。步骤3拷贝优化配置cp ./templates/qe/6.4/data.qe.test.opt.config ./步骤4切换到优化配置./jarvis -use data.qe.test.opt.config步骤5一键下载并安装依赖(大概6分钟左右)./jarvis -d -dp步骤6一键编译QE./jarvis -b步骤7一键运行QE./jarvis -r优化之后的QE这次的运行时间是不是更短了呢让我们对比一下前后的性能情况吧QE前后性能对比如果你也得到了这个结果那么恭喜你完成了一次HPC应用的调优## 总结雄关漫道真如铁,而今迈步从头越实际HPC应用的优化之路险阻而又漫长越是交叉学科越需要全人类的智慧共同参与才能结出美丽的果实但是我坚信只要一直走总有一天会到达目的地。美好的未来在前方如果您对HPC有兴趣请加入到openEuler HPC SIG这里除了有迁移调优技术分享还有大量开源实习机会( https://gitee.com/openeuler/hpcrunner/issues )在家也能领工资更有百万奖金众智计划等你来拿。请关注开源项目贾维斯为多样性算力添砖加瓦共建openEuler生态。欢迎关注贾维斯项目https://gitee.com/openeuler/hpc关于作者方春林Numpy/Taro MaintainerUSIMD和HPCRunner开源项目Leader目前主要聚焦于openEuler HPC SIG运营openEuler HPC SIG致力于建立气象、分子动力学、生物和制造等领域的生态交流圈打造HPC多样性算力部署调优统一平台自动容器化助力极简部署一站式调优HPC应用让看似阳春白雪的HPC应用走向平民化 揭开HPC应用的神秘面纱
揭开HPC应用的神秘面纱 本文主要通过部署调优一个量子化学的HPC应用让大家更直观的了解和感受HPC的魅力。## 前言说起高性能计算High Performance Computing缩写 HPC很多人第一个想法就是动辄亿亿次浮点运算的“超级计算机”国家花这么大代价做出来的机器干啥用呢其实大到天气预报、飞机制造、新冠疫苗研发小到唐氏筛查、《熊出没》渲染到处可见HPC的身影就拿最近的北京冬奥会来说其成功举办就脱离不了济南超算对空气质量预报准确及时的预警当然HPC也可以离我们很远举几个戈登贝尔奖的栗子(被誉为“超级计算应用领域”内的诺贝尔奖)。section: 揭开HPC应用的神秘面纱 本文主要通过部署调优一个量子化学的HPC应用让大家更直观的了解和感受HPC的魅力。 前言source_type: html_tablefields:获奖年份获奖项目超算系统rows:获奖年份2021; 获奖项目超大规模量子随机电路实时模拟; 超算系统中国.神威获奖年份2020; 获奖项目超过一亿个原子的分子动力学模拟计算; 超算系统美国.Summit获奖年份2016; 获奖项目千万核可扩展全球大气动力学全隐式模拟; 超算系统中国.神威对超算来说硬件很重要但现在是“软件吞噬一切”的时代路修的再好没有车在上面跑也没用如果把开源软件比作汽车市场那么HPC应用就是这个市场中的 “豪车”为了追求最极致的性能它们用着最先进的“发动机”(编译器)、最复杂的“轮胎”(并行技术)同时也拥有最繁琐的“机械结构”(安装和调优流程)优化过HPC应用的“赛车手”都有一个感受抱黄连敲门—苦到家了难怪HPC被喻为是IT行业“金字塔上的明珠”本文旨在通过部署调优一个量子化学的HPC应用让大家直观的感受HPC的魅力让看似阳春白雪的HPC也能走向平民化走向每个人、每个家庭、每个组织。## 求解薛定谔方程波函数被证明对获取材料的宏观性能(如光学性质、力学性质、热力学性质、磁学性质)极具价值现实中的物质由多个电子构成的它们的波函数该如何求解一个铁原子有26个电子两个有52个电子计算2个铁原子相互作用时需要计算任意一个与其它51个电子的相互作用当计算原子数增加时计算量呈指数增加100个铁原子的计算量恐怕都是天文数字了更不要说几十万个原子纳米材料这就不得不提著名的Kohn-Sham公式他将多电子体系近似用一个或几个函数来代替求解多体薛定谔方程计算量大大减少Kohn因为这个公式获1998年Nobel化学奖本文要介绍的HPC应用QE就是这个公式的开源实现在量子化学领域被广泛应用从官网介绍来看“QUANTUM ESPRESSO是一种用于电子结构计算和材料建模的量子化学方法的软件套件在GNU通用公共许可证下免费分发。它基于密度泛函理论平面波基组和赝势包括范数守恒和超软理论。”这段文字看不懂没关系只要记住求解公式是这个就行了Kohn-Sham公式## 安装QE准备工作CentOS7/openEulerARM服务器QE的安装可以参考文档( https://support.huaweicloud.com/prtg-kunpenghpcs/openmind_kunpengqe_02_0001.html )一步步安装。但是本文推荐另一种更简便的安装方式那就是HPC贾维斯助手( https://gitee.com/openeuler/hpcrunner )专门为HPC应用打造的一键依赖安装、环境配置、编译、运行、调优平台将HPCRunner解压或者clone到服务器某个位置其目录结构及说明如下所示贾维斯源码目录步骤1进入这个贾维斯目录并初始化环境cd hpcunner source ./init.sh步骤2拷贝QE的HPC配置并切换到改配置(基于鲲鹏GCCOpenMPI技术栈)cp ./templates/qe/6.4/data.qe.test.config ./ ./jarvis -use data.qe.test.config步骤3获取QE及依赖软件1下载QE 6.4版本( https://github.com/QEF/q-e/archive/refs/tags/qe-6.4.1.tar.gz )解压至tmp目录tar -xzvf ./downloads/q-e-qe-6.4.1.tar.gz -C /tmp2将QE的算例也拷贝至/tmp\cp -rf ./workloads/QE/qe-test /tmp步骤4一键下载并安装依赖执行如下命令安装鲲鹏GCCOpenMPI (请准备咖啡5分钟左右)./jarvis -d -dp下载依赖并安装步骤5一键编译QE./jarvis -bQE的编译步骤6一键运行QE./jarvis -rQE的运行几分钟后应该可以看到“JOB DONE”字样经过14次SCF自洽运算我们就可以得出原子间的能量值到这里你已经体验了一遍HPC应用的安装运行全流程了。## QE调优在HPC应用运行的过程中可以通过perf性能工具无侵入式的采集热点函数数据而且以目录树的形式展现出来。步骤1运行QE./jarvis -r步骤2新建窗口并进入hpcrunner目录运行性能采集命令./jarvis -p从热点函数实时分布图可以看出除了MPI通信之外GEMM矩阵运算操作占比较高可以考虑使用openblas进行替代同时可以考虑把编译器换成毕昇、MPI通信库换为HyperMPI。步骤3拷贝优化配置cp ./templates/qe/6.4/data.qe.test.opt.config ./步骤4切换到优化配置./jarvis -use data.qe.test.opt.config步骤5一键下载并安装依赖(大概6分钟左右)./jarvis -d -dp步骤6一键编译QE./jarvis -b步骤7一键运行QE./jarvis -r优化之后的QE这次的运行时间是不是更短了呢让我们对比一下前后的性能情况吧QE前后性能对比如果你也得到了这个结果那么恭喜你完成了一次HPC应用的调优## 总结雄关漫道真如铁,而今迈步从头越实际HPC应用的优化之路险阻而又漫长越是交叉学科越需要全人类的智慧共同参与才能结出美丽的果实但是我坚信只要一直走总有一天会到达目的地。美好的未来在前方如果您对HPC有兴趣请加入到openEuler HPC SIG这里除了有迁移调优技术分享还有大量开源实习机会( https://gitee.com/openeuler/hpcrunner/issues )在家也能领工资更有百万奖金众智计划等你来拿。请关注开源项目贾维斯为多样性算力添砖加瓦共建openEuler生态。欢迎关注贾维斯项目https://gitee.com/openeuler/hpc关于作者方春林Numpy/Taro MaintainerUSIMD和HPCRunner开源项目Leader目前主要聚焦于openEuler HPC SIG运营openEuler HPC SIG致力于建立气象、分子动力学、生物和制造等领域的生态交流圈打造HPC多样性算力部署调优统一平台自动容器化助力极简部署一站式调优HPC应用让看似阳春白雪的HPC应用走向平民化