作者:宋阳; 周时强; 李成范并行计算hdf5h5pympi4py
摘要:随着层次性数据格式的不断发展,HDF5已经成为一种研究数据存储的通用格式之一。然而受限于HDF5数据文件通常包含大量的数据集这一现状,普通串行处理的方式逐渐不能满足数据处理的要求。本文通过介绍HDF5数据和并行计算的基础,结合目前流行的数据处理语言Python以及广泛应用于并行计算和HDF5处理的两个软件包——mpi4py和h5py,探索了一种新的对HDF5数据并行计算的方式,该方式具有计算简单、效率高的特点。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社