作者：信怀义hdfs商业银行系统数据副本策略
摘要：数据的大规模、多样化特征给存储带来了新的挑战,商业银行系统开始使用Hadoop来支持历史数据归档和在线历史数据查询等功能。HDFS(Hadoop Distributed File System)作为Hadoop中的数据存储实现,为Map Reduce、Hive等数据处理提供数据,在大规模数据存储中应用广泛。但当前的HDFS,主要从数据安全和数据负载均衡等存储角度出发,采用了静态副本方式存放数据。这种设计缺乏对数据处理时数据读取的考虑,难以充分利用存储资源提供的数据读取性能。本文从提高HDFS中商业银行系统数据读取性能的角度出发,通过分析商业银行系统进行数据处理时对HDFS数据读取的规律,利用数据访问频率信息指导数据副本数量的动态调整,并使用实验数据对比说明改进后存储方案相对原有方案的读取速度、网络流量传输等性能优势。实验表明考虑数据访问端的需求,可以减少Hadoop中数据处理读取数据所需的时间,提升数据本地化率,有利于数据存储和处理的性能优化,为后续的存储改进提供可能的方向。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
