作者：丁建立; 郑峰弓; 李永华; 罗云生; 曹卫东小文件redishdfs多级存储预取机制
摘要：为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出-种基于NoSQL的海量小文件分布式多级存储方法.充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制.实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题.
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
