作者：陈吉荣 乐嘉锦分布式计算系统元数据mapreducehadoop分布式文件系统名称节点数据节点块
摘要：经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统（HDFS）文件,为此,文中提出了单一输出文件的MapReduce编程模型：SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件“整合”为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的“块典型分布”和“块非典型分布”的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明：该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
《华南理工大学学报·社会科学版》（CN：44-1443/C）是一本有较高学术价值的大型双月刊，自创刊以来，选题新奇而不失报道广度，服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《华南理工大学学报·社会科学版》自创刊以来，本刊坚持以马克思列宁主义、思想、邓小平理论、"三个代表"重要思想、科学发展观、新时代中国特色社会主义思想为指导，立足广东，面向全国，积极反映人文社会科学各领域在改革开放和现代化建设中理论与实践的成果，努力把本刊办成有特色、有水平、有影响的综合性学术期刊和重要理论研究阵地。
杂志详情
