HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

一种基于改进的链式MapReduce的并行ETL应用

作者:吴斌 刘心光改进的链式mapreduceetl优化规则

摘要:介绍了并行ETL的相关工作和常见的处理多MapReduce作业流程的方法;提出一种改进的链式MapReduce框架.并将此框架应用于一个并行ETL工具,同时提出一些针对ETL处理的流程级优化规则,使ETL流程产生更少的MapReduce作业,从而减少I/O以及网络传输的消耗;利用某省份手机上网数据与Hive进行了大数据对比实验,结果表明.本ETL工具的性能平均比Hive快10%~20%。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

电信科学

《电信科学》(CN:11-2103/TN)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《电信科学》已入选中国中文优秀期刊、中国科技优秀期刊及中国期刊方阵,并被中文科技期刊数据库等国内多家数据库和科技文摘期刊收录。

杂志详情