HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

基于移动通信数据的流动人口统计中的Hive优化

作者:周天绮hive优化join数据倾斜

摘要:针对电信大数据在流动人口统计中的处理需求,采用Intel?Hadoop发行版,设计Hive数据仓库并进行优化,重点对性能影响较大的join连接和数据倾斜问题进行了优化。实验表明,对于TB级数据,简单统计如count、sum等可在10分钟以内完成,聚合统计如join、group by等可在30分钟左右完成,能有效支撑大数据环境下的流动人口统计和监测。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

软件工程

《软件工程》(CN:21-1603/TP)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《软件工程》提供工厂技术及管理信息,营造信息时代的软件工程师文化。为中国软件行业协会会刊,被中国期刊全文数据库、中国知网、龙源期刊网、万方数字——数据期刊群以及中国优秀期刊(遴选)数据库等全文收录。

杂志详情