作者：侯晓芳; 王欢; 李瑛分布式集群虚拟机日志数据hivehadoop大数据
摘要：为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性。结果表明：与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
《中国电子科学研究院学报》（CN：11-5401/TN）是一本有较高学术价值的大型月刊，自创刊以来，选题新奇而不失报道广度，服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《中国电子科学研究院学报》主要发表电子信息系统研发和综合集成领域内的技术和学术研究论文。聘请行业内工程院院士等资深专家以及近年来在此领域内卓有成就的中年专家组成编委会。办刊宗旨：注重研究成果，提高理论水平。
杂志详情
