分布式web日志处理平台的研究与实现

作者：杨潇黎; 蒋廷耀; 金鑫; 罗神分布式离线与实时清洗kafkaspark框架

摘要：从日志信息采集、处理、存储等方面研究了分布式技术在日志处理平台的应用。使用Flume进行采集历史数据以及实时日志数据,并将收集的数据使用Kafka来缓存进行离线与实时清洗,最后将日志数据存储到数据库中,进行数据分析以图表的形式展示,做出相应策略从而提高效益。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社