作者：亓开元 韩燕波 赵卓峰 马强数据流处理大规模数据处理mapreduce方法适应性架构负载均衡
摘要：为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算，提出一种面向大规模历史数据的数据流处理方法RTMR，通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上，为了适应性地构造RTMR集群，利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡，通过计算负载状态转换关系分组空闲节点和过载节点，将NP难的动态负载均衡问题快速分解为规模较小的子问题，并且综合执行时间和数据移动代价作为子问题的优化目标，提高应对负载倾斜的反应速度。实验表明，上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
