作者：刘芳云; 张志勇; 李玉祥hadoop集群分布式爬虫并行爬虫增量爬虫刷新策略
摘要：面对多媒体社交网络中在线视频的爆炸式增长，使用单机模式下爬虫提取新视频页面的效率低下，为此，提出一种基于Map/Reduce的并行算法，大大提高了爬虫的效率；但是为了进一步改善数据冗余问题，减少过时页面的更新，改进了一种精度感知增量更新算法，利用监控技术监控网页变化情况，分析网页更新模式，增加新鲜度评估和降维处理，使用混合整数二次规划方法为发生更改的网页制定最优的刷新策略;实验证明，相比单机模式下定期频繁的刷新策略，该并行增量方法以原刷新代价的36.7%获得了79%的信息精确度，爬虫效率提高了167倍。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
