作者:敬烜; 鲁红英信息检索聚焦爬虫邻居规则分类算法链接优先级
摘要:判定链接锚文本与主题的相关度、评估链接的优先级并过滤不相关的链接是实现聚焦爬行的关键。通过判定链接所在页面是否主题相关、是否是导航页面划分链接的类别,结合链接锚文本与主题的相似度,提出了一种基于邻居规则分类算法评估链接优先级的聚焦爬虫。该爬虫包括一个主题相关网页判别器、一个导航网页判别器和一个基于邻居规则分类算法的链接优先级评估器。实验结果表明,基于邻居规则分类算法的聚焦爬虫比仅仅根据锚文本判定链接优先级的标准聚焦爬虫具有更好的性能,因此更加适合用于信息检索。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社