作者：张维刚 徐永东 雷小强 何辉web全文检索中间件url去重网页标签正文提取
摘要：为了更好地为Web站内检索提供服务,对Web全文检索的关键技术进行了研究,设计并实现了一个用于Web全文检索的中间件。该中间件通过多线程网页爬虫程序来抓取网页;对抓取结果采用基于Bloom-Filter的大规模URL去重算法来进行高效消重;应用所提出的新的基于标签的正文提取方法来进行网页正文提取,实验结果表明该正文提取方法是有效可行的;此外,为了改善用户的搜索体验,该中间件还提供了一些个性化搜索辅助功能。最后,实现了一个完整的博客搜索系统Boso（博搜）来验证中间件的性能,结果说明该中间件是可以投入实际应用的。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
