作者：左卫刚校园搜索引擎网络爬虫scrapywhooshurl去重布隆过滤器中文分词
摘要：随着数字化校园的发展,校园网数据量呈几何倍增长,信息的查找和定位变得更为困难。本文以大学校园网为研究对象,在分析了网络搜索引擎的原理、核心模块的基础上,采用基于Python的Scrapy爬虫和Whoosh索引库等技术,完成了linux平台下校园网搜索引擎原型系统的构建。实验结果显示,本文所提出的搜索引擎原型系统,有效解决了使用通用搜索引擎所产生的校园网信息收录不完全及索引更新不及时等问题。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
