作者：曹勇刚; 曹羽中; 金茂忠; 刘超分词系统分词算法信息检索新词识别歧义消解
摘要：新词的识别和歧义的消解是影响信息检索系统准确度的重要因素．提出了一种基于统计模型的、面向信息检索的自适应中文分词算法．基于此算法，设计和实现了一个全新的分词系统BUAASEISEG．它能够识别任意领域的各类新词，也能进行歧义消解和切分任意合理长度的词．它采用迭代式二元切分方法，对目标文档进行在线词频统计，使用离线词频词典或搜索引擎的倒排索引，筛选候选词并进行歧义消解,在统计模型的基础上，采用姓氏列表、量词表以及停词列表进行后处理，进一步提高了准确度．通过与著名的ICTCLAS分词系统针对新闻和论文进行对比评测，表明BUAASEISEG在新词识别和歧义消解方面有明显的优势．
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
