HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0

中文分词模型词典融入方法比较

作者:冯雪中文分词条件随机场柱搜索领域自适应

摘要:基于统计的方法一般采用人工标注的句子级的标注语料进行训练,但是这种方法往往忽略了已有的经过多年积累的人工标注的词典信息。这些信息尤其是在面向跨领域时,由于目标领域句子级别的标注资源稀少,从而显得更加珍贵。因此,如何充分且有效地在基于统计的模型中利用词典信息是一个非常值得关注的工作。最近已有部分工作对它进行了研究,按照词典信息融入方式大致可以分为两类:一类是在基于字的序列标注模型中融入词典特征;另一类是在基于词的柱搜索模型中融入特征。对这两类方法进行比较,并进一步进行结合。实验表明,这两类方法结合之后,词典信息可以得到更充分的利用,最终无论是在同领域测试和还是在跨领域测试上都取得了更优的性能。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机应用研究

《计算机应用研究》(CN:51-1196/TP)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。 《计算机应用研究》杂志以其新颖性、学术性、系统性、技术性于一身,瞄准国家迫切需要的前沿技术,及时反映并涵盖了国内外计算机学科领域最新发展趋势及技术动向,注重刊登反映本学科领域的新理论、新方法、新技术,选题新颖,可读性强而备受广大读者所喜爱,在各行各业拥有大量的读者、作者,在计算机业界享有崇高的知名度和影响力。

杂志详情