基于统计的汉语分词模型及实现方法

本文介绍了一种基于统计的汉语分词模型以及该模型在不同资源要求下的实现方法,并进一步讨论了这种方法的优缺点,最后,作者实现了这些方法,并给出相应的实验结果和结论。     

汉语自动分词和词性标注一体化系统

作为高层次信息处理技术的一个重要方向,自然语言理解一直是人工智能界所关注的核心课题之一。“汉语分词”就成为中文信息处理的一个研究课题。国内外从事汉语自动分词系统研究已有十几年,迄今尚无真正成熟的实用系统面世。自动分词研究中的两个主要的困难:1未登录词的辨识,2歧义切分字段的处理。所谓未登录词就是分词系统的词典中没有收录的词。汉语词汇是一个开放的集合,无论建立多么庞大的词典,都不可能穷举所有的词。所谓歧义切分字段。就是指汉语句子中的某些字段,如果纯粹根据词表作机械的字符串匹配,则它可能存在多种切分的形式。关…