"者"缀词识别

通过对1200万字语料的统计得出,派生词约占词条总数的8.66%,构成派生词的词缀共有188个.其中,后缀"者"所构成的派生词词条数最多,构词成分最为复杂.我们采用基本词表、词例知识规则并结合词语的搭配、共现频率的混合策略对带后缀"者"的派生词进行了自动识别,封闭测试的精确率为93.06%,开放测试的精确率为82.40%.     

统计机器翻译基于赫夫曼编码的解码算法

赫夫曼树编码是信息论中重要的数据编码方式。根据赫夫曼编码的算法构造最优二叉树,可以得到总长最短的二进制编码。本文首次依据赫夫曼编码的思想设计机器翻译中的解码算法,基本思想是:在栈解码的基础上,不再是在原有结点上扩展新的假设,而是合并原有的假设,最后构造一棵完整的二叉树。这种方法开辟了机器翻译解码的新途径,有望提高机器翻译解码的效率,节约存储空间。