深加工中古汉语语料库建设的若干问题

根据中古汉语的基本特点,结合现有语料库的建设经验,阐述中古汉语语料库选取语料的若干原则:语料样本的代表性、文本类型的平衡性、语料之间的关联性与区别度、入库文献的特色性;讨论建立中古汉语语料库分词规范、分词词表的可行性,初步构建"信息处理用中古汉语分词规范"的整体框架。     

关于现代汉语词的建构的研究

本文对前人有关词的构成的研究作了系统的归纳与分析 ,认为对词的构成的研究应完成一个从结构到建构的飞跃 ,在研究方法上要强调描写与解释并行。为此 ,作者提出要从动态、立体、全面的视角去分析词的构成方式 ,这既符合语言学发展的趋势 ,也是词的构成研究的历史必然。     

中文信息处理与词汇研究概述

中文信息处理的难点很多 ,首先集中在词汇层面上。假如没有词的界限标记 ,怎样解决词的自动切分问题 ;没有形态变化标记 ,计算机难于分析词与词之间句法与语义关系 ;词类划分和兼类情况复杂 ,词性自动判别和标注困难 ;词义的义项、义素分析中面临的问题比较多     

从两个国家标准看汉语的词

随着《汉语拼音方案》应用范围的日益扩大,理论语言学,中文信息处理等领域迫切要求目前的汉语分词规范基本达成一致,应该重新整合目前关于词的种种概念,普及正词法思想,完善、修订《汉语拼音正词法基本规则》以及《信息处理用现代汉语分词规范》,为汉语分词的进一步研究提供语言学上的理论统一基础,最终使汉语信息处理以及资源开发得到更有效的标准。     

分词作状语高考考点归纳

分词包括现在分词和过去分词两种，分词作状语是高考的一个重点，也是一个热点。     

现在分词与动名词用法的区别

本文从现在分词和动名词的构成形式入手,对二者所能共同承担的句法作用进行了比较和归纳。从三个方面比较了这两种非谓语动词的不同:一是二者作表语时的区别;二是作定语时的区别;三是现在分词作宾语补足语和动名词的复合结构作宾语的区别。     

高校网络社区舆论搜集中同义词分词器的实现

高校网络社区是获取学生思想动态、价值理念、个性心理、政治倾向的新阵地,信息化、精准化、科学化收集高校网络社区舆论的发展动态,为学生思想政治工作提供科学化的决策,促进和谐校园建设是新时期高校德育工作的一项重要课题。当前我国社会处于高速发展期和转型期,网络信息呈爆炸式增长,导致学生思想网络交流中出现大量的网络同义词,学生思想动态信息的精准性和有效性是决策者采取引导措施的基础。利用分词器来完成对学生网络思想交流中同义词信息的统计,从而实现同义词分词器更加精确、科学地获取网络社区舆论的发展动态信息。     

文本分类技术探究

首先阐述了文本分类的现状和定义,概述了文本分类的基本流程,然后对文本预处理过程中的分词和去停用词作了简要介绍。在简述文本表示的概念和常用模型之后,重点讨论了信息增益、文档频率、期望交叉熵、互信息和chi统计五种用于特征降维的特征选择方法,而后描述了Rocchio、朴素贝叶斯(NB)、支持向量机(SVM)、K最近邻(kNN)和决策树分类算法的基本指导思想,并从分类性能及其各自复杂度等方面分析比较了这几种算法的优缺点,最后评述了查全率、查准率和F-Measure三种常用的分类器性能评价指标。     

基于结构化信息检索系统的数据搜集技术的研究

本文在已有的传统信息检索系统中数据搜集技术研究基础上,采用了正向最大匹配和逆向最大匹配法的分词技术和基于向量距离的分类技术,建立了可以将XML文档映射到关系数据库的信息检索系统,从而大大提高了信息检索的效率。     

基于上下文信息提取的概率分词算法

汉语分词在汉语文本处理过程中是一个十分特殊而重要的组成部分。传统的基于词典的分词算法存在着很大的缺陷,它们无法对未登陆词进行很好的处理。而基于概率的算法只考虑了训练集语料的概率模型,对于不同领域的文本的处理效果不尽人意。本文提出了一种基于上下文信息提取的概率分词算法,它能够将预切分文本的上下文信息加入分词概率模型中,以上下文信息指导文本的切分。这种切分算法结合经典n元模型以及EM算法,在开放测试环境中取得了比较好的效果。