基于随机森林模型的分类数据缺失值插补

缺失数据是影响调查问卷数据质量的重要因素,对调查问卷中的缺失值进行插补可以显著提高调查数据的质量。调查问卷的数据类型多以分类型数据为主,数据挖掘技术中的分类算法是处理属性分类问题的常用方法,随机森林模型是众多分类算法中精度较高的方法之一。将随机森林模型引入调查问卷缺失数据的插补研究中,提出了基于随机森林模型的分类数据缺失值插补方法,并根据不同的缺失模式探讨了相应的插补步骤。通过与其它方法的实证模拟比较,表明随机森林插补法得到的插补值准确度更优、可信度更高。     

处理缺失数据中辅助信息的利用

统计分析中经常会遇到数据缺失的情况。数据缺失的产生背景不同,主要来自于调查中的无回答。此外,由于调查员的疏忽,在调查过程中遗漏了某些调查项,或在对调查数据的检查与处理过程中,发现一些不合逻辑,明显有误,或有意使假的数据,而将其剔除,这些都会造成数据缺失。 缺失数据造成的危害是明显的,它不仅使接受调查的实际单位数目减少,扩大了抽样调查中的估计量方差,而且还会导致估计量偏差,是影响统计数据质量的重要方面。一般而言,对于缺失数据,往往需要进行重新调查,以便将缺失的数据补齐。但有时由于种种原因和条件的限制,或者无法进行重新的补充调查,或者这种补充调查仍然不能解决问题。这时,我们特别关心两个问题：一是需要了解缺失数据造成的影响有多大,即能否对由于数据缺失带来的估计量偏差进行估计;二是如何对缺失数据进行补救。这两个问题都与辅助信息有关,本文拟就这些问题进行分析。     

顾客满意度测评中的缺失值处理方法

文章通过对缺失值处理方法分析,提出基于分类的三种缺失值处理方法:分类的均值插补法、分类的多重插补法和分类的K-means方法;该方法先对被调查对象问卷中的满意度关键字段按照分值进行分类,然后在同类中的缺失值用该类的平均值、多重插补值和聚类中心值替代.最后,以某食品公司为研究对象,对顾客满意度测评模型进行带缺失值的实证分析.结果表明:基于分类的三种缺失值处理方法优于均值插补法、多重插补法和K-means方法,为顾客满意度指数测评中的缺失值处理提供了实用方法.     

公共突发事件应急统计中纵向缺失数据的处理方法研究

缺失数据在公共突发事件的应急统计数据分析中是一个非常普遍的问题,针对公共突发事件应急统计数据的纵向数据集,提出用一种得分匹配法来进行缺失值的借补处理,并将其与另外三种缺失值处理方法进行比较,即构造各种不同缺失率的随机缺失数据集,分别运用得分匹配法、LVCF借补法、无条件均值抽取法和多重借补法四种不同的缺失值处理方法对每一种缺失率的数据集缺失值进行处理。统计分析结果表明,少数缺失值发生时,LVCF法简单而有效;随着缺失率的增加,均值抽取法和多重借补法处理效果更稳定;得分匹配法借补缺失值考虑了变量之间的相关性,最大程度地利用了数据集包含的信息,同时考虑了含缺失值变量的实际变异程度,因此取得了最好的借补效果。     

基于R语言的缺失值填补方法

数据缺失是一个在实验研究和调查研究中经常遇到的问题。文章先介绍了数据缺失机制的四种形式,指出解决数据缺失的一般性方法,即可以通过尽量引入更多的相关变量从而简化缺失机制;然后利用R语言对2006年中国健康与营养调查的部分数据进行了填补,介绍了各种填补方法在R中的应用,并在介绍热平台方法时提出运用R寻找匹配样本的新思路。     

测量误差模型稳健方法及应用研究

回归模型在经济学、生物医学、流行病学、工农业生产等众多领域有着广泛的应用,而在实际数据收集时常常出现无法获得变量的精确数据或全部数据的情况,即常碰到测量误差数据、缺失数据等复杂数据情形。对于回归模型中存在测量误差的情况,如在参数估计时不加以修正,则易产生估计偏差,使得估计精度下降。对于数据缺失情形,如不采取合理的处理方法也会导致模型分析结果不佳。故此,本文研究含有测量误差数据时,解释变量具有随机缺失时的线性测量误差模型和部分线性测量误差模型的稳健参数估计问题。本文提出了一种在测量误差服从拉普拉斯分布时参数的损失修正估计,通过蒙特卡洛模拟和医学研究中的实证分析,显示本文所提的估计方法具有偏差小、精度高、稳健性强的优势。     

市场调查实践课调查方案设计与数据分析

调查活动主要是调查问卷的设计与数据的处理。问卷设计的难点在于用什么样的指标将调查的目的与内容体现出来,数据处理的难点是进行数据挖掘,使调查获得的第一手资料通过系列分组能展现出调查对象的特征。本文通过大学生人生观伦理观的调查案例,阐述了市场调查实践课的调查方案设计的基本思想及其调查结果分析,重点介绍了问卷的设计与数据的处理以及调查的实施情况。     

缺失数据处理方法的比较

文章简要介绍了常用的缺失数据处理方法,讨论了缺失数据的处理方法评价标准,并对各种缺失数据的处理方法的特点及适用情况进行了比较.     

抽样调查中无回答误差的有效控制

无回答误差是指在调查中由于各种原因，调查人员没能够从入选样本的单元处获得需要的信息，由于数据缺失造成估计量的偏误，这种偏误对调查数据的质量起着重要的影响。而这种现象在抽样调查中普遍存在，对估计量的危害也比较大，所以国际上对这方面的讨论一直比较热烈且对此问题的研究比较系统，而国内在这方面的研究尚不充分和完善，抽样调查实践中更是缺乏对无回答的有效控制手段。     

书面调查和网络调查的区别——两种数据收集方法的比较

随着网络调查的兴起,研究者必须确认网络调查与传统的纸笔调查效果是否相同。从数据收集质量和测量效果两个方面对纸笔调查与网络调查进行了比较。研究发现：纸笔调查与网络调查的测量模型和测量信度没有显著差异,但是,纸笔调查的测量均值高于网络调查,而网络调查的测量误差高于纸笔调查,网络调查的缺失率更低,纸笔调查与网络调查具有测量不变性。     

加强基层调查队建设问题的思考

近年来,随着我国经济社会的快速发展,各级党政机关和有关部门对统计调查的需求越来越多、要求越来越高,广大人民群众和国际社会对统计调查数据也越来越关注。这既是推动统计调查改革发展的有利机遇,也是统计调查系统面临的严峻挑战。作为基层调查工作者面对日益繁重的调查任务和调查户配合程度下降的两大难题,应对新情况、新要求,如何解决好加强基层调查队建设问题,充分发挥基层调查队的作用,我个人结合固原调查实际工作谈点粗浅看法：     

社会调查中无应答处理方法的分析与比较

文章研究了社会调查中导致样本数据缺失的单位无应答和项目无应答,分析了单位无应答的影响因素,并以德国主要城市报纸调查为例,比较了项目无应答的调整方法。研究发现,调查员对单位无应答的影响尤为重要,他有助于提升单位应答率;热卡插补法更能还原缺失数据的真实状态,对项目无应答有较好的调整作用。     

牛顿搜索算法在处理缺失值中的应用

在实证分析中遇到缺失值是一个非常不幸但又非常普遍的问题，不完整的数据将会严重影响到分析结果的正确性和准确性，甚至是增加错误结果的风险，对缺失值的处理是一个不可避免而又富有挑战性的研究课题。牛顿搜索算法是一个优秀的数据设算法，不需要考虑数据的缺失状态，可充分利用已有数据对缺失值进行修补，在改善参数估计、减少标准误差、提高统计检验功效方面有良好效果。     

浅谈农村全面小康监测工作中的难点与问题

一、监测工作中的难点与问题1.从指标数据来源层面看,部分指标难以取得确切数据。测算所用基础指标数据主要通过四种途径取得:一是农村住户调查资料;二是农业统计报表;三是专项调查资料;四是相关部门统计资料。从资料获取的难易程度看,难点在于第四种途径。如     

基于倾向值加权的网络调查总体参数Horvitz-Thompson估计

基于倾向值加权方法,构造了网络调查总体参数的Horvitz-Thompson无偏估计量,并对其方差进行了讨论,分析了利用插补缺失数据后的网络调查样本进行总体参数估计的方差来源,在网络调查总体参数估计方面提出了新的思路和方法。     

运用Gibbs抽样解决数据缺失

在数据仓库中,传统的缺失值处理方法均存在一定程度缺陷.文章主要论述将统计中的Gibbs抽样仿真概念应用到数据仓库中的缺失值处理中,在满足原有数据条件分布充足的条件下,能够解决传统数据仓库缺失值处理工作量大、数据偏置等问题,并且该方法能够使用excel完成仿真过程,简单易行,可操作性强,能够更为直接和有效的解决现实中的数据仓库中缺失值处理问题.     

户籍电脑化——我国经常性人口统计现代化的途径

我国的人口统计调查,是通过三种方法来进行的:一是十年一次的人口普查;二是定期的或一次性的抽样调查;三是以户口登记为基础的全面人口定期报表。前两种调查都已采用电子计算机处理数据,在不同程度上实现了现代化(还需要进一步完善).第三种调查如何逐步实现现代化,是当前人口统计工作中需要研究解决的一个重要课题。     

关于UPS的选用和维护问题

随着计算机在各领域的推广应用,人们把越来越多的数据信息贮存在计算机中。由于这些信息往往是机器进行加工处理后才能得到的,这就会出现如下一种情况:假如信息正处于计算机加工处理的过程中,电源突然掉电,将会使机器内存中的所有信息全部丢失。对用户而言由此而导致的损失是非常可惜的,甚至会造成重大经济损失。     

涉外社会调查浅议

近年来 ,我国的各类涉外社会调查活动发展迅速 ,调查机构遍布全国 ,调查内容极其广泛。这项活动的开展对促进外商来华贸易和投资 ,促进我国的改革开放发挥了积极作用。但涉外社会调查在我国作为一个新兴的行业 ,由于缺乏规范 ,在发展中也出现了良莠不齐、鱼龙混杂、规模不大、有些调查质量不高等问题 ,有的个人和机构利用涉外社会调查刺探国家机密 ,损害国家安全和社会公共利益 ;有的不具备调查能力 ,提供虚假资料 ,损害委托者利益 ,影响我国对外开放的良好形象 ;有的为争夺涉外调查项目 ,互相拆台 ,搞不正当竞争 ,等等。因此 ,加强监督管理…     

网络调查方法的质量评价及减少调查误差的措施研究

随着人类进入信息时代,越来越多的人将网络作为一种获得信息,交流信息的手段,网络调查也逐渐兴起.网络调查又称联机调查,它是指在各种计算机上通过互联网以电子邮件或其他形式对调查对象进行统计调查,并在网络上实施数据采集、传输、上报、交换等业务,对数据进行自动处理和汇总.网络调查是现代网络技术和传统调查技术相结合的产物,而且它是针对具有高度的信息收集能力的网络用户群体而产生的调查方式.