不同缺失率下的数据填补算法稳定性研究

为了研究数据缺失填补算法的准确性和稳定性，文章基于完全随机缺失对完整数据集按不同缺失率进行挖空处理，然后使用6种算法对缺失数据进行填补，并重复执行多次，对比分析其准确性和稳定性，给出相应的置信区间。结果表明，混合迭代填补法准确性优于K近邻、缺失森林、加权K近邻等算法，其稳定性仅次于缺失森林；随着缺失率的增大，该算法准确性高的优势更加显著；当缺失率小于5%时，该算法的准确性和稳定性达到最佳。     

基于聚类关联规则的缺失数据处理研究

 本文提出了基于聚类和关联规则的缺失数据处理新方法,通过聚类方法将含有缺失数据的数据集相近的记录归到一类,然后利用改进后的关联规则方法对各子数据集挖掘变量间的关联性,并利用这种关联性来填补缺失数据。通过实例分析,发现该方法对缺失数据处理,尤其是海量数据集具有较好的效果。     

含非随机缺失数据的面板数据参数估计方法

抽样调查领域常采用对多个受访者进行跟踪调查得到面板数据,进而对总体特性进行统计推断,在面板数据中常含缺失数据,大多数处理面板缺失数据的软件都是直接删去含缺失值的受访者以得到完全数据集,当数据缺失机制为非随机缺失时会导致总体参数估计结果有偏。本文针对数据缺失机制为非随机缺失情形下,如何对面板数据进行统计分析进行了阐述,主要采用的是基于模型的似然推断法,对目标变量、缺失指示变量和随机效应向量的联合分布建模,在已有选择模型和模式混合模型的基础上,引入随机效应,研究目标变量期望的计算方法,并研究随机效应杂合模型下参数的估计方法,在变量分布相对简单的情形下给出了用极大似然法推断总体参数的估计步骤,最后通过模拟分析比较方法的优劣。     

基于随机森林模型的分类数据缺失值插补

缺失数据是影响调查问卷数据质量的重要因素,对调查问卷中的缺失值进行插补可以显著提高调查数据的质量。调查问卷的数据类型多以分类型数据为主,数据挖掘技术中的分类算法是处理属性分类问题的常用方法,随机森林模型是众多分类算法中精度较高的方法之一。将随机森林模型引入调查问卷缺失数据的插补研究中,提出了基于随机森林模型的分类数据缺失值插补方法,并根据不同的缺失模式探讨了相应的插补步骤。通过与其它方法的实证模拟比较,表明随机森林插补法得到的插补值准确度更优、可信度更高。     

缺失数据处理方法的比较

文章简要介绍了常用的缺失数据处理方法,讨论了缺失数据的处理方法评价标准,并对各种缺失数据的处理方法的特点及适用情况进行了比较.     

缺失数据插补处理方法的比较研究

文章将抽样调查中由于项目无回答所形成的缺失数据作为研究着眼点,从矩阵运算的角度分析了此类缺失数据带来的危害,在此基础上,对缺失数据插补处理方法的基本问题进行了讨论,分析了各种单一插补方法特点及局限性,并介绍了简单随机抽样、分层随机抽样条件下缺失数据多重插补的抽样推断方法,在此基础上,对常用的单一插补和多重插补方法进行了比较,并对简单随机抽样、分层随机抽样条件下缺失数据单一插补与多重插补方法的效率进行了实证研究与比较。     

人口普查数据缺失插补技术

样本中的数据缺失势必会造成估计量精度的损失。为了尽可能减小损失,需要对缺失数据进行必要的弥补性处理。质量评估调查中出现的缺失数据有三种情况:住房单元未调查;个人的一部分人口统计特征遗漏;个人的匹配状态或住处状态悬而未决。对于上面说的数据缺失三种情况中的第三种情况,即由于悬而未决导致的数据缺失,在普查登记调查中也会存在,也要对其进行处理。因此,应用人口普查数据缺失插补方法技术,能解决上述问题。     

逆概率加权多重插补法在中国居民收入影响因素中的应用研究

在分位回归中,自变量缺失是一种重要的数据缺失问题。尤其当自变量缺失与因变量有关时,已有的多重插补法会带来有偏估计。通过逆概率加权,将修正后的逆概率加权多重插补法用于模拟研究和应用研究。模拟研究表明,在不同的缺失相关程度下,逆概率加权多有效解决了同工作时间的数据缺失问题,同时重插补法能够有效减少估计偏差,并在一定程度上保证估计量的有效性。在中国综合社会调查(CGSS)的应用研究中,该方法有效解决了周工作时间的数据缺失问题,同时揭示了影响年收入的重要因素,说明该方法具有一定的应用价值。     

缺失数据下的逆概率多重加权分位回归估计及其应用

数据缺失问题普遍存在于应用研究中。在随机缺失机制假定下,本文从模型推断角度出发,针对线性缺失分位回归模型,提出一种新的有效估计方法——逆概率多重加权（IPMW）估计。该方法是在逆概率加权（IPW）估计的基础上,结合倾向得分匹配及模型平均思想,经过多次估计,加权确定最终参数估计结果。该方法适用于响应变量是独立同分布或独立非同分布的情形,并适用于绝大多数缺失场景。经过理论推导及模拟研究发现,IPMW估计量在继承IPW估计量的优势上具有更稳健的性质。最后,将该方法应用于含有缺失数据的微观调查数据中,研究了经济较发达的准一线城市中等收入群体消费水平的影响因素,对比两种估计方法的估计结果及置信带,发现逆概率多重加权估计量的标准偏差更小,估计结果更稳健。     

缺失数据的多重插补方法

插补法是对缺失数据的调整方法,多重插补弥补了单一插补的缺陷,采用一系列可能的数据集来填充每一个缺失数据值,反映了缺失数据的不确定性。本文介绍了多重插补程序的三种数据插补方法:回归预测法、倾向得分法和蒙特卡罗的马氏链方法,并且对多重插补的插补效果进行推断,指出多重插补存在的问题。     

多重稳健的高维缺失数据插补研究

缺失数据问题在抽样调查、社会科学、流行病等领域普遍存在，这一现象在高维情形下更为凸显；而与高维数据相伴的信息海量化、复杂化、异质化、缺失化等问题，给高维缺失数据理论建立及应用研究带来极大的挑战。如何建立一种稳健高效的高维缺失数据插补方法，已成为当今学者研究的焦点。为解决上述难题，创新性地将增强的逆概率加权(IPW)与加法模型融合，应用协变量平衡倾向评分法(CBPS)估计缺失概率，提出一种适用于高维缺失数据的可加协变量平衡倾向评分插补方法(CBPS-AM),期望对高维缺失问题提供更为有效的解决方案。CBPS-AM方法不仅具有多重稳健性，避免了模型误设带来的严重风险，还能够有效规避高维缺失数据具有厚尾分布而使得传统插补方法失效的问题，起到双重降维的作用，实现建模的灵活性与广泛适用性。其次借鉴广义矩估计方法和Backfitting算法给出了CBPS估计算法，该算法简洁有效，能够提高数据使用效率与插补精度，同时研究了估计量的理论性质，对比了所提方法与传统方法在数值模拟中的表现。最后将CBPS-AM方法分别应用于存在缺失的HIV临床试验数据和中国新冠病毒感染疫情数据中，建立科学的综合评价以及针对...     

匹配模型框架下价格指数质量的调整方法

从匹配模型法数据的缺失机理分析，匹配模型法编制的价格指数的质量偏差可分为两部分：一部分为样本内的质量偏差；一部分为样本外的质量偏差。文章对匹配模型框架下质量偏差的数据模式和数据缺失机理进行了探讨和研究，在此基础上针对不同的数据缺失机理，提出了均值插补法、交叠插补法和hedonic插补法三种质量调整方法。     

化整为零：一种新的市场调查问卷设计思路

本文介绍一种新的市场调查思路———分割问卷设计法,它是解决市场调查中问卷过长问题的一种有效方法。常用的分割问卷设计方法是将原始调查问卷分割为一个核心部分和几个次要部分,每一个被调查者只需回答核心部分的问题和一个随机分配的次要部分的问题。这种问卷设计方法,可以减小被调查者的负担,提高被调查者的合作意愿和调查结果的质量。分割问卷设计方法一般与缺失数据插补方法结合使用。     

Gibbs抽样在不同缺失率下的参数估计

文章针对林学研究中缺失数据下的线性模型,依据贝叶斯原理,推导出了基于MCMC方法参数估计的迭代公式。并以8个杉木固定样地观测资料的真实数据建立模型,通过s-plus软件编程,进行计算机模拟和有关的数据分析,得到了不同缺失率下参数的估计结果。     

多重插补处理缺失数据方法的理论基础探析

本文在比较单一插补法与多重插补法的基础上,对多重插补处理方法的理论基础做了深入探讨,并介绍了多重插补法处理缺失数据的基本思想.     

处理缺失数据的分数插补法研究

随着研究中对数据质量要求的提高,缺失数据相关问题也越来越受到重视.文章主要论述了处理缺失数据的方法之一——分数插补法的理论基础,并在此基础上研究了分数热卡插补法及其方差估计,同时使用模拟数据,对分数热卡插补法的实现过程做了模拟研究.通过对比实验,可以得到分数热卡插补法能够在保证原有数据分布的基础上,减少因插补造成的偏差,提供更加准确的插补结果.     

基于PLS算法的带缺失值顾客满意度指数的测评

文章提出了"权重新定"的一种缺失值处理方法,分析了带缺失值的顾客满意度指数测评步骤;详细阐述了Wold的PLS算法的求解过程,基于该算法实现了顾客满意度指数测评系统(简称MyPLS);最后,分别利用MyPLS与SmartPLS软件对某食品公司的带缺失值数据进行处理,在迭代次数上前者较SmartPLS少,在潜变量估计值相关系数、权重系数等方面与SmartPLS具有一致性,为国内带缺失值顾客满意度指数测评研究和应用提供了方法。     

公共突发事件应急统计中纵向缺失数据的处理方法研究

缺失数据在公共突发事件的应急统计数据分析中是一个非常普遍的问题,针对公共突发事件应急统计数据的纵向数据集,提出用一种得分匹配法来进行缺失值的借补处理,并将其与另外三种缺失值处理方法进行比较,即构造各种不同缺失率的随机缺失数据集,分别运用得分匹配法、LVCF借补法、无条件均值抽取法和多重借补法四种不同的缺失值处理方法对每一种缺失率的数据集缺失值进行处理。统计分析结果表明,少数缺失值发生时,LVCF法简单而有效;随着缺失率的增加,均值抽取法和多重借补法处理效果更稳定;得分匹配法借补缺失值考虑了变量之间的相关性,最大程度地利用了数据集包含的信息,同时考虑了含缺失值变量的实际变异程度,因此取得了最好的借补效果。     

顾客满意度测评中的缺失值处理方法

文章通过对缺失值处理方法分析,提出基于分类的三种缺失值处理方法:分类的均值插补法、分类的多重插补法和分类的K-means方法;该方法先对被调查对象问卷中的满意度关键字段按照分值进行分类,然后在同类中的缺失值用该类的平均值、多重插补值和聚类中心值替代.最后,以某食品公司为研究对象,对顾客满意度测评模型进行带缺失值的实证分析.结果表明:基于分类的三种缺失值处理方法优于均值插补法、多重插补法和K-means方法,为顾客满意度指数测评中的缺失值处理提供了实用方法.     

响应变量随机缺失下超高维模型特征筛选方法

文章研究了响应变量随机缺失下超高维数据的特征筛选方法,Kolmogorov过滤方法被用于筛选构建倾向得分函数的重要协变量,据此推广逆概率加权技术构建响应变量随机缺失下的边际特征筛选过程.通过大样本理论证明了所提出的筛选方法在一些常规条件下具有确定性筛选性质,利用蒙特卡罗模拟研究了其有限样本性质,并将其应用于实际数据问题来验证评估其实用价值.