Logistic半参数变系数模型的变量选择

Logistic半参数变系数模型是半参数变系数模型的推广,它可以解决分类型因变量变系数模型的建模问题.文章利用B样条函数逼近非参数部分,引入LASSO、SCAD以及MCP惩罚函数,基于组坐标下降算法,对参数部分和非参数部分进行变量选择.最后进行了Monte Carlo模拟.     

正则化Beta回归及其应用

随着计算机的飞速发展,极大地便利了数据的获取和存储,很多企业积累了大量的数据,同时数据的维度也越来越高,噪声变量越来越多,因此在建模分析时面临的重要问题之一就是从高维的变量中筛选出少数的重要变量。针对因变量取值为(0,1)区间的比例数据提出了正则化Beta回归,研究了在LASSO、SCAD和MCP三种惩罚方法下的极大似然估计及其渐进性质。统计模拟表明MCP的方法会优于SCAD和LASSO,并且随着样本量的增大,SCAD的方法也将优于LASSO。最后,将该方法应用到中国上市公司股息率的影响因素研究中。     

两维异质性面板分位数模型的双惩罚回归方法

文章关注系数具有两维异质性结构的面板分位数模型,基于SCAD惩罚函数和MCP惩罚函数提出双惩罚最小加权绝对偏差目标函数,同时进行参数估计和两维异质性结构识别。利用ADMM算法求解目标函数,并使用BIC信息准则通过网格搜索选择最优调节参数。根据蒙特卡洛模拟结果验证了所提方法的有限样本性质,最后使用实际数据检验了其应用效果。研究结果表明：所提出的方法能够准确识别两维异质性结构,并且Post估计量的参数估计精确度接近于Oracle估计量。     

广义线性模型下ERIC方法的调节参数选择

变量选择是处理高维统计模型的基本方法,在回归模型的变量选择中SCAD惩罚函数不仅可以很好地选择出正确模型,同时还可以对参数进行估计,而且还具有oracle性质,但这些良好的性质是基于选择出一个合适的调节参数。目前国内关于调节参数选择方面大多是对于变量选择问题的研究,针对广义线性模型基于SCAD惩罚使用新方法 ERIC准则进行调节参数的选择,并证明在一定条件下经过该准则选择的模型具有一致性。模拟与实证分析结果表明,ERIC方法在选择调节参数方面优于传统的CV准则、AIC准则和BIC准则。     

变量选择方法在医疗保险赔付评估中的应用

在广义线性模型假设下,采用Lin的医疗费用模型,运用LASSO和SCAD方法对影响医疗费用的因素进行选择,并对两种方法的有效性进行了对比分析,从而得出影响医疗保险赔付的重要因素,解决了高维变量带来的一系列问题。实例分析中,由于两种方法注重的统计性质不同,选择出的解释变量略微不同,但通过分析发现,两种结果都具有良好的解释性,反映了影响医疗保险赔付的重要信息。     

再生核Hilbert空间展开的函数型回归模型变量选择

针对协变量是函数型、响应变量是标量的多元函数型回归模型,文章提出了函数系数基于再生核Hilbert空间展开的变量选择方法。首先,利用带积分余项的泰勒展开式和再生核Hilbert空间内积性质将模型转化为结构化形式,其次,通过自适应弹性网惩罚对结构化模型中的组间和组内系数同时进行压缩。结果证明了这种压缩估计具有Oracle性质,蒙特卡罗模拟结果也显示新方法在不同样本量、不同噪声和变量相关性干扰下均优于基于普通基函数展开的变量选择方法,且尤其适用于原始协变量高度相关的情形。最后,通过分析一个商品房平均销售价格影响因素数据演示了新方法的应用。     

有监督Group MCP方法的稳健性研究

采用模拟研究的方法,分别在回归预测和分类判别两种环境中讨论有监督Group MCP方法在不同结构错误率下进行变量选择和结果预测的稳健性,并通过实例分析讨论本研究的实用价值。研究结果显示:忽略解释变量的内部结构进行变量选择会导致很多重要解释变量被疏漏,而有监督Group MCP方法考虑了解释变量的内部结构,在结构错误率低于5%时会以不低于98%的概率选出有效解释变量,并尽量降低冗余变量被选择的可能性。此研究成果为有监督Group MCP方法的合理使用奠定了基础。     

Cox模型中的自适应Lasso变量选择

文章考虑了Cox模型的变量选择问题,将自适应Lasso引入到Cox模型中,提出了一类基于惩罚偏似然函数的自适应Lasso估计程序.通过对偏似然函数采用二阶泰勒展开式近似逼近,运用循环坐标下降法求解模型,再借助牛顿-拉普森迭代完成整个变量选择和估计过程.随机数据模拟的结果表明该方法具有优良的变量选择效果,并适用于高维数据.     

函数性广义线性模型曲线选择的正则化方法

本文对函数性广义线性模型曲线选择的正则化方法进行了较全面地综述,并比较了各种方法的性质。结果发现,函数性广义线性模型曲线选择问题具有群组效应,另外可能具有高维数据性质。同时通过数据模拟发现,Group Bridge、Group MCP、Elastic Net和Mnet表现出较好的数值结果。     

零膨胀计数数据函数型部分变系数模型

在实际数据分析中经常会遇到零膨胀计数数据作为响应变量与函数型随机变量和随机向量作为预测变量相关联。本文考虑函数型部分变系数零膨胀模型 (FPVCZIM),模型中无穷维的斜率函数用函数型主成分基逼近,系数函数用B-样条进行拟合。通过EM 算法得到估计量,讨论其理论性质,在一些正则条件下获得了斜率函数和系数函数估计量的收敛速度。有限样本的Monte Carlo 模拟研究和真实数据分析被用来解释本文提出的方法。     

Cox模型中基于Model-X Knockoffs的高维控制变量选择方法

在生物医学、临床试验和流行病学等领域的研究中，由于获得生存数据的试验设计、观测时间的局限，以及观测对象在进入或退出试验时的个体差异等方面的原因，与所关注事件的发生时间相关的数据经常存在右删失。基于右删失生存数据解析协变量和生存时间的关系时，应用最为广泛的统计模型是Cox模型。随着科学技术的进步，数据收集变得越来越容易，导致数据库规模越来越大、复杂性越来越高，数据的维度通常可以达到成百上千维，甚至更高。文章提出一种Cox模型中基于Model-X Knockoffs的高维控制变量选择方法。首先基于Knockoffs框架建立一个Knockoffs变量，并基于原始协变量和其相应的Knockoffs变量构造一个正则化的目标函数，然后通过求解目标函数的最优解构造一个统计量和基于数据的阈值，最后进行变量选择。模拟分析和实证研究结果表明：所提方法可以在变量选择的同时提供可靠的FDR控制，优于传统的LASSO方法。     

纵向数据下半参数Logistic模型的变量选择

文章研究了纵向数据半参数Logistic回归模型的估计问题,给出了模型中未知参数和未知函数的估计方法,探讨了参数部分的变量选择问题,并对不同的变量选择方法进行比较分析.从模拟结果可以看到,文中给出的方法具有很好的估计效果.     

变系数模型的快速变量选择方法

文章结合基函数逼近以及光滑门限估计方程,提出了一个变系数模型的快速变量选择方法。该变量选择方法可以同时进行系数估计和变量选择,并且不需要解任何凸优化问题。因此,与已有方法相比,该方法在实际应用中将大大减少计算量。     

缺失数据下部分线性模型的变量选择

文章结合基函数逼近以及惩罚最小二乘技术,对响应变量随机缺失下的部分线性模型,给出了一个变量选择方法.并结合局部二次逼近,得到了一个迭代算法.数据模拟表明该变量选择方法是可行的.     

SCAD惩罚逻辑回归的财务预警模型

作为一种有监督学习算法,逻辑回归(Logistic Regression,LR)已广泛应用于财务危机建模分析,但其潜在地存在过拟合问题。鉴此,提出一种基于平滑削边绝对偏离(Smoothly Clipped Absolute Deviation,SCAD)惩罚逻辑回归的财务预警模型。该模型不仅能很好地解决模型过拟合问题,而且还可以同时实现变量选择和模型系数估计,并提高了模型的解释性。结合沪深股市A股制造业上市公司的财务数据进行实证研究,同时对比一般的L1正则化和L2正则化逻辑回归模型的预警效果进行实证分析,实验结果表明:SCAD惩罚逻辑回归模型具有较好的分类效果和较强的经济解释能力。     

Logistic回归的双层变量选择研究

变量选择是统计建模的重要环节,选择合适的变量可以建立结构简单、预测精准的稳健模型。本文在logistic回归下提出了新的双层变量选择惩罚方法——adaptive Sparse Group Lasso(adSGL),其独特之处在于基于变量的分组结构作筛选,实现了组内和组间双层选择。该方法的优点是对各单个系数和组系数采取不同程度的惩罚,避免了过度惩罚大系数,从而提高了模型的估计和预测精度。求解的难点是惩罚似然函数不是严格凸的,因此本文基于组坐标下降法求解模型,并建立了调整参数的选取准则。模拟分析表明,对比现有代表性方法Sparse Group Lasso、Group Lasso及Lasso,adSGL法不仅提高了双层选择精度,而且降低了模型误差。最后本文将adSGL法应用到信用卡信用评分研究,对比logistic回归,它具有更高的分类精度和稳健性。     

二值型响应与连续型响应联合建模的变量选择

由于多重响应变量之间可能存在相关性,文章考虑对二值型响应变量和连续型响应变量进行联合建模.利用probit模型,对二值响应引入了具有正态分布的潜变量,从而对多重响应建立线性回归模型,能得到二值变量和连续变量的联合分布.然后考虑回归系数会存在稀疏性,通过对似然函数加惩罚,从而对二重响应的回归系数和协方差矩阵的逆矩阵进行估计,达到参数估计和变量选择的目标.文中目标函数基于l1惩罚.数值模拟和实证分析展示了所提出方法的良好性质.     

函数型分位数回归的局部稀疏估计方法

文章针对协变量为函数型变量、响应变量为标量的函数型分位数回归模型，提出了一种局部稀疏估计方法，能够正确识别系数函数的空子区域。首先，使用非对称拉普拉斯分布构建函数型分位数回归的全似然函数，并通过EM算法推导出系数向量的估计式。其次，提出了一种结合样条光滑和平滑剪切绝对偏离方法的局部稀疏估计方法。数值模拟结果表明，该估计方法在不同的样本量和分位点下均优于传统方法。最后，通过实例证明了估计方法的有效性。     

半连续Bernoulli-Normal两部回归模型及变量选择

对于半连续两部回归模型,考虑到每个回归部分都会遇到大量的候选变量,此时就会产生变量选择问题。文章主要研究Bernoulli-Normal两部回归模型的变量选择问题。先提出一种基于Lasso惩罚函数的变量选择方法,但考虑到Lasso估计量不具有Oracle性质,又提出一种基于自适应Lasso惩罚函数的变量选择方法。模拟结果表明：两种方法都能够对Bernoulli-Normal回归模型进行变量选择,且自适应Lasso方法的变量选择性能往往优于Lasso方法。     

非正态分布下具有自回归误差项的空间自回归模型变量选择研究

将变量选择引入空间计量模型,讨论具有自回归误差项的空间自回归模型的变量选择问题。在残差非正态独立同分布的条件下,通过最大化信息熵,提出空间信息准则,并证明其在该模型变量选择中具有一致性。模拟研究结果表明:无论对单个系数还是对全部系数,空间信息准则都能很好识别,且与经典的赤池准则相比具有较大的优势。因此,空间信息准则是一种更为有效的变量选择方法。