HD-SIS超高维数据稳健变量筛选

超高维变量筛选是统计研究的重要问题。提出一种新的变量筛选方法 HD-SIS,该方法不需要模型假设,并且对异常值有很强的抵抗能力,具有很好的稳健性。在Monte Carlo模拟中,对5种方法进行了比较,即确保独立筛选法、确保独立秩筛选法、稳健秩相关系数筛选法、距离确保独立筛选法和鞅差相关系数确保独立筛选法。模拟结果显示HD-SIS有更优良的表现。     

基于切片逆回归的稳键降维方法

经典的充分降维方法对解释变量存在异常值或者当其是厚尾分布时效果较差,为此,经过对充分降维理论中加权与累积切片的分析研究,本文提出了一种将两者有机结合的稳健降维方法：累积加权切片逆回归法（CWSIR）。该方法对自变量存在异常值以及小样本情况下表现比较稳健,并且有效避免了对切片数目的选择。数值模拟结果显示CWSIR要优于传统的切片逆回归（SIR）、累积切片估计（CUME）、基于等高线的切片逆回归估计（CPSIR）、加权典则相关估计（WCANCOR）、切片逆中位数估计（SIME）、加权逆回归估计（WIRE）等方法。最后,我们通过对某视频网站真实数据的分析也验证了CWSIR的有效性。