一元线性回归模型中参数估计的几种方法比较

文章介绍了一元线性回归模型中参数估计的最小二乘法、最小一乘法、全最小一乘法的意义,并指出了他们的优缺点。在对具体模型进行参数估计时,分别将最小一乘法、全最小一乘法的计算转化为线性规划问题及非线性优化问题,最后利用优化软件LINGO计算相应的参数。     

最小一乘法与最小二乘法:基于例证的比较

最小一乘法和最小二乘法在估计思想上有着相同的渊源,而在实现路径上有所不同:最小一乘法属于中位数回归而最小二乘法属于均值回归。由此,两者在回归系数的计算、回归直线的性质和估计结果等方面均存在较大差异。文章在理论分析的基础上进一步通过例证,将两类估计方法在计算、优劣势和应用范围做出了比较和分析。     

正交最小一乘回归系数估计的算法

文章对正交最小一乘方法的背景与原理进行了介绍,给出了线性模型参数估计算法和在MATLAB中的实现,通过计算机仿真说明了本文算法的正确性和正交最小一乘法较正交最小二乘法更具有稳健性.     

灰色GM（1，1）模型中参数估计的几种方法比较

文章介绍了灰色GM（1,1）模型中参数估计的最小二乘准则、全最小二乘准则、最小一乘准则和折扣最小一乘准则,并指出了它们的优缺点。将这四种方法分别用于递增序列、递减序列、振荡序列的灰色GM（1,1）模型参数估计中,并通过优化软件LINGO计算出相应的参数。最后,对建立的灰色GM（1,1）模型的精度进行了比较,结果显示：最小一乘准则和折扣最小一乘准则模型参数估计明显优于最小二乘准则、全最小二乘准则模型参数估计。     

直接离散GM(1,1)模型参数估计的最小一乘法

研究表明直接离散GM(1,1)模型对严格服从非齐次指数规律的原始数据进行建模,所得到的模型具有完全相同的指数规律,而当数据为近似非齐次指数规律时,直接离散GM(1,1)模型拟合效果较差.主要原因是直接离散GM(1,1)模型采用最小二乘法估计参数,稳健性不好造成的.针对这一情况,文章提出利用最小一乘法估计直接离散GM(1,1)模型参数改进上述不足.对比实验表明,采用最小一乘法估计参数得到的直接离散GM(1,1)模型具有很好的精度和稳健性,使得直接离散GM(1,1)模型的适用范围得到进一步扩大.     

折扣最小一乘法在建立回归预测模型中的应用

一、最小一乘法与折扣最小一乘法众所周知 ,误差平方和最小 (通常称为最小二乘法 )是最常用的最优拟合准则之一 ,它的理论相当完善 ,十分广泛地应用于建立各种预测模型 ,通常可获得满意的效果。但它也存在一些局限性 ,如果当数据中夹杂有异常数据时 ,由此得到的预测模型“失真”较大。鉴于最小二乘法的这些不足 ,人们引入了“稳健性”概念加以刻划 ,而“误差绝对值和最小”准则 (或称为最小一乘法 )能克服上述缺点 ,其稳健性比最小二乘法要强得多 ,具有不可替代的优越性。如在时间序列预测中 ,预测变量 ｙ的变化主要依赖时间变量ｔ ,对于给…     

基于最小一乘准则的GM（1，1）模型边值分析

针对边值修正灰色GM（1,1）模型的边值修正项求解采用最小二乘准则,而模型检验采用最小一乘准则,提出基于最小一乘准则的边值修正项求解,从而在一定程度上统一了边值修正项求解和模型精度检验的准则,并得到了最小一乘准则确定边值修正项的灰色GM（1,1）模型．实例表明,最小一乘准则确定边值修正项比最小二乘准则确定边值修正项得到的灰色GM（1,1）模型具有更高的精度。     

无偏灰色Verhulst直接建模模型及其优化

针对本身已经具有饱和状态过程且近似满足Logistic函数形式的原始序列,提出通过对其进行倒数生成,建立无偏灰色Verhulst直接建模模型,并在此基础上将同时优化背景值和灰导数与利用"最小一乘法"确定响应系数的方法相结合,从而建立了优化的无偏灰色Verhulst直接建模模型。结果表明,该模型对满足Logistic函数形式的曲线进行模拟和预测具有完全重合性。通过实例分析说明了优化的新模型的可行性和有效性。     

基于全最小一乘准则的灰色GM(1,1)模型参数估计

针对传统灰色GM(1,1)模型参数估计的最小二乘算法稳健性较差,在分析全最小一乘算法比最小二乘算法具有较好稳健性的基础上,文章提出了基于全最小一乘准则估计灰色GM(1,1)模型的参数,并给出了求解该算法的LINGO程序和规划模型方法,并通过计算实例说明,基于全最小一乘准则参数估计的GM(1,1)模型比传统灰色GM(1,1)模型具有更好的抗干扰性能和受异常点影响小的优点,从而拓展了灰色GM(1,1)模型的适用范围。     

基于全最小一乘准则的灰色GM（l，1）模型参数估计

针对传统灰色GM（1,1）模型参数估计的最小二乘算法稳健性较差,在分析全最小一乘算法比最小二乘算法具有较好稳健性的基础上,文章提出了基于全最小一乘准则估计灰色GM（1,1）模型的参数,并给出了求解该算法的LINGO~序和规划模型方法,并通过计算实例说明,基于全最,J、一乘准则参数估计的GM（1,1）模型比传统灰色GM（1,1）模型具有更好的抗干扰性能和受异常点影响小的优点,从而拓展了灰色GM（1,1）模型的适用范围。     

光滑正交最小一乘估计算法的比较

文章首先对线性EV模型与正交最小一乘估计进行了简要介绍.对正交距离的绝对值作了一个近似处理,使得原先不可导的目标函数为一个光滑可导的函数,从而极大地方便了求解.并且通过与正交最小二乘估计、正交最小-乘估计及其算法比较,分析了这种光滑正交最小-乘的合理性和有用性.     

偏最小一乘回归算法及其应用

一、最小一乘法简介 在回归分析中,经验回归方程的待估参数一般是通过最小二乘算法来确定的,即以样本误差的平方和达到最小为条件;但是理论上回归模型的待估参数应以误差的绝对值和达到最小为条件,即通过最小一乘算法来确定.     

改进的最小二乘估计确定高精度参数模型

本文将2006年研究生数学建模竞赛进一步讨论,对于观测数据不准确的情况,先将模型转化为差分形式,用最小二乘估计方法对参数进行估计,当设计矩阵呈病态时,最小二乘估计变的不是很精确。为了提高参数估计的精确度,笔者提出了一种改进方法,对迭代矩阵进行Jacobi迭代预处理,再用最小二乘法进行求解,仿真结果表明预处理后的参数估计更为准确。     

最小一乘法与最小二乘法:历史与差异

一、最小二乘法与最小一乘法的原理设有n个数a1,a2,…,an,要找一个数x反映这组数的总的情况,使得x和这n个数的偏差     

关于统计学教学中"最小二乘法"的讲授

文章着重从动态数列分析、回归分析的有关模型参数估计以及相关分析中相关系数公式的推导中阐明“最小二乘法”的应用和讲授 ,并强调“最小二乘法”本身并不是一种模型预测方法 ,而是一种模型参数估计方法 ,并在推导皮尔逊的乘积动差法相关系数中得到应用     

基于一元线性回归模型异方差对加权最小二乘法的考察

作为普通最小二乘法的改进,加权最小二乘法用于存在异方差问题的线性回归模型的参数估计。文章通过对加权最小二乘估计量、加权最小二乘变换的分析,并结合实际例证研究发现,加权最小二乘法在应用中存在一些不足之处,因而当发现模型存在异方差时使用加权最小二乘法是存在风险的。     

经典最小二乘与全最小二乘法及其参数估计

文章对经典的最小二乘和全最小二乘方法的应用背景、原理与算法进行了介绍,给出了它们在线性模型参数估计中的MATLAB实现;通过计算机仿真说明了在模型中所有变量均具有不可忽略的误差时,全最小二乘法得到的参数估计更接近于真实参数.     

基于投影思想的拟合优度测算方法

投影是非常重要的数学分析思想,无论是在降维,还是在最优化分析中都具有非常广泛的应用.自创立以来,最小二乘法逐渐成为数理统计的基础性方法之一.文章将投影思想应用于最小二乘法,与传统的基于导数的最小二乘法进行对比分析,并构建了基于投影思想的拟合优度测算方法,以期对传统的拟合优度进行补充.     

分位数回归的思想与简单应用

与普通最小二乘法相比,分位数回归能够更充分反映自变量对不同部分因变量的分布产生不同的影响,有着十分广泛的应用。本文对分位数回归的思想做了一个简单的介绍,并将其方法应用于恩格尔定律中,比较分析了异方差和同方差下分位数回归与普通最小二乘法的优劣。     

浅谈加权最小二乘法及其残差图——兼答孙小素副教授

一、引言最近,看到《统计研究》2005年第11期上刊登的孙小素的文章《加权最小二乘法残差图问题探讨———与何晓群教授商榷》一文,以下简称《孙文》感触良多。首先衷心感谢孙小素副教授阅读了我们的《应用回归分析》作节,同时感谢《统计研究》给我们提供这样一个好的机会,使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图,指出第三类残差图的局限性。直接的问题是三类残差图的作用,而更深层的原因应该是对加权最小…