一元线性回归模型中参数估计的几种方法比较

文章介绍了一元线性回归模型中参数估计的最小二乘法、最小一乘法、全最小一乘法的意义,并指出了他们的优缺点。在对具体模型进行参数估计时,分别将最小一乘法、全最小一乘法的计算转化为线性规划问题及非线性优化问题,最后利用优化软件LINGO计算相应的参数。     

最小一乘准则在试验设计建模分析中的应用

本文分析了应用最小二乘准则进行试验设计建模分析所存在的局限,给出了利用NM单纯型法迭代求解最小一乘参数估计的算法,并将最小一乘法应用到试验设计的建模分析中。     

光滑正交最小一乘估计算法的比较

文章首先对线性EV模型与正交最小一乘估计进行了简要介绍.对正交距离的绝对值作了一个近似处理,使得原先不可导的目标函数为一个光滑可导的函数,从而极大地方便了求解.并且通过与正交最小二乘估计、正交最小-乘估计及其算法比较,分析了这种光滑正交最小-乘的合理性和有用性.     

基于全最小一乘准则的灰色GM(1,1)模型参数估计

针对传统灰色GM(1,1)模型参数估计的最小二乘算法稳健性较差,在分析全最小一乘算法比最小二乘算法具有较好稳健性的基础上,文章提出了基于全最小一乘准则估计灰色GM(1,1)模型的参数,并给出了求解该算法的LINGO程序和规划模型方法,并通过计算实例说明,基于全最小一乘准则参数估计的GM(1,1)模型比传统灰色GM(1,1)模型具有更好的抗干扰性能和受异常点影响小的优点,从而拓展了灰色GM(1,1)模型的适用范围。     

正交最小一乘回归系数估计的算法

文章对正交最小一乘方法的背景与原理进行了介绍,给出了线性模型参数估计算法和在MATLAB中的实现,通过计算机仿真说明了本文算法的正确性和正交最小一乘法较正交最小二乘法更具有稳健性.     

基于全最小一乘准则的灰色GM（l，1）模型参数估计

针对传统灰色GM（1,1）模型参数估计的最小二乘算法稳健性较差,在分析全最小一乘算法比最小二乘算法具有较好稳健性的基础上,文章提出了基于全最小一乘准则估计灰色GM（1,1）模型的参数,并给出了求解该算法的LINGO~序和规划模型方法,并通过计算实例说明,基于全最,J、一乘准则参数估计的GM（1,1）模型比传统灰色GM（1,1）模型具有更好的抗干扰性能和受异常点影响小的优点,从而拓展了灰色GM（1,1）模型的适用范围。     

偏最小一乘回归算法及其应用

一、最小一乘法简介 在回归分析中,经验回归方程的待估参数一般是通过最小二乘算法来确定的,即以样本误差的平方和达到最小为条件;但是理论上回归模型的待估参数应以误差的绝对值和达到最小为条件,即通过最小一乘算法来确定.     

折扣最小一乘法在建立回归预测模型中的应用

一、最小一乘法与折扣最小一乘法众所周知 ,误差平方和最小 (通常称为最小二乘法 )是最常用的最优拟合准则之一 ,它的理论相当完善 ,十分广泛地应用于建立各种预测模型 ,通常可获得满意的效果。但它也存在一些局限性 ,如果当数据中夹杂有异常数据时 ,由此得到的预测模型“失真”较大。鉴于最小二乘法的这些不足 ,人们引入了“稳健性”概念加以刻划 ,而“误差绝对值和最小”准则 (或称为最小一乘法 )能克服上述缺点 ,其稳健性比最小二乘法要强得多 ,具有不可替代的优越性。如在时间序列预测中 ,预测变量 ｙ的变化主要依赖时间变量ｔ ,对于给…     

直接离散GM(1,1)模型参数估计的最小一乘法

研究表明直接离散GM(1,1)模型对严格服从非齐次指数规律的原始数据进行建模,所得到的模型具有完全相同的指数规律,而当数据为近似非齐次指数规律时,直接离散GM(1,1)模型拟合效果较差.主要原因是直接离散GM(1,1)模型采用最小二乘法估计参数,稳健性不好造成的.针对这一情况,文章提出利用最小一乘法估计直接离散GM(1,1)模型参数改进上述不足.对比实验表明,采用最小一乘法估计参数得到的直接离散GM(1,1)模型具有很好的精度和稳健性,使得直接离散GM(1,1)模型的适用范围得到进一步扩大.     

基于最小一乘准则的GM（1，1）模型边值分析

针对边值修正灰色GM（1,1）模型的边值修正项求解采用最小二乘准则,而模型检验采用最小一乘准则,提出基于最小一乘准则的边值修正项求解,从而在一定程度上统一了边值修正项求解和模型精度检验的准则,并得到了最小一乘准则确定边值修正项的灰色GM（1,1）模型．实例表明,最小一乘准则确定边值修正项比最小二乘准则确定边值修正项得到的灰色GM（1,1）模型具有更高的精度。     

灰色GM（1，1）模型中参数估计的几种方法比较

文章介绍了灰色GM（1,1）模型中参数估计的最小二乘准则、全最小二乘准则、最小一乘准则和折扣最小一乘准则,并指出了它们的优缺点。将这四种方法分别用于递增序列、递减序列、振荡序列的灰色GM（1,1）模型参数估计中,并通过优化软件LINGO计算出相应的参数。最后,对建立的灰色GM（1,1）模型的精度进行了比较,结果显示：最小一乘准则和折扣最小一乘准则模型参数估计明显优于最小二乘准则、全最小二乘准则模型参数估计。     

空间回归模型估计中的最小二乘法

空间回归模型由于引入了空间地理信息而使得其参数估计变得复杂,因为主要采用最大似然法,致使一般人认为在空间回归模型参数估计中不存在最小二乘法。通过分析空间回归模型的参数估计技术,研究发现,最小二乘法和最大似然法分别用于估计空间回归模型的不同的参数,只有将两者结合起来才能快速有效地完成全部的参数估计。数理论证结果表明,空间回归模型参数最小二乘估计量是最佳线性无偏估计量。空间回归模型的回归参数可以在估计量为正态性的条件下而实施显著性检验,而空间效应参数则不可以用此方法进行检验。     

协整平滑转移回归中的线性检验 ——基于完全修正最小二乘法的扩展

 在解释变量内生条件下,Choi,Saikkonen(2004)使用动态最小二乘法估计协整平滑转移回归模型,并基于动态最小二乘的估计结果构造 统计量检验协整向量的非线性。本文系统解析了 的构造并指出其不足,针对这一不足,本文将动态最小二乘法扩展为完全修正的最小二乘法,并进而基于完全修正的最小二乘法估计结果构造 统计量检验协整向量的非线性。本文的仿真试验表明,在有限样本下, 与 的检验势没有显著差异,但 的水平扭曲小于 。     

基于一元线性回归模型异方差对加权最小二乘法的考察

作为普通最小二乘法的改进,加权最小二乘法用于存在异方差问题的线性回归模型的参数估计。文章通过对加权最小二乘估计量、加权最小二乘变换的分析,并结合实际例证研究发现,加权最小二乘法在应用中存在一些不足之处,因而当发现模型存在异方差时使用加权最小二乘法是存在风险的。     

基于偏最小二乘方法的信用评分模型

为了克服信用评分模型中自变量存在多重共线性的问题,文章引入了偏最小二乘思想,即采用限制预测值的偏最小二乘回归和偏最小二乘Logistic回归来创建信用评分模型。偏最小二乘法可以同时解释因变量和自变量的变异,在实际运用中更加符合信用评分模型的特点。实证研究的结果表明,利用这两种偏最小二乘模型创建的信用评分模型具有很好的准确性和稳定性。     

加权最小二乘法残差图问题探讨——与何晓群教授商榷

一、问题的提出残差图在回归分析中有着重要作用,其用途可以归纳为两个方面:一是检验线性回归模型中与随机误差项有关的假定(同方差与不自相关)是否成立;二是当这些基本假定违背时,验证对模型参数估计的修正方法是否有效。如果残差图不能发挥其中的任一作用,那就没有任何意义。何晓群在讲授用加权最小二乘法消除异方差问题时给出了一张加权最小二乘估计的残差图(见《应用回归分析》第102页。何晓群,刘文卿编著.2001年6月由中国人民大学出版社出版),在我看来,这张图既不能用来检验原始数据是否存在异方差问题,又不能验证加权最小二乘法在消除…     

浅谈加权最小二乘法及其残差图——兼答孙小素副教授

一、引言最近,看到《统计研究》2005年第11期上刊登的孙小素的文章《加权最小二乘法残差图问题探讨———与何晓群教授商榷》一文,以下简称《孙文》感触良多。首先衷心感谢孙小素副教授阅读了我们的《应用回归分析》作节,同时感谢《统计研究》给我们提供这样一个好的机会,使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图,指出第三类残差图的局限性。直接的问题是三类残差图的作用,而更深层的原因应该是对加权最小…     

关于统计学教学中"最小二乘法"的讲授

文章着重从动态数列分析、回归分析的有关模型参数估计以及相关分析中相关系数公式的推导中阐明“最小二乘法”的应用和讲授 ,并强调“最小二乘法”本身并不是一种模型预测方法 ,而是一种模型参数估计方法 ,并在推导皮尔逊的乘积动差法相关系数中得到应用     

再议普通最小二乘法下回归系数的性质

文章从个体的角度探讨最小二乘法下的估计系数的形成过程,得出一元回归中的回归系数是各个数据点上的回归系数以Epanechnikov核函数进行加权形式的。并在此基础上,推广到多元线性回归,多元线性回归的估计系数本质上为一种参数结构,它是以自变量的协方差矩阵为联系纽带,将回归系数分解为偏回归系数,将两个系数结合起来澄清目前计量经济学和统计学的一些问题。     

线性化最小二乘法的理论分析

在处理非线性回归中的可线性化回归问题时,最小二乘法给了我们很大的方便.但是人们在享有其优点的同时,忽视了其结果准确性问题.文章从理论上给出了线性最小二乘法结果准确性的证明并提出了解决方法.