利用最小二乘估计法拟合回归直线时的两点思考

在统计学上 ,最先将回归这个词作为统计学术语使用的是生物学家高尔顿（ＦｒａｎｃｉｓＧａｌｔｏｎ,１８２２～１９１１年）。他收集整理有关父亲身高和儿子身高的大量资料时 ,发现了一个事实 ,即个子高的父亲们 ,其儿子们的平均身高不高于父亲们的平均身高 ;反之 ,个子矮的父亲们 ,其儿子们的平均身高不低于父亲们的平均身高。就是说第二代的身高向平均方向“回归”。此后 ,“回归”这个词就逐渐成为统计术语了。最小二乘估计法作为求回归方程式中参数的最一般方法 ,由其计算而得的估计量在所有的线性无偏估计中具有最小方差性 ,这也是高…     

关于利用最小二乘估计法拟合回归直线的两点思考

例如,假设我们希望检验学生的平均成绩是否可以用学生父母亲的收入进行解释。表1－列出了8个（虚构的）样本点,图1－1是这8个样本点的散点图。     

普通最小二乘法的几何分析

普通最小二乘估计法是在目标函数残差平方和的达到最小的条件下求得参数估计量,从向量的角度来说,普通最小二乘法将被解释变量分解成了相互正交的两部分,通过空间向量理论和几何分析方法,可以在欧氏空间内对普通最小二乘估计量进行求解,这种分析过程使普通最小二乘法变得更直观。     

线性化最小二乘法的理论分析

在处理非线性回归中的可线性化回归问题时,最小二乘法给了我们很大的方便.但是人们在享有其优点的同时,忽视了其结果准确性问题.文章从理论上给出了线性最小二乘法结果准确性的证明并提出了解决方法.     

对判断矩阵对数最小二乘法的新思考

对数最小二乘法(LLSM)是层次分析法中的一种排序方法.文章从判断矩阵秩的角度来推导对数最小二乘法的排序向量.     

最小一乘法与最小二乘法:基于例证的比较

最小一乘法和最小二乘法在估计思想上有着相同的渊源,而在实现路径上有所不同:最小一乘法属于中位数回归而最小二乘法属于均值回归。由此,两者在回归系数的计算、回归直线的性质和估计结果等方面均存在较大差异。文章在理论分析的基础上进一步通过例证,将两类估计方法在计算、优劣势和应用范围做出了比较和分析。     

再议普通最小二乘法下回归系数的性质

文章从个体的角度探讨最小二乘法下的估计系数的形成过程,得出一元回归中的回归系数是各个数据点上的回归系数以Epanechnikov核函数进行加权形式的。并在此基础上,推广到多元线性回归,多元线性回归的估计系数本质上为一种参数结构,它是以自变量的协方差矩阵为联系纽带,将回归系数分解为偏回归系数,将两个系数结合起来澄清目前计量经济学和统计学的一些问题。     

基于一元线性回归模型异方差对加权最小二乘法的考察

作为普通最小二乘法的改进,加权最小二乘法用于存在异方差问题的线性回归模型的参数估计。文章通过对加权最小二乘估计量、加权最小二乘变换的分析,并结合实际例证研究发现,加权最小二乘法在应用中存在一些不足之处,因而当发现模型存在异方差时使用加权最小二乘法是存在风险的。     

基于SSA-MGF的偏最小二乘回归预测模型

本文利用奇异谱分析和均生函数方法,对原始序列重构延拓作为自变量,原始序列作为因变量,建立偏最小二乘回归预测模型,并与主成分最小二乘回归预测模型比较分析.实例结果表明,该方法具有预测精度高、稳定好的特点.     

协整平滑转移回归中的线性检验 ——基于完全修正最小二乘法的扩展

 在解释变量内生条件下,Choi,Saikkonen(2004)使用动态最小二乘法估计协整平滑转移回归模型,并基于动态最小二乘的估计结果构造 统计量检验协整向量的非线性。本文系统解析了 的构造并指出其不足,针对这一不足,本文将动态最小二乘法扩展为完全修正的最小二乘法,并进而基于完全修正的最小二乘法估计结果构造 统计量检验协整向量的非线性。本文的仿真试验表明,在有限样本下, 与 的检验势没有显著差异,但 的水平扭曲小于 。     

基于偏最小二乘方法的信用评分模型

为了克服信用评分模型中自变量存在多重共线性的问题,文章引入了偏最小二乘思想,即采用限制预测值的偏最小二乘回归和偏最小二乘Logistic回归来创建信用评分模型。偏最小二乘法可以同时解释因变量和自变量的变异,在实际运用中更加符合信用评分模型的特点。实证研究的结果表明,利用这两种偏最小二乘模型创建的信用评分模型具有很好的准确性和稳定性。     

基于可行性最小二乘方法的动态组合投资决策

文辛基于可行性最小二乘方法,给出一种新的动态组合投资决策模型,一方面将组合投资决策中的优化问题转化为统计学中经典的回归分析问题;另一方面采用可行性最小二乘方法进行求解,得到时变的组合投资权重.实证结果表明,动态组合投资决策模型不仅能反映金融资产收益和风险的时变特征,且在收益、风险和Sharpe比率方面都优于传统的组合投资决策模型.     

基于双重筛选的多因变量偏最小二乘逐步回归方法

偏最小二乘回归分析中的一个重要问题是变量选择,文章的主要目的是给出一种改进的多元数据分析方法-基于双重筛选的多因变量偏最小二乘逐步回归方法。双重筛选方法既能按自变量对因变量的关系进行分组,又能使每个自变量对各组因变量的作用反映出来。因此基于双重筛选的多因变量偏最小二乘回归方法能很好地处理这类问题,并得到好的结果。     

两种修正生长曲线参数的最小二乘估计方法

文章提出了一种修正Logistic模型和修正Gompertz模型的分布参数估计方法,这种方法以最小二乘法为基础,推导求解分布参数的方程组.利用这两个曲线模型中有两个以线性形式出现的参数的特点,使同时求解四个参数的问题简化为只需要同时求解两个参数的问题,并给出求解这两个参数偶合的方程组的二重二分迭代法.预测实例表明,这种方法对于迭代初值的选取要求较低、求解速度快、精度高.此外,修正的生长模型更适合于拟合S形的数据,因而其适用范围比传统模型更广.     

基于偏最小二乘回归的COCOMO模型校准方法

准确的软件成本估算对于实现软件项目的科学管理具有重要意义.COCOMO系列模型是当今实践应用最为广泛的成本估算模型之一.文章针对现有的COCOMO模型参数校准方法只对比例因子和指数因子进行校准的问题,为了更好的实现COCOMO模型本地化,提出了一种基于偏最小二乘回归的参数校准方法,解决了工作量乘数因子的校准问题.采用COCOMO81原始建模数据库对校准后的参数进行验证,结果表明该方法能够明显提升COCOMO模型的估算精度.     

基于加权组合和最小二乘法改进的GM(2,1)模型

文章通过分析指出了GM(2,1)模型存在灰微分方程与白化方程无法匹配以及默认经过初始值点的缺陷;利用权值p1、p2对一阶灰导数和背景值进行加权组合,建立了GM(2,1)模型的一种改进形式--GM(2,1,p1,p2模型,利用最小二乘法确定系统最终参数.实例验证结果表明,改进GM(2,1)模型具有更高的预测精度.     

一种新的非正态联合分布拟合方法:基于g-h分布的蒙特卡罗模拟

用g-h分布进行证券收益率的拟合有很多优点,但是它现有的拟合算法是用分位数分别对其参数进行拟合的,不能使前四阶矩与目标分布一致;同时在给出相关系数矩阵的情况下传统方法不能拟合出符合给定相关系数矩阵的联合分布.为了解决这一不足,文章提出了g-h分布联合分布拟合的蒙特卡罗算法.实证表明,这一方法能够很好地拟合多证券收益率的联合历史分布,在分别给定均值、标准差、偏度、峰度相关系的情况下能得出符合这些参数的模拟分布.