Yule-Walker估计法的敏感性分析及其稳健改进

时间序列自回归AR模型的Yule-Walker估计法在建模过程中易受离群值的影响,导致计算结果与实际不相符。针对这一现象,基于均值和方差的稳健组合估计量构建了稳健自相关函数,得到了时序AR模型的稳健Yule-Walker估计算法,以克服离群值的影响。并对此方法进行了模拟与金融数据实证检验,模拟和实证检验均表明:当时序数据中不存在离群值时,传统估计方法与稳健估计方法得到的结果基本保持一致;当数据中存在离群值时,运用传统估计方法得到的结果出现较大变化,而运用稳健估计方法得到的结果基本不变。这说明相对于传统估计方法,稳健估计方法能有效抵抗离群值的影响,具有良好的抗干扰性和高抗差性。     

稳健AR模型的构建及其在金融时序中的应用

时间序列自回归AR模型在建模过程中易受离群值的影响,导致计算结果与实际不相符。针对这一现象,运用FQn统计量对传统自相关函数进行改进,构建出自回归AR模型的稳健估计算法,以克服离群值的影响,并对此方法进行了模拟和实证分析。模拟和实证分析均表明:当时序数据中不存在离群值时,传统估计方法与稳健估计方法得到的结果基本保持一致;当数据中存在离群值时,运用传统估计方法得到的结果出现较大变化,而运用稳健估计方法得到的结果基本不变.这说明相对于传统估计方法,稳健估计方法能有效抵抗离群值的影响,具有良好的抗干扰性和高抗差性。     

众包竞赛的离群点欺诈用户检测算法研究

针对基于众包竞赛中欺诈者筛除机制的黄金标准数据方法、聚类算法的离群点检测算法K-means-算法和DBSCAN算法,依赖于事先给定的参数,不适合大规模数据集检测的问题,提出基于样本连通图的离群点检测算法。首先,给定参数并重复调用离群点检测算法,识别数据中的离群点和聚类;其次,计算每两个样本之间的连接次数和连接强度,在给定连接强度下界δ的情况下,根据样本的连接强度来构造样本之间的连通图;最后,根据样本之间的连通情况,对样本进行标记,把样本标记为聚类节点和离群点。实验结果表明,该算法在放宽参数设置范围的情况下,缩小了离群点个数波动范围,提升了离群点识别准确率,优于对比算法和经典的黄金标准数据方法。     

考虑离群值的非寿险准备金进展法

在准备金进展法中考虑离群值的影响,采用残差箱线图对相关索赔数据进行离群值检验,然后选择合适插补值的一种改进的准备金进展法,并对支付率和结转率的尾部数据加以修正,改善了最后两个进展年的异常值不能被有效识别的情况。研究表明:改进的准备金进展法能够有效识别和调整增量已决赔款和增量已报案赔款中的离群值,降低了离群值对最终准备金评估结果的影响。     

基于粗糙集聚类的高维离群点数据挖掘算法

本文回顾了离群点数据挖掘技术的研究成果,对高维离群点数据挖掘技术进行了简要的评述,并在此基础上提出了一种基于粗糙聚类的高维离群点数据挖掘的算法,采用粗糙集方法选择出最优子空间,直接对高维空间数据进行聚类,并对子空间离群点进行数据挖掘,取得了良好的效果。     

稳健因子分析方法的构建及比较研究

由于传统因子分析方法对离群值较敏感,导致计算结果与实际不相符。针对这一现象,本文运用FAST-MCD方法对传统因子分析方法进行改进,构建出因子分析的稳健算法,以克服离群值的影响,并对此方法进行了模拟和实证分析。模拟和实证分析结果均表明：因子旋转前后,当数据中不存在离群值时,传统因子分析与稳健因子分析得到的结果基本保持一致;当数据中存在离群值时,运用传统因子分析得到的结果出现较大变化,而运用稳健因子分析方法得到的结果基本不变,这说明相对于传统因子分析方法,稳健因子分析方法能有效抵抗离群值的影响,具有良好的抗干扰性和高抗差性。     

基于T2统计量的离群值识别方法

0引言在大样本量的调查中,常会有若干个“异常”的观测结果,它们相对于数据集重心的偏离很大,以致看起来似乎不应该属于该批数据。因此在对调查数据进行统计分析的时候,通常要预先对所搜集的数据进行整理和检查,其中重要的一步就是要识别出那些偏离正常值的“离群数据”,以确保     

基于粗糙集指数加权的聚类算法

对数据集进行聚类分析的过程中,由于数据属性包含的个性信息有差异,导致数据属性在聚类过程中的作用会有差异。因此需要对属性进行加权,以减少包含共性较多的属性对聚类结果的影响。目前粗糙集加权研究仅用于属性值为少数离散值的情况。提出了基于粗糙集指数加权算法,对原始数据集进行预处理,并设计实验,验证了该算法能够有效提高聚类算法的正确率。     

两种时间序列孤立点挖掘方法的比较

一、引言在传统的观念中 ,孤立点常常被认为是噪声数据或无用数据 ,常用的方法是排除这些干扰数据。然而 ,一个对象的噪声可能是另一个对象的信号 ,这可能导致重要的隐藏信息丢失。因此 ,识别这些孤立点 ,挖掘隐藏信息也是我们的一个重要的任务。从实际来看 ,它能用于欺诈监测 ,例如探测不寻常的信用卡使用或电信服务。此外 ,在市场分析中用于确定极低或极高收入的客户消费行为 ,或在医疗分析中用于发现多种治疗方式的不寻常的反应。这样 ,孤立点地探测和分析是一个有趣的数据挖掘任务 ,被称为孤立点挖掘 (OutlierMining)。目前该领域已取…     

基于特征提取的多指标面板数据聚类方法

多指标面板数据能够较全面的提供研究对象的信息和数据特征,但复杂的数据结构也给其聚类分析带来了一定的困难.针对这一问题,文章提出了基于特征提取的多指标面板数据聚类方法,该方法将能够表征面板数据动态变化的“绝对量”特征、“波动”特征、“偏度”特征、“峰度”特征及“趋势”特征引入动态聚类算法中,可以避免以往采用欧式距离进行聚类的局限性,还可以处理带有缺失数据的面板数据,同时大大提高了聚类效率,并最大限度地保证时间维度信息不受损失.利用该方法分析了2001至2013年我国不同省份道路交通事故的不平衡状况,通过实证分析表明该方法能够解决多指标面板数据聚类的问题.     

商业银行客户细分模型的建立与应用

文章尝试利用层次分析法(AHP)建立商业银行基于客户价值的客户细分模型,通过对已有客户数据分析、挖掘,将客户进行细分,从而确定银行的核心客户和主要客户群体,并制定相应的营销策略。     

稳健主成分分析在区域技术创新生态系统绩效评价中的应用

鉴于区域技术创新数据中存在指标多而且数据常出现"离群点"的现状,利用稳健主成分方法对于区域技术创新绩效数据进行分析,该方法拚弃了传统方法中均值和方差易受离群点影响的缺点,使得众多区域指标的综合评价更为准确,更能反映客观现实.     

知识服务业背景下客户市场细分的聚类方法研究

知识服务业所面对的客户需求具有知识化、专业化及问题解决为导向等特征.在服务过程中客户具有高度的参与性和交互性.文章指出客户市场细分不再局限于事前细分方法中常见的客户行为特征变量,提出了基于态度变量的客户市场事后细分策略,介绍了传统聚类方法K-means和SOFM方法在市场细分中的应用,以及支持向量机聚类方法(SVC)进行知识服务业的客户市场细分的过程.应用SVC方法于具体行业实施客户市场细分,并对比三种方法的聚类效果,说明了该方法对于提高判别分类效果的能力和优势.     

绩效信息自适应融合的熵模型

本文提出了一种用于绩效信息融合的熵模型,依据融合的几个步骤即绩效信息提取、关联与决策,描述了基于熵模型进行绩效信息自适应融合的新方法。该方法可对从各对象源(如数据库、知识库等)中提取的绩效特征属性信息进行模型化,对这些模型化的绩效属性信息进行关联后,得到准确的决策。本文为了实现多对象源的绩效信息融合,还提出了EAA算法。     

客户需求分布的非线性统计分析模型

文章提供了一种统计分析模型,能够对高新技术设备制造商研究客户构成及其资产规模分布和营业规模分布提供帮助,使厂家能以低成本和及时快捷的方式获得特定客户需求信息。此模型利用国家发布的社会经济统计资料,数据来源准确,易在企业咨询中推广应用。     

数据挖掘运用的理论与技术

一、引言数据挖掘是指一个完整的过程 ,该过程从大型数据库中挖掘先前未知的 ,有效的 ,可实用的信息 ,并使用这些信息做出决策或丰富知识。数据挖掘环境可示意如下图 1。数据挖掘与传统的数据分析 (如查询、报表、联机应用分析 )的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知 ,有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的 ,既数据挖掘是要发现那些不能靠直觉发现的信息或知识 ,甚至是违背直觉的信息或知识 ,挖掘出的信息越是出乎意料 ,就可能越有价值。在商…     

马克威分析系统介绍(二)数据导入、数据处理、图形图表、电子表格

马克威分析系统界面简介马克威分析系统共有四种界面,分别是:数据窗口、变量窗口、挖掘窗口、结果窗口,用户通过这四种界面,与数据和结果进行交互,完成数据分析过程:1.数据窗口,用于对数据进行展示和简单编辑,在此窗口中进行马克威分析系统的数据导入、数据处理和统计分析:2.变量窗口,用于展示数据的格式和属性,供用户对变量名、变量类型、数据长度、小数位数、缺失值、标签值、排列方式、变量尺度等数据格式和属性进行设置和更改。3.挖掘窗口,与数据窗口相对应,该窗口主要用于数据挖掘算法建模,通过挖掘算法节点的拖拉,可以直观、方便的建…     

数据归约中基于因子分析的属性选择方法

属性子集的选择是数据归约的重要内容.文章提出了一种基于因子分析的无监督属性选择的方法.通过该方法选出的属性子集能够最好地覆盖数据的自然分类.在统计模拟中,这种方法也得到了很好的效果.     

求学满意属性特征及其实证研究

本文分析了求学满意度的属性特征及其内涵,然后构建了求学满意度综合评价理论模型,在理论模型的基础上,以某一省份的求学满意度数据,对该省份的求学满意度属性特征进行了实证研究,得出了影响求学满意度属性因素为教师知识水平、教学环境、培养环节、高校服务、教学组织和管理且影响程度不同等结论。     

考虑离群值的对数正态模型及其预测分布的蒙特卡洛法实现

在非寿险业务中,对未决赔款准备金进行预测分布有着重要的意义,而流量三角形中离群值的存在,会影响未决赔款准备金预测的准确性。在流量三角形中引入离群值,运用基于正态分布的一元离群值检测的孤立点挖掘算法挖掘离群值,考虑不同位置下离群值的不同修正办法。将蒙特卡洛法应用于未决赔款准备金评估的对数正态模型中,通过数值算例加以实证分析,得到了未决赔款准备金的预测分布。