马克威分析系统介绍(三)——统计分析

马克威分析系统统计分析概述马克威分析系统的统计分析模块分为两大部分:基础统计、高级统计,共有统计算法51种,其中基础统计算法24种,高级统计算法27种。统计分析模块的51种算法分列在“统计分析”菜单下,用户可以通过对菜单的简单选择来完成对相应算法的调用。统计分析操作可以在数据窗口、变量窗口或是结果窗口下进行。马克威分析系统基础统计简介马克威分析系统支持的基础统计算法有如下几类:1.数据描述类:包括均值分析、描述分析、频率分析和交叉表。这类分析通常输出待分析变量的一些基础统计量或是分布图表,用于对数据进行较为直观的…     

一种基于粗糙集属性约简的入侵检测算法

文章论述了一种基于粗糙集理论的入侵检测的算法,通过将粗糙集中的属性约简算法用于入侵检测数据的挖掘,建立了基于粗糙集的入侵检测系统模型,并对基于属性频度的约简算法进行了改进,提高了数据挖掘效率,有助于得到简洁高效的数据。     

马克威分析系统简介(五)马克威分析系统在统计局系统的应用

统计局系统应用综述马克威分析系统自诞生以来,一直与统计局有着良好的合作,国家统计局和各个地方统计局签约购买马克威分析系统以后,这种合作得到了加强。目前,在统计局的各个科室:国民经济统计处、投资处、外贸处、经济核算处、城市调查队、农村调查队、普查中心等等科室,马克威分析系统得到了广泛的应用,一批又一批使用马克威分析系统的数据分析案例不断涌现。这一期我们简要介绍一些马克威分析系统在统计局系统中的应用案例,希望能够抛砖引玉。在统计局各个科室的应用一、国民经济综合统计处1.进度分析,如工业总产值、六个行业指标在一…     

基于统计相关的缺失值数据处理研究

针对数据库中存在缺失值的问题,文章建立了统计相关分析与机器学习相结合的缺失数据处理方法.首先利用统计相关性对原始数据进行分析,找出与缺失值属性相关度较大的属性,提取这些属性的已知值作为训练数据建立模型,再利用建立起来的模型估算缺失值.以UCI数据库真实的数据为例进行仿真,并对比分析了支持向量机、神经网络和决策树三种机器学习算法,实验结果表明利用相关度较大的已知属性值来训练学习,其估算值精度明显提高.     

基于粗糙集指数加权的聚类算法

对数据集进行聚类分析的过程中,由于数据属性包含的个性信息有差异,导致数据属性在聚类过程中的作用会有差异。因此需要对属性进行加权,以减少包含共性较多的属性对聚类结果的影响。目前粗糙集加权研究仅用于属性值为少数离散值的情况。提出了基于粗糙集指数加权算法,对原始数据集进行预处理,并设计实验,验证了该算法能够有效提高聚类算法的正确率。     

两个潜变量的PLS算法模拟数据分析

文章根据结构方程模型(SEM)数学定义和偏最小二乘法(PLS)形式规范,构建具有两个潜变量的路径模型。在潜变量因子值和模型系数假设已知情况下,生成仿真观测数据。通过对PLS算法处理结果与假设数据之间偏差比较,分析PLS算法特性,结果发现:潜变量模式选择影响测量模型系数;结构模型系数比假设值偏小而测量模型系数比假设值偏大。根据该算法特性可以优化模型,以获得更好的模型解释与预测能力。     

数据挖掘技术在保险客户理赔分析中的应用

利用数据挖掘技术对海量保险业务数据进行风险分析,通过交叉频数分析确定保单中风险较大的因素,为管理决策提供依据;将决策树、支持向量机、逻辑斯蒂回归和贝叶斯网络四种数据挖掘算法用于保户分类,提取高风险保户的潜在特征,挖掘理赔概率较高的保户群,以指导保险公司的营销工作。     

VisIOT:经济产业结构关联可视分析

随着经济统计范畴的精细化以及统计过程的规范化，能够表现产业部门关联关系的投入产出表（Input-Output Table，IOT）数据日益呈现复杂的结构特性。传统的统计分析软件和方法形式单一且传达信息有限，面对结构关系复杂且动态演化的IOT数据，难以有效分析和探索其中复杂的关联模式和时序变化特征。为此，本文设计面对IOT数据分析的经济产业结构关联特征可视化工具——VisIOT。首先设计双向力导向图描述国民经济结构关联网络，并对网络中的顶点和边进行属性映射；然后构建时序矩阵图，直观地展示IOT数据差异，并按照时间顺序依次嵌入时序IOT数据；其次利用部门间的经济技术联系优化模块度算法，发掘经济产业结构关联网络中隐含的社区特征，有效支持关联紧密的社区结构的交互式分析和提取；再次设计社区时序演变图展示社区结构特征的时序演化规律，借助交叉优化算法和前后向的扫描算法，优化部门排列顺序，减少部门交叉，帮助用户有效捕捉社区结构的稳定性；最后有效设计交互方案关联可视化界面，实现经济产业结构关联可视分析系统。本文利用真实的IOT数据进行实例分析与验证，结果表明本文设计的VisIOT系统能够帮助用户快速识别和感知IOT数据中隐含的关联特征及其时序变化规律。     

马克威分析系统简介(六)——马克威分析系统在统计局系统的应用(续)

统计局系统的其他应用在前面(五)中我们简要的介绍了马克威统计分析系统在统计局的各个科室:国民经济统计处、投资处、外贸处、经济核算处、城市调查队、农村调查队、普查中心等等科室的应用,随着马克威分析系统的推广应用,一批又一批数据分析案例不断涌现。下面我们简要介绍其中的一些马克威分析系统在统计局系统中的经典案例。16城市社会经济发展指标衡量长江三角洲地区是我国最大的经济核心区之一,指以上海为中心,包括江苏南部和中部,浙江东北部16个城市的地区,长江三角洲地区是我国经济发展最快的地区之一,其城市化的进程和城市社会发展…     

基于本体的数据挖掘在CRM决策分析中的应用

文章融合了本体和数据挖掘技术,提出了基于本体的数据挖掘决策分析模型,利用基于本体的数据挖掘方法从语义层面上实现了对用户数据的挖掘,实现了用户数据的高效率和高精度挖掘,并根据挖掘结果进行决策分析,根据分析结果为用户提供基于RSS聚合的个性化服务.     

基于遗传算法和支持向量机的银行个人信用评估

文章提出将重要属性变量提取和模型参数选择两方面的工作同步进行,引入遗传算法作为筛选属性变量和调节参数的优化算法,建立基于遗传算法和支持向量机的个人信用评估模型,并选取现实数据对模型做了实证分析,并将其与不筛选属性变量只优化参数的情况进行比较,实验结果表明,该模型只需要少量重要的属性变量就能具有很好的预测效果。     

适用于稳态优化的多属性效用函数决策方法

经典的多属性效用函数决策方法仅仅依据属性权重和属性值进行决策,缺少对决策变量调整幅值的考虑。这样易造成因决策变量(通常为控制回路的设定值)变动幅度过大而影响被控过程稳定性的后果,因而限制了该方法在过程控制系统稳态优化中的应用。文章提出了一种适合于过程控制系统稳态优化的多属性效用函数决策方法。该方法综合考虑了属性权重、属性值以及决策变量的变化情况。仿真结果验证了该方法的有效性和实用性。     

基于属性聚类的项目评分预测推荐算法研究

针对用户评分数据稀疏性问题,在对项目进行聚类基础上,文章提出了基于属性聚类的项目评分预测推荐算法。算法从项目属性特征相似性分析出发,利用K-Means聚类算法对项目进行聚类。对于未评分项目找到其所属的类簇;利用用户对类簇中其它项目的评分预测该用户对未评分项目的评分,达到降低数据稀疏性目的;最后结合协同过滤思想为用户提供推荐服务。实验结果表明,与基于项目评分预测的推荐算法相比,文章的算法推荐精度显著提高。     

H∞滤波算法在国家财政收入预测中的应用

文章通过建立回归模型,并采用H∞滤波算法对国家财政收入中各分项收入对总收入进行估计预测,结果证明:以各种税收作为变量,运用H∞滤波算法对国家财政收入的预测值和实际值的误差较小,可以运用H∞滤波算法预测国家财政收入.     

基于PLS算法的带缺失值顾客满意度指数的测评

文章提出了"权重新定"的一种缺失值处理方法,分析了带缺失值的顾客满意度指数测评步骤;详细阐述了Wold的PLS算法的求解过程,基于该算法实现了顾客满意度指数测评系统(简称MyPLS);最后,分别利用MyPLS与SmartPLS软件对某食品公司的带缺失值数据进行处理,在迭代次数上前者较SmartPLS少,在潜变量估计值相关系数、权重系数等方面与SmartPLS具有一致性,为国内带缺失值顾客满意度指数测评研究和应用提供了方法。     

二值型响应与连续型响应联合建模的变量选择

由于多重响应变量之间可能存在相关性,文章考虑对二值型响应变量和连续型响应变量进行联合建模.利用probit模型,对二值响应引入了具有正态分布的潜变量,从而对多重响应建立线性回归模型,能得到二值变量和连续变量的联合分布.然后考虑回归系数会存在稀疏性,通过对似然函数加惩罚,从而对二重响应的回归系数和协方差矩阵的逆矩阵进行估计,达到参数估计和变量选择的目标.文中目标函数基于l1惩罚.数值模拟和实证分析展示了所提出方法的良好性质.     

大数据的整合分析方法

大数据具有数据来源差异性、高维性及稀疏性等特点,如何挖掘数据集间的异质性和共同性并降维去噪是大数据分析的目标与挑战之一。整合分析（Integrative Analysis）同时分析多个独立数据集,避免因地域、时间等因素造成的样本差异而引起模型不稳定,是研究大数据差异性的有效方法。它的特点是将每个解释变量在所有数据集中的系数视为一组,通过惩罚函数对系数组进行压缩,研究变量间的关联性并实现降维。本文从同构数据整合分析、异构数据整合分析以及考虑网络结构的整合分析三方面梳理了惩罚整合分析方法的原理、算法和研究现状。统计模拟发现,在弱相关、一般相关和强相关三种情形下, Group Bridge、 Group MCP、Composite MCP都表现良好,其中 Group Bridge的假阳数最低且最稳定。最后,将整合分析用于研究具有来源差异性的新农合家庭医疗支出,以及具有超高维、小样本等大数据典型特征的癌症基因数据,得到了一些有意义的结论。     

基于改进型神经网络的经济预测算法

文章在分析宏观经济系统特点之后,针对现有的采用人工神经网络对经济系统进行建模和预测的方法的存在的问题,提出了一种改进型神经网络算法。首先对训练样本集采用链式数据重组的方法进行扩充;然后在构造的人工神经网络输入层单元引入经济指标的增长率数据和时间窗口序列数据。仿真结果表明,文章提出的算法能够增强神经网络的泛化能力,提高系统模型的预测精度。     

基于海量数据的变量聚类算法的构造

文章在信息技术迅速发展的背景下,研究针对海量数据计算机软硬件存储、分析的不足.通过研究海量数据下变量关联问题,构造了基于海量数据的学习算法.并通过数据模拟了该算法的应用原理.     

基于链式方程的收入变量 缺失值的多重插补

 在经济计量分析中收入变量的缺失值是一个普遍而又较难处理的问题。传统的处理方法往往导致分析结果具有系统偏差。本文提出利用基于链式方程的多重插补方法来处理收入变量的缺失值问题。文章将此方法应用到一个实际数据集,然后通过分析插补后的数据集讨论了此方法的性质,并和其他多重插补方法进行了比较。结果表明：基于链式方程的多重插补能在一定程度上纠正推断结果的系统偏差,并且给出恰当的标准差估计。