双截面数据及其处理思路初探

在研究一组相关总体的数量特征、总体间数量特征关系和总体间的交互作用时,如果从每一总体中抽取一组截面数据,就形成了一种不同于截面数据、时间序列数据和面板数据的特殊数据类型——双截面数据,虽然现有数据处理方法可以为双截面数据提供“面板化”、“平行化”和方程结构耐抗性检验等处理思路,但鉴于双截面数据的特殊性,每种思路都有不完善的地方,充分挖掘双截面数据所隐含信息的针对性处理方法仍需进一步探索。     

微观统计数据的公布及相应的保密方法

 目前国内大多数的数据机构所收集的微观数据并没有直接对外公布。由于微观层面的数据不能为外界所用，也造成了一种社会资源的浪费。我们认为，数据机构采用适当的方法对微观数据进行处理，然后对外公布处理后的数据，可以较好地解决这一问题。一方面，原始数据的绝大部分信息得以保存，可以满足不同数据用户的需求，另一方面，数据泄密的风险也被大大降低，能满足数据机构保密的需求。 本文的主要目的是通过介绍国外的一些普遍采用的微观数据的处理方法，以期为国内数据机构公布微观数据提供理论依据和一些切实可行的操作方法，借以抛砖引玉，希望可以引起国内数据机构的重视及统计学界在此方面更多的研究和创新。     

空间自回归模型及其估计

一、概述在经济问题研究中,处理的数据分为时间序列数据、截面数据以及截面时间序列数据(paneldata)。应用回归模型研究变量之间的关系时,假设模型满足Gauss_Markov条件,当研究的数据是时间序列时,通常会存在序列相关,针对这类数据的问题可以结合时间序列分析的方法加以处理;如     

基于非线性主成分和聚类分析的综合评价方法

针对传统主成分在处理非线性问题上的不足，阐述了传统方法在数据无量纲化中“中心标准化”的缺点和处理“线性”数据时的缺陷，给出了数据无量纲化和处理“非线性”数据时的改进方法，并建立了一种基于“对数中心化”的非线性主成分分析和聚类分析的新的综合评价方法。实验表明，该方法能有效地处理非线性数据。     

Alpha正态分布及其在环境污染中的应用

目前,对实际数据的处理常采用一些对称分布,如正态分布和t分布等,而这种对称分布所给出的结果往往并不能令人满意。偏分布常用来处理有偏重尾数据,基于传统正态分布,提出一种处理偏态和重尾数据的alpha正态分布,并研究其参数估计方法及基本性质。将所提分布应用于环境污染数据,通过拟合检验alpha正态分布给出了很好的结果。     

公共突发事件应急统计中纵向缺失数据的处理方法研究

缺失数据在公共突发事件的应急统计数据分析中是一个非常普遍的问题,针对公共突发事件应急统计数据的纵向数据集,提出用一种得分匹配法来进行缺失值的借补处理,并将其与另外三种缺失值处理方法进行比较,即构造各种不同缺失率的随机缺失数据集,分别运用得分匹配法、LVCF借补法、无条件均值抽取法和多重借补法四种不同的缺失值处理方法对每一种缺失率的数据集缺失值进行处理。统计分析结果表明,少数缺失值发生时,LVCF法简单而有效;随着缺失率的增加,均值抽取法和多重借补法处理效果更稳定;得分匹配法借补缺失值考虑了变量之间的相关性,最大程度地利用了数据集包含的信息,同时考虑了含缺失值变量的实际变异程度,因此取得了最好的借补效果。     

大数据时代政府统计面临的机遇和挑战

正经过信息爆炸的历史积累,大数据概念孕育而生,而随着云计算的分布式处理、分布式数据库、云存储和虚拟化等技术的日趋成熟,对于海量数据的挖掘、分析和存储都变得触手可及。什么是大数据,大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理,并整理成为帮助企业经营决策更积极目的的资讯。与云计算、物联网等新兴技术一样,大数据技术也是现代信息技术的重要组成部分。有研究指出,大数据是继第二代互联网和云计算之后信息技术领域的又一次革命性浪潮。但从总体上看,各国政府统计应用大数据都还处于起步阶段。谁能     

统计数据预处理的理论与方法述评

统计数据预处理是提升数据质量的重要阶段,包括数据审查、数据清理、数据转换和数据验证四大步骤。根据处理对象的特点及每一步骤的不同目标,统计数据预处理可采用的方法包括描述及探索性分析、缺失值处理、异常值处理、数据变换技术、信度与效度检验、宏观数据诊断等六大类。选用恰当的方法开展统计数据预处理,有利于保证数据分析结论真实、有效。     

基于S型曲线的指标非线性标准化研究

目前,数据标准化处理通常采用的是线性变换方法,然而在处理非均匀分布的指标数据集合时,尤其是对局部集中分布数据的处理存在一定局限性,例如无法有效地将数据划分层级,缺乏辨识性等。利用Logistic曲线函数的特性构建S型曲线模型,可对指标数据进行非线性标准化处理。该方法能够在不改变数据序列及整体分布的前提下对各数据点的取值进行非线性放缩,在将数据稠密的区间进行扩大的同时将数据稀疏的区间进行压缩;同时,针对包含正负值的指标数据集合可以有效地将负值数据突显出来,并且是对特定领域指标数据非线性标准化的补充。     

数据挖掘中的预测及其应用

随着社会和科技的进步,人们所能收集到的数据量变得越来越大,对这些数据进行处理做预测的难度也因此变的非常大。而新兴的一门处理海量数据的技术——数据挖掘为解决预测的这一难题提供了新的机遇。本文试对数据挖掘中的预测及其相关的方法和应用做一综合性的介绍。     

数据挖掘：统计学的分支？

与统计相似,数据挖掘也是一门揭示存在于数据里的模式或数据间关系的学科,但它强调对大规模数据的处理。数据挖掘与统计学有着密切的关系,但数据、方法等方面的差异决定它不是统计学的子学科。     

数据分组处理算法和遗传算法的比较

一、数据分组处理算法数据分组处理算法(Group Methodof Data Handling,简称GMDH)是由乌克兰科学院A.G. Ivakhnenko院士在1967年提出的。它采用多层迭代,借助自组织原理,利用数据和计算机相对客观地选择变量之间的关系,通过启发式学习实现输入输出间的非线性映射,用外准则选取最优模型,实现对所研究系统内部结构的模拟。其基本运算步骤如     

在统计分析中如何识别极端值

极端值亦称离群值或边远值，即在观测值中远远偏离数据主体部分的个别值，这些值不能服从假定的概率分布。如果将极端值和其它数据不加区别地等同对待，会使数据的离散程度加大，计算出的数字特征不能反映主体数据的特征。对极端值进行识别并加以处理，是探索性数据分析的一个重要问题。经过适当处理后的数据，具有较强的耐抗性，即对局部数据的不良行为具有不敏感性。在统计分析中，识别极端值的方法有以下几种：（一）四分展布法四分展布法是一种经验法，首先计算中位数和四分位数：设有数据X1，X2…Xn，将其从小到大排列，记为X（t），…     

生活质量的综合评价：基于数据函数性特征的方法

生活质量的评价与分析是生活质量研究中的核心问题，现有的对生活质量进行综合评价的方法，共同具有的缺憾是方法所处理的数据要么是横截面数据，要么是时间序列数据。然而，实际中可获得的样本资料往往是横截面数据与时间序列数据融合在一起的函数性数据。为弥补现有方法的缺陷，基于数据的函数性特征，引入一种对生活质量进行综合评价和分析的全新方法。从数据信息利用的程度来看，其方法明显优于现有的方法。     

时间序列平稳性分类识别研究

平稳性检验是时间序列回归分析的一个关键问题,已有的检验方法在处理海量时间序列数据时显得乏力,检验准确率有待提高。采用分类技术建立平稳性检验的新方法,可以有效地处理海量时间序列数据。首先计算时间序列自相关函数,构建一个充分非必要的判定准则;然后建立序列收敛的量化分析方法,研究收敛参数的最优取值,并提取平稳性特征向量;最后采用k-means聚类建立平稳性分类识别方法。采用一组模拟数据和股票数据进行分析,将ADF检验、PP检验、KPSS检验进行对比,实证结果表明新方法的准确率较高。     

信息系统建设中的业务设计与技术设计

信息系统建设中的业务设计与技术设计胡帆一、概述信息与数据是一种战略资源,是一个组织赖以生存与发展的根本,必须加以有效的管理和战略性的规划。数据规划指一个业务部门的业务信息与管理信息的生成、收集、传递、处理、管理、应用、传播等过程中关于四个“Ｗ”（ＷＨ...     

信用评分模型中稀有事件特殊采样处理方法探讨

信用评分模型的建模样本是由坏客户这一稀有事件和好客户这一大众事件组成的不平衡数据,故从模型残差的方差这一角度刻画稀有事件识别的难度,借鉴机器学习领域处理不平衡数据的方法,对建模样本中的稀有事件做特殊采样处理然后再建模,并证明对建模样本做特殊采样处理后必须用经验公式校正样本偏差。实证分析表明这是提高信用评分模型准确性的有效方法。     

海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践

大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。     

互联网统计学为构建现代统计科学添砖加瓦

<正>众所周知,统计学是收集、处理、分析、解释数据并从数据中得出结论的科学。可以看出,统计学的研究对象是数据,中间过程是收集、处理、分析和解释工作,最终目标是得出结论。互联网统计学在传统统计学的理论体系的基础上注入了互联网技术的强大活力,逐渐形成多学科融会贯通的现代统计科学。     

企业营销活动中定性数据的统计处理方法

随着市场经济的进一步完善 ,属于定量分析的统计方法在制定营销策略时显得越来越重要 ,但实践过程中往往遇到的是定性数据。本文结合几个实际例子探讨一下这类数据的统计处理方法。一、两个基本问题１．统计数据的划分。按照美国统计学家史蒂文斯的划分 ,统计数据分为定名、定序、定距和定比四种类型 ,层次从低到高 ,运算可从计数、排序到加减、乘除。一般的企业营销活动统计到的销售量、销售额等属于定比数据。而如消费者性别、教育程度、年龄等 ,则分别为定名、定序和定距数据。不同类型的数据在运用统计方法时要进行不同的处理。２．数据…