中国雾霾污染问题的分析与测度方法探讨

近年来雾霾污染在中国愈发严峻,严重阻碍我国经济和社会的发展,对民众的身心健康等都造成直接的侵害,并且随着互联网应用技术的快速发展,雾霾污染海量数据的生成和累计亟需大数据技术与思维的应用.因此文章在综述国内外大数据和雾霾污染问题统计分析研究现状的基础上,结合雾霾污染现状分析和传统统计方法难以分析生成的雾霾污染海量数据,提出了大数据关联分析统计测度方法,最后基于大数据平台探讨了中国雾霾污染问题统计分析的基本思路.     

单位属性标识,务须利用充分——经济普查数据怎样“开发”分析(之二)

正在经济普查的信息当中,既有海量统计数据,也有企业单位的属性标识,这些属性标识,是非常重要的数据分组标志和分析研究视角。从某种意义上说,属性标识的利用程度,决定了分析产品的研究高深度和选题精巧度。一、利用标识充分分组统计分析离不开数据分组,而常见的分组角度,多为产业、行业、规模、     

基于海量数据的变量聚类算法的构造

文章在信息技术迅速发展的背景下,研究针对海量数据计算机软硬件存储、分析的不足.通过研究海量数据下变量关联问题,构造了基于海量数据的学习算法.并通过数据模拟了该算法的应用原理.     

谈营销数据挖掘与统计分析系统建设

在电力营销企业信息建设中,电力营销企业基于业务应用的信息系统建设已取得成效,并形成了海量数据资源,必须利用数据挖掘软件,分析电力营销企业各个业务信息系统存在的问题。营销数据挖掘与统计分析系统逐渐成为营销管理的对内对外的综合经营决策、组织协同管理决策、营销业务决策的综合战略性决策系统。     

基于海量数据关联效应测度算法的设计

海量数据挖掘算法研究是当前数据挖掘研究领域的热点问题。以网络终端海量数据分布处理及软硬件资源共享为基础,以两变量线性关联效应测度学习算法设计为例,设计出基于超海量数据各终端数据分布处理的学习算法,并运用实验数据验证了该学习算法的有效性。该学习算法设计为海量数据云计算提供了应用思路。     

海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践

大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。     

基于Copula连接函数的数据挖掘关联算法的设计

现实中海量数据往往持续地产生,如何实现信息和知识的动态挖掘已成为人们关注的理论问题。根据数据集分批分步输入处理的思想,以Copula连接函数为理论基础,给出一种有效海量数据的关联分步测度算法,通过模拟实验验证了该算法的可行性,结果显示所设计的关联算法能显著提高关联效应测量的效率,并能有效地解决超海量数据关联效应的测度问题。     

我国近年数据挖掘研究分析

引言 随着计算机、网络技术的发展,获取相关数据简单易行,但对于涉及面宽的海量数据,传统的数理统计方法无法完成相应分析.     

时间序列平稳性分类识别研究

平稳性检验是时间序列回归分析的一个关键问题,已有的检验方法在处理海量时间序列数据时显得乏力,检验准确率有待提高。采用分类技术建立平稳性检验的新方法,可以有效地处理海量时间序列数据。首先计算时间序列自相关函数,构建一个充分非必要的判定准则;然后建立序列收敛的量化分析方法,研究收敛参数的最优取值,并提取平稳性特征向量;最后采用k-means聚类建立平稳性分类识别方法。采用一组模拟数据和股票数据进行分析,将ADF检验、PP检验、KPSS检验进行对比,实证结果表明新方法的准确率较高。     

数据的正态性检验方法及其统计软件实现

数据的正态性是统计学中点估计,假设检验等理论的基础,在t检验,F检验,卡方检验中都需要检验变量的分布是否为正态;另外方差分析,回归分析等统计分析中也都首先验证待分析的数据是否为正态.数据的正态性检验是进行大部分统计分析的第一步.文章介绍了最常用的验证数据正态分布的方法,同时对它们在统计分析软件R中的实现进行介绍.