政府统计生产体系中的大数据融入探讨——基于数据源与数据质量的分析

大数据在统计生产中潜力巨大,有助于构建高质量的统计生产体系,但符合统计生产目标的数据源特征及其数据质量问题有待明确。本文在寻求大数据源与传统统计数据源共同点的基础上,讨论了统计生产中的大数据源及其数据质量问题,进而探讨了大数据与传统统计生产融合应用。首先从数据生成流程及数据特征两个方面论证并限定了可用于统计生产的大数据源;然后在广义数据质量框架下讨论了大数据统计生产中的数据质量问题,梳理了大数据统计生产流程的数据质量控制要点和质量缺陷;最后根据数据质量分析结果,提出了将大数据融入传统调查的统计体系构建思路。     

数据科学的统计学内涵

数据科学以大数据为研究对象,而大数据对统计分析最直接的冲击莫过于数据收集方式的变革,同时统计分析的视野也不再局限于传统的属性数据,而是包括了关系数据、非结构、半结构数据等其他类型更丰富的数据。伴随着数据开放运动,数据库之间的关联信息的价值逐步得到体现。基于统计学的视角分别从科学理论基础、计算机处理技术和商业应用等三个维度研究了数据科学的统计学内涵,探讨了数据科学范式对统计分析过程的直接影响,以及统计学视角面临的机遇与挑战。     

函数性数据的统计分析：思想、方法和应用

 摘　　要:实际中，越来越多的研究领域所收集到的样本观测数据具有函数性特征，这种函数性数据是融合时间序列和横截面两者的数据，有些甚是曲线或其他函数图像。虽然计量经济学近二十多年来发展的面板数据分析方法，具有很好的应用价值，但是面板数据只是函数性数据的一种特殊类型，且其分析方法太过于依赖模型的线性结构和假设条件等。本文基于函数性数据的普遍特征，介绍一种对其进行分析的全新方法，并率先使用该方法对经济函数性数据进行分析，拓展了函数性数据分析的应用范围。分析结果表明，函数性数据分析方法，较之计量经济学和其他统计方法具有更多的优越性，尤其能够揭示其他方法所不能揭示的数据特征     

基于函数性视角的经济数据分析——以主微分分析方法为例

基于经济数据的函数性特征,引入函数型数据分析方法,研究发现经济数据中的面板数据可作为函数型数据的特例,函数型数据分析方法在处理高维数据、缺失数据以及样本观测点不规则分布等特殊的数据类型有独特的优势。着重介绍和拓展了主微分分析方法,在集合了主成分分析方法优势的同时从微分方程的解出发探讨数据的特征。通过对全国银行间同业拆借利率进行主微分分析,显示出主微分分析方法能够揭示其它方法所不能反映的数据特征。     

大数据背景下多重抽样框方法探讨

当前所获取的大数据并非都是总体数据,通常未能完全覆盖总体,因其多源异构的特性,致使传统的数据分析方法受阻。文章将抽样调查方法引入到大数据中,对大数据背景下应用多重抽样框的必要性进行剖析,并主要针对大数据中数据多源异构的难点,将每个来源数据作为一个抽样框进行处理,提出了大数据中多重抽样框的构建。进而根据大数据的数据特征进行分类,针对不同情况确定是否需要进行分阶段抽样设计,并提出运用SF估计量对基于多重抽样框的总体进行估计,此估计量较为符合大数据中多重抽样估计的需求,并能对总体有较好的估计。     

An exploratory data analysis in scale-space for interval-valued data

We propose an exploratory data analysis approach when data are observed as intervals in a nonparametric regression setting. The interval-valued data contain richer information than single-valued data in the sense that they provide both center and range information of the underlying structure. Conventionally, these two attributes have been studied separately as traditional tools can be readily used for single-valued data analysis. We propose a unified data analysis tool that attempts to capture the relationship between response and covariate by simultaneously accounting for variability present in the data. It utilizes a kernel smoothing approach, which is conducted in scale-space so that it considers a wide range of smoothing parameters rather than selecting an optimal value. It also visually summarizes the significance of trends in the data as a color map across multiple locations and scales. We demonstrate its effectiveness as an exploratory data analysis tool for interval-valued data using simulated and real examples.     

网上拍卖中竞买者出价数据的特征及分析方法研究

在传统统计分析中，研究者面对的数值型数据有三种形式，即横截面数据、时间序列数据以及混合数据。这些类型的数据具有离散、等间隔分布、密度均匀等特点，它们是传统的描述性统计和推断性统计中最主要的数据分析对象。然而，从拍卖网站收集到的诸如竞买者出价等数据，却不具备这些特点，对传统统计分析方法提出了挑战。因此需要从数据容量、数据的混合性、不等间隔分布及数据密度等方面，对网上拍卖数据的产生机制进行阐释，对其特征进行分析，并结合实际网上拍卖资料给出分析此类数据的方法和过程。     

A Bayesian method for query approximation

This study presents statistical techniques to obtain local approximate query answers for aggregate multivariate materialized views thus eliminating the need for repetitive scanning of the source data. In widely distributed management information systems, detailed data do not necessarily reside in the same physical location as the decision-maker; thus, requiring scanning of the source data as needed by the query demand. Decision-making, business intelligence and data analysis could involve multiple data sources, data diversity, aggregates and large amounts of data. Management often confronts delays in information acquisition from remote sites. Management decisions usually involve analyses that require the most precise summary data available. These summaries are readily available from data warehouses and can be used to estimate or approximate data in exchange for a quicker response. An approach to supporting aggregate materialized view management is proposed that reconstructs data sets locally using posterior parameter estimates based on sufficient statistics in a log-linear model with a multinomial likelihood.     

生活质量的综合评价：基于数据函数性特征的方法

生活质量的评价与分析是生活质量研究中的核心问题，现有的对生活质量进行综合评价的方法，共同具有的缺憾是方法所处理的数据要么是横截面数据，要么是时间序列数据。然而，实际中可获得的样本资料往往是横截面数据与时间序列数据融合在一起的函数性数据。为弥补现有方法的缺陷，基于数据的函数性特征，引入一种对生活质量进行综合评价和分析的全新方法。从数据信息利用的程度来看，其方法明显优于现有的方法。     

Exploring Linked Data Through the Lens of Technical Services

ABSTRACT

Linked data has swept across the library community, making its way into special collections and catalog data. What would linked data look like in a technical services environment? This article will look at the intersection of linked data and technical services. The article will begin with an introduction to linked data concepts. This will be followed by a look at linked data technologies and publishing strategies. The article will close with a discussion of potential and real applications of linked data in technical services, benefits and challenges of linked data, and thoughts on how the library community can contribute to the linked data effort.     

对大数据统计设计的思考

本文认为大数据统计与三个问题有关：大数据发展趋向极限无穷,人类社会数据信息将发生什么变化？大数据发展会不会产生危害社会进步的数据垃圾？大数据即使是一场革命,那么作为数据科学的统计学脱胎换骨地继承与发展是什么？本文对此回答包括,提出大数据发展的统计设计观点,从理论和实践上做出了论证分析,并联系我国实际,探讨了我国大数据发展中的统计设计理论和内容要点。     

数据资产核算研究

数据是数字经济时代重要的生产要素,但是目前国民经济核算体系并没有确认数据的资产属性,数据的价值被极大地忽略了。本文认为数据具有明确的所有权归属和经济收益性,因此具有资产属性,应当扩展国民经济核算体系的资产核算范围,将数据资产纳入资产核算。根据数据的产生过程和特点,本文认为应当以聚合数据作为数据资产识别的单位,确认数据的非生产资产属性。本文建议开展包括数据资产和数据开发资产在内的附属核算,就数据资产估价方法给出了一些建议,并指出了若干需要进一步研究的重要课题。     

函数数据聚类分析方法探析

函数数据是目前数据分析中新出现的一种数据类型,它同时具有时间序列和横截面数据的特征,通常可以描述为关于某一变量的函数图像,在实际应用中具有很强的实用性。首先简要分析函数数据的一些基本特征和目前提出的一些函数数据聚类方法,如均匀修正的函数数据K均值聚类方法、函数数据层次聚类方法等,并在此基础上,从函数特征分析的角度探讨了函数数据聚类方法,提出了一种基于导数分析的函数数据区间聚类分析方法,并利用中国中部六省的就业人口数据对该方法进行实证分析,取得了聚类结果。     

基于图形分析方法的函数型数据异常值检验实证研究

函数型数据本质上是一种复杂数据,其抽样、生成、结构和关联程度都会影响到数据的复杂性和描述性,有些情形甚至连基本的可视化描述都成为难点。在利用函数型数据的主成分得分、图基的数据深度和密度概念的基础上,引入函数型数据的打包图和箱线图,并针对函数型数据的图形分析提出了函数型数据异常值检测的三种方法。与已有的检测方法相比较,所提三种方法更易于识别函数型数据的异常值。     

煤炭大数据指数编制及经验模态分解模型研究

基于开放性数据源、连续观测昨多变量数据编制的大数据指数,与传统的统计调查指数存在的差异不仅在于数据本身的无限扩张,而且在于编制方法以及分解研究的规则、模型方面的差异。在大数据背景下,率先尝试性地提出大数据指数的定义和数据假设,将"互联网大数据指数"引入煤炭交易价格指数综合编制太原煤炭交易大数据指数,从而反映煤炭价格的变动趋势;导入经验模态分解模型,对所编制的煤炭大数据指数进行分解研究,尝试比较与传统的统计调查指数的差异。研究表明:新编制的煤炭价格大数据指数要比太原煤炭交易价格指数更为敏感和迅速,能更好地反映煤炭价格的变动趋势。随着"互联网+"和大数据战略的逐渐普及,基于互联网大数据编制的综合指数会影响到更多领域,将成为经济管理和社会发展各个领域的晴雨表和指示器;与传统统计调查指数逐步融合、互补或者升级,成为宏观经济大数据指数的重要组成部分。     

从政治算术到大数据分析

本文首先对大数据进行了再认识,包括如何理解大数据的“大”、如何理解大数据的“数据”以及大数据是不是好数据;然后对数据的变化与统计分析方法的发展进行了较为系统的历史梳理,对两者的关系进行了总结;最后探讨了统计学的新发展--大数据分析问题,认为大数据分析是数据科学赋予统计学的新任务,指出了大数据分析面临的挑战与突破口,提出了大数据分析需要达成的共识。     

大数据分析仍需要统计思想——以ARGO模型为例

在大数据时代,传统的统计学是否还有用武之地成为很多人的争议。本文以ARGO模型为案例,介绍了统计方法在大数据分析中的应用和取得的成果,并从统计学的角度出发,提出改进的措施与方法。通过ARGO模型的分析结果发现,大数据分析的很多根本性问题仍然是统计问题,而数据中的统计规律仍然是数据分析要挖掘的最大价值,这也意味着统计思想在大数据分析中只能越来越重要。而对于结构复杂、来源多样的大数据来说,统计学方法也需要新的探索和尝试,这将是统计学所面临的机遇和挑战。     

大数据应用的质量控制

数据作为重要的数据资源存在，不论是其内在蕴含的信息价值还是其已经成为人类社会所需数据有机组成的客观事实，都迫使我们去不断加强对大数据的应用。然而，由于大数据作为信息技术应用的副产品，其复杂性、不确定性和涌现性决定了我们应用大数据并非易事，存在着很多质量上的问题，除了具有传统数据所有的质量问题外，还包括一些独特的新问题。为了更好地应用大数据，本文对如何进行大数据应用的质量控制进行了初步的研究。主要内容包括以下三个方面：一是对什么是大数据质量、受哪些因素影响、可能存在哪些质量问题进行了探讨；二是从做好理论准备、建立质量控制方案、重视对小数据研究、加强大数据管理、加强大数据人才培养和加强大数据法制建设六个方面，提出了大数据应用的质量控制的基本想法；三是对大数据应用中需要引起注意的几个方面进行了讨论，并结合例子进行了阐释。     

Mantel test for spatial functional data

Statistics for spatial functional data is an emerging field in statistics which combines methods of spatial statistics and functional data analysis to model spatially correlated functional data. Checking for spatial autocorrelation is an important step in the statistical analysis of spatial data. Several statistics to achieve this goal have been proposed. The test based on the Mantel statistic is widely known and used in this context. This paper proposes an application of this test to the case of spatial functional data. Although we focus particularly on geostatistical functional data, that is functional data observed in a region with spatial continuity, the test proposed can also be applied with functional data which can be measured on a discrete set of areas of a region (areal functional data) by defining properly the distance between the areas. Based on two simulation studies, we show that the proposed test has a good performance. We illustrate the methodology by applying it to an agronomic data set.     

Principal component and correspondence analysis of compositional data: some similarities

Principal component and correspondence analysis can both be used as exploratory methods for representing multivariate data in two dimensions. Circumstances under which the, possibly inappropriate, application of principal components to untransformed compositional data approximates to a correspondence analysis of the raw data are noted. Aitchison (1986) has proposed a method for the principal component analysis of compositional data involving transformation of the raw data. It is shown how this can be approximated by a correspondence analysis of appropriately transformed data. The latter approach may be preferable when there are zeroes in the data.