大数据时代统计学发展的若干问题

近年来,计算机和互联网的发展使得人类信息的拥有量达到了前所未有的程度,各类信息被保存流通起来,人类进入了大数据时代.大数据具有规模性、多样性,高速性等特点,给统计学的发展带来了新的机遇,同时也带来了新的挑战.本文回顾了统计学的发展历史,剖析了统计学的发展特点,在此基础上讨论了大数据背景下统计学的发展定位;并进一步分析统计学与计算机之间的关系,最后分析了大数据研究中存在的若干误区.     

大数据环境下的服务业统计构想

服务业是国民经济的重要组成部分,其发展水平是衡量地区现代化程度的重要标志。大数据时代的来临,给服务业统计的推进带来了新的机遇和挑战。本文通过分析服务业统计的现状与问题,指出大数据时代给服务业统计的传统模式带来冲击,掌握信息的主体地位将被动摇,统计需求的要求将进一步提高,提出完善和创新服务业统计的构想。     

大数据时代政府统计变革与发展的探索研究

大数据时代已经正式来临,给政府统计的工作方式和信息化建设带来了重大冲击,政府统计面临着挑战。政府统计部门应着力从数据收集、数据利用等环节进行研究,不断创新理论和手段,以适应大数据时代的发展。政府统计改革和大数据研究要相互促进,成果互化,相得益彰。     

大数据时代背景下政府统计工作模式创新及其配套举措研究

大数据正在开启一次重大的时代转型,必将给我国统计事业带来前所未有的影响。本文以＂大数据＂时代对政府统计工作提出的新要求为出发点,提出大数据时代背景下政府统计工作的组织优化及模式创新方案,给出配套举措和建议。     

大数据与统计新思维

最近,《大数据时代》等几本书引起了广泛的关注,大数据正在改变着人们的行为与思维,那么以数据为研究对象的统计学该如何应对？本文基于对大数据的理解,认为统计思维需要发生三个方面的改变：即认识数据的思维、收集数据的思维和分析数据的思维要改变。其中,数据分析思维又要在统计分析过程、实证分析思路、推断分析逻辑等方面发生变化,同时统计分析评价的标准也要有所调整。围绕这些变化,本文提出需要从八个方面去积极应对大数据,以促使统计学科跟上时代的步伐。     

从政治算术到大数据分析

本文首先对大数据进行了再认识,包括如何理解大数据的“大”、如何理解大数据的“数据”以及大数据是不是好数据;然后对数据的变化与统计分析方法的发展进行了较为系统的历史梳理,对两者的关系进行了总结;最后探讨了统计学的新发展--大数据分析问题,认为大数据分析是数据科学赋予统计学的新任务,指出了大数据分析面临的挑战与突破口,提出了大数据分析需要达成的共识。     

基于大数据思维的统计学若干理论问题

本文基于大数据思维,对统计学若干理论问题进行了讨论。本文认为：在大数据背景下,统计学以数据为研究对象没有变,作为方法论科学的性质没有变,以探索真相为根本任务没有变;但是作为统计学研究对象的数据出现了四个新的动向,即数据内涵有新理解,数据结构与来源有新方式,数据不确定性有新表现,数据分析思路与技术有新要求;为此,需要重新理解和定义总体、个体与样本,标志与变量,可靠性与有效性这三组统计学中最基本也最重要的概念。最后论文指出,大数据为统计学发展提供了新的平台,需要我们从数据、方法和应用三个维度同时发力。     

大数据经济学的概念、框架与学科定位研究

在对大数据给经济学带来冲击研究的基础上,对大数据经济学的内容和结构进行了界定,认为其包括大数据计量经济学、大数据统计学、大数据应用经济学。分析了大数据经济学与计算机科学与技术、软件工程、管理科学与工程、统计学、图书情报与档案学、心理学、应用经济学之间的关系,认为大数据经济学是一门新兴交叉学科。对大数据经济学的学科定位进行了分析,认为在大数据经济学的萌芽期,暂时将其作为应用经济学下面的二级学科,待学科发展相对成熟后再作为经济学大类下面的一级学科。     

大数据时代的统计教育

2014年11月,美国统计学会适应大数据时代的要求,发布了统计学本科专业指导性教学纲要。而在2013年,我国统计类本科专业刚刚进行了一次较大调整,目前的专业课程设置和教学内容改革还处于探索阶段。美国统计学会发布的这份指导性教学纲要对于推进我国统计类本科专业教育改革具有重要借鉴意义。本文首先概括性地介绍了美国统计学会发布的统计学本科专业指导性教学纲要的核心内容,包括统计专业本科生应该掌握的基本技能和应该修读的主要课程,然后分析了我国统计类本科专业教育存在的问题,并提出了在大数据时代改进我国统计类本科专业教育的几点建议。     

大数据时代抽样调查面临的挑战与机遇

传统抽样调查作为一门成熟的统计学分支学科,在样本统计方面发挥着重要的作用,但是在大数据时代背景下,该方法逐渐暴露出一些缺点。在分析传统抽样调查局限性和大数据自身问题的基础上,研究了大数据时代下抽样调查面临的机遇和挑战。研究表明,在某些情况下,大数据统计还无法完全替代抽样调查的独特作用,抽样调查还将在很长一段时间内发挥作用。大数据时代下,为了获得更好的数据分析效果,应将大数据和抽样调查充分结合,进而发挥它们不同的优势。     

大数据时代统计学的重构与创新

本文集中介绍了多位顶尖统计学家在大数据研究方面的新进展,内容涉及大数据背景下政府统计需求,统计设计,统计学理论框架的重构,统计学利用大数据在基因学、天文学、宇宙学、流行病学、经济金融学、生命科学和工程学等领域中的应用,以及大数据人才培养问题等。     

大数据时代统计学重构研究中的几个热点问题

随着新兴科学技术的迅猛发展,我们目前正面临大数据时代。大数据是“未来的新兴石油”,它必将对未来的科技与社会经济的发展产生深远影响。认识大数据这个崭新的概念是一个逐步深化的过程,有必要将对其研究上升为国家意志,因为大数据将深刻影响人类的决策模式和社会经济的运行模式,将发展成为一个极具潜力新兴产业,最终成为解决中国社会经济、政治转型期的重要手段。 迄今为止,能借助的国内外文献不多,虽然国内很多研究工作者希望尽早进入相关的大数据研究领域,却无从下手。为此,本文前瞻性地介绍当今大数据统计学理论研究中的几个热点问题,以期能有更多的他人后续研究。     

大数据与数据工程学

大数据的冲击并非是对以样本数据为对象的统计学的颠覆,而是对现代统计学的扩展。本文结合大数据的相关特征,以数据经济价值的扩展为切入点,从数据价值挖掘的角度论证了数据挖掘与大数据分析的关系,探讨了大数据背景下数据衍生品的创造与数据工程学创建的必要性。在此基础上,参照“金融工程学”的概念及学科体系,对“数据工程学”的概念进行了界定,并对数据工程学学科体系构建的相关理论基础、主要研究内容与分析技术进行了归纳与说明。     

数据科学的统计学内涵

数据科学以大数据为研究对象,而大数据对统计分析最直接的冲击莫过于数据收集方式的变革,同时统计分析的视野也不再局限于传统的属性数据,而是包括了关系数据、非结构、半结构数据等其他类型更丰富的数据。伴随着数据开放运动,数据库之间的关联信息的价值逐步得到体现。基于统计学的视角分别从科学理论基础、计算机处理技术和商业应用等三个维度研究了数据科学的统计学内涵,探讨了数据科学范式对统计分析过程的直接影响,以及统计学视角面临的机遇与挑战。     

异质性大数据的分布式估计

随着物联网技术的进步,大数据给网络带宽和计算机存储能力带来巨大挑战,传统的集中式数据处理难以实现,客观上促进了分布式统计学习的发展。在无迭代算法研究中,Zhang等(2013)证明了当数据集个数s=O(N) 时,基于局部经验风险最小化的分治(DC)简单平均估计量具有O(N-1)均方误差收敛速度,Huang和Huo(2019)在M估计框架下进一步提出分布式一步估计量,但上述方法均未考虑海量数据可能存在的异质性对分治估计效果的影响。本文在线性模型框架下提出海量异质数据的分治一步加权估计,证明了估计量的渐近性质并考虑了异质性检验问题。将本文提出的方法应用于美国医疗保险实际数据分析,结果表明该方法能更好地拟合数据的线性趋势且显著提高了计算效率。     

大数据应用的质量控制

数据作为重要的数据资源存在，不论是其内在蕴含的信息价值还是其已经成为人类社会所需数据有机组成的客观事实，都迫使我们去不断加强对大数据的应用。然而，由于大数据作为信息技术应用的副产品，其复杂性、不确定性和涌现性决定了我们应用大数据并非易事，存在着很多质量上的问题，除了具有传统数据所有的质量问题外，还包括一些独特的新问题。为了更好地应用大数据，本文对如何进行大数据应用的质量控制进行了初步的研究。主要内容包括以下三个方面：一是对什么是大数据质量、受哪些因素影响、可能存在哪些质量问题进行了探讨；二是从做好理论准备、建立质量控制方案、重视对小数据研究、加强大数据管理、加强大数据人才培养和加强大数据法制建设六个方面，提出了大数据应用的质量控制的基本想法；三是对大数据应用中需要引起注意的几个方面进行了讨论，并结合例子进行了阐释。     

海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践

大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。