大数据时代统计学的重构与创新

本文集中介绍了多位顶尖统计学家在大数据研究方面的新进展,内容涉及大数据背景下政府统计需求,统计设计,统计学理论框架的重构,统计学利用大数据在基因学、天文学、宇宙学、流行病学、经济金融学、生命科学和工程学等领域中的应用,以及大数据人才培养问题等。     

基于大数据思维的统计学若干理论问题

本文基于大数据思维,对统计学若干理论问题进行了讨论。本文认为：在大数据背景下,统计学以数据为研究对象没有变,作为方法论科学的性质没有变,以探索真相为根本任务没有变;但是作为统计学研究对象的数据出现了四个新的动向,即数据内涵有新理解,数据结构与来源有新方式,数据不确定性有新表现,数据分析思路与技术有新要求;为此,需要重新理解和定义总体、个体与样本,标志与变量,可靠性与有效性这三组统计学中最基本也最重要的概念。最后论文指出,大数据为统计学发展提供了新的平台,需要我们从数据、方法和应用三个维度同时发力。     

大数据时代统计学发展的若干问题

近年来,计算机和互联网的发展使得人类信息的拥有量达到了前所未有的程度,各类信息被保存流通起来,人类进入了大数据时代.大数据具有规模性、多样性,高速性等特点,给统计学的发展带来了新的机遇,同时也带来了新的挑战.本文回顾了统计学的发展历史,剖析了统计学的发展特点,在此基础上讨论了大数据背景下统计学的发展定位;并进一步分析统计学与计算机之间的关系,最后分析了大数据研究中存在的若干误区.     

数据科学的统计学内涵

数据科学以大数据为研究对象,而大数据对统计分析最直接的冲击莫过于数据收集方式的变革,同时统计分析的视野也不再局限于传统的属性数据,而是包括了关系数据、非结构、半结构数据等其他类型更丰富的数据。伴随着数据开放运动,数据库之间的关联信息的价值逐步得到体现。基于统计学的视角分别从科学理论基础、计算机处理技术和商业应用等三个维度研究了数据科学的统计学内涵,探讨了数据科学范式对统计分析过程的直接影响,以及统计学视角面临的机遇与挑战。     

大数据与数据工程学

大数据的冲击并非是对以样本数据为对象的统计学的颠覆,而是对现代统计学的扩展。本文结合大数据的相关特征,以数据经济价值的扩展为切入点,从数据价值挖掘的角度论证了数据挖掘与大数据分析的关系,探讨了大数据背景下数据衍生品的创造与数据工程学创建的必要性。在此基础上,参照“金融工程学”的概念及学科体系,对“数据工程学”的概念进行了界定,并对数据工程学学科体系构建的相关理论基础、主要研究内容与分析技术进行了归纳与说明。     

大数据时代对传统统计学变革的思考

本文在大数据时代背景下,将统计学与大数据有机地结合,剖析了大数据时代给统计学带来的变革,阐述了大数据为传统统计学带来的发展机遇。在大数据时代,为了保持统计学旺盛的生命力,本文对统计学的发展提出了几点思考。     

从政治算术到大数据分析

本文首先对大数据进行了再认识,包括如何理解大数据的“大”、如何理解大数据的“数据”以及大数据是不是好数据;然后对数据的变化与统计分析方法的发展进行了较为系统的历史梳理,对两者的关系进行了总结;最后探讨了统计学的新发展--大数据分析问题,认为大数据分析是数据科学赋予统计学的新任务,指出了大数据分析面临的挑战与突破口,提出了大数据分析需要达成的共识。     

大数据时代抽样调查面临的挑战与机遇

传统抽样调查作为一门成熟的统计学分支学科,在样本统计方面发挥着重要的作用,但是在大数据时代背景下,该方法逐渐暴露出一些缺点。在分析传统抽样调查局限性和大数据自身问题的基础上,研究了大数据时代下抽样调查面临的机遇和挑战。研究表明,在某些情况下,大数据统计还无法完全替代抽样调查的独特作用,抽样调查还将在很长一段时间内发挥作用。大数据时代下,为了获得更好的数据分析效果,应将大数据和抽样调查充分结合,进而发挥它们不同的优势。     

谷歌流感趋势的成功与失误

大数据时代下机遇与挑战并存,如何基于传统方法去处理大数据引人深思,一味地追求大数据也不一定正确。本文以谷歌流感趋势(GFT)为案例,介绍了大数据在疾病疫情监测方面的主要技术及相关成果,阐述了大数据在使用中的关键问题,并结合复杂的统计学工具给出了一些改进措施。谷歌流感趋势的成功取决于相关关系的应用,其失误却来源于模型的构造、因果关系和相关关系的冲突等问题。谷歌流感趋势案例的分析与启示对政府今后在大数据解决方案中有重要的理论和实践意义。     

大数据经济学的概念、框架与学科定位研究

在对大数据给经济学带来冲击研究的基础上,对大数据经济学的内容和结构进行了界定,认为其包括大数据计量经济学、大数据统计学、大数据应用经济学。分析了大数据经济学与计算机科学与技术、软件工程、管理科学与工程、统计学、图书情报与档案学、心理学、应用经济学之间的关系,认为大数据经济学是一门新兴交叉学科。对大数据经济学的学科定位进行了分析,认为在大数据经济学的萌芽期,暂时将其作为应用经济学下面的二级学科,待学科发展相对成熟后再作为经济学大类下面的一级学科。     

大数据与统计新思维

最近,《大数据时代》等几本书引起了广泛的关注,大数据正在改变着人们的行为与思维,那么以数据为研究对象的统计学该如何应对？本文基于对大数据的理解,认为统计思维需要发生三个方面的改变：即认识数据的思维、收集数据的思维和分析数据的思维要改变。其中,数据分析思维又要在统计分析过程、实证分析思路、推断分析逻辑等方面发生变化,同时统计分析评价的标准也要有所调整。围绕这些变化,本文提出需要从八个方面去积极应对大数据,以促使统计学科跟上时代的步伐。     

扫描数据的匆匆那些年

"除了上帝,谁都要使用数据"。未来是数据的天下,一切将被量化。在大数据时代,传统的统计学、经济学乃至计算机技术都处于变革期,这也给加工生产统计数据为主要工作的政府统计提供了更大的机遇和舞台。国家统计局"大数据技术在政府统计工作中的应用研究课题组"从2012年开始进行大数据理论与应用研究。现将有关成果进行提炼和梳理,并陆续在本刊发表,便于读者从中了解大数据给政府统计带来的积极意义和影响。     

大数据应用的质量控制

数据作为重要的数据资源存在，不论是其内在蕴含的信息价值还是其已经成为人类社会所需数据有机组成的客观事实，都迫使我们去不断加强对大数据的应用。然而，由于大数据作为信息技术应用的副产品，其复杂性、不确定性和涌现性决定了我们应用大数据并非易事，存在着很多质量上的问题，除了具有传统数据所有的质量问题外，还包括一些独特的新问题。为了更好地应用大数据，本文对如何进行大数据应用的质量控制进行了初步的研究。主要内容包括以下三个方面：一是对什么是大数据质量、受哪些因素影响、可能存在哪些质量问题进行了探讨；二是从做好理论准备、建立质量控制方案、重视对小数据研究、加强大数据管理、加强大数据人才培养和加强大数据法制建设六个方面，提出了大数据应用的质量控制的基本想法；三是对大数据应用中需要引起注意的几个方面进行了讨论，并结合例子进行了阐释。     

大数据视野下统计数据质量演变的信息回归、分布与趋势

从数据化技术、信息节奏以及信息回归趋势与大数据本质入手,研究统计数据质量演变主要特征与基本动力及信息分布,分析统计数据质量内涵信息演变的核心因素和实践探索关键路径以及统计学主要矛盾,认为大数据对统计学影响是系统性的,数据质量是其学科信息生态转换与介入的关键支点,其信息演变过程正在从需求入手,开启对统计学知识图谱的再造进程。受此影响,统计学未来也将从专业性研究学科走向工具性技术学科。     

旅游大数据研究热点及特征探析——基于国外文献的分析

大数据是近几年最热的词汇之一,它影响着当今社会的各行各业,旅游大数据的研究虽然出现时间较晚,但发展很快。选择Web of Science以及Google学术作为数据获取来源,截至2017年12月,收集到旅游大数据研究的有效文献91篇,对其进行分析后发现,研究热点主要有:从计算机科学视角研究旅游大数据的来源、获取和分析;从经济学视角研究旅游大数据对旅游知识生成和旅游消费行为的影响,运用旅游大数据研究旅游需求;从信息学视角运用旅游大数据研究智慧旅游;从地理学视角研究旅游交通和旅游流等。国外旅游大数据研究呈现议题的宽广性、工具和方法的多元化、应用的问题导向等特征,未来研究重点可以在研究方法和工具的进一步完善、研究内容的进一步拓展、旅游研究范式的构建等方面。     

中国雾霾污染问题的分析与测度方法探讨

近年来雾霾污染在中国愈发严峻,严重阻碍我国经济和社会的发展,对民众的身心健康等都造成直接的侵害,并且随着互联网应用技术的快速发展,雾霾污染海量数据的生成和累计亟需大数据技术与思维的应用.因此文章在综述国内外大数据和雾霾污染问题统计分析研究现状的基础上,结合雾霾污染现状分析和传统统计方法难以分析生成的雾霾污染海量数据,提出了大数据关联分析统计测度方法,最后基于大数据平台探讨了中国雾霾污染问题统计分析的基本思路.     

统计学教学中的几个不确定性问题

统计学的定义、研究对象以及统计学与社会经济统计学、数理统计学之间关系等是长期困扰统计学教学的几个理论问题。本文通过自己在统计教学实践中的体会,简要论述对这三个问题的认识和理解。     

基于HADOOP的大数据描述统计分析

从统计学视角研究了大数据分析问题,以当前较为流行的Hadoop云计算平台为基础,分析设计了海量数据描述统计分析的整体架构,分析了相关统计分析算法的特点并给出了实现的具体思路。最后通过实际数据进行了实验性验证,取得了较为理想的效果,为海量数据的统计分析提供了一个可供借鉴的新思路。     

大数据背景下色谱经济分析方法的应用与展望

文章分析了大数据的特点及其背景下统计学所面临的方法与技术瓶颈,阐述了色谱经济分析法与统计学的关系及因其独特的分析功能和技术手段能够满足统计学应对大数据所需要的某些功能.在对色谱经济分析法的基本概念和理论介绍后,以消费者行为的分析为例演示了色谱经济分析法的基本过程,并展望了色谱经济分析法作为统计学的创新方法在大数据中的应用前景.     

统计学面临的挑战与发展

回顾二十世纪，在学科发展中变化很大的，统计学无疑是身列其中的。统计的方法和理论经历了几个显著的发展阶段，而且它的应用广泛，几乎深入到各个领域，在考古、历史的研究中，也需要统计学的帮助。数据采掘（DataMining）技术的出现，大大扩展了统计分析的功能，把统计学推到了一个全新的领域，提出了许多新的问题，统计学面临着巨大的挑战。这些挑战表现在哪些方面呢？（一）海量数据产生的困难以往常常说统计是处理大量现象统计规律的方法，所谓大量，在教科书上往往说，样本量在３０以上就是大量数据了，实际工作中处理到成千上百的…