大数据与统计新思维

最近,《大数据时代》等几本书引起了广泛的关注,大数据正在改变着人们的行为与思维,那么以数据为研究对象的统计学该如何应对？本文基于对大数据的理解,认为统计思维需要发生三个方面的改变：即认识数据的思维、收集数据的思维和分析数据的思维要改变。其中,数据分析思维又要在统计分析过程、实证分析思路、推断分析逻辑等方面发生变化,同时统计分析评价的标准也要有所调整。围绕这些变化,本文提出需要从八个方面去积极应对大数据,以促使统计学科跟上时代的步伐。     

大数据时代对传统统计学变革的思考

本文在大数据时代背景下,将统计学与大数据有机地结合,剖析了大数据时代给统计学带来的变革,阐述了大数据为传统统计学带来的发展机遇。在大数据时代,为了保持统计学旺盛的生命力,本文对统计学的发展提出了几点思考。     

浅谈大数据时代政府统计面临的挑战与机遇

大数据是现代信息技术条件下计算和存储融合的产物,带来数据生产、处理及应用方式的深刻变革,对政府统计的职能地位、制度方法、数据质量等产生巨大冲击,但也在深化统计改革、打造现代化服务型统计、提升政府公信力等方面带来前所未有的机遇.统计部门应从转变职能入手,完善制度方法、提升业务水平、强化隐私保护,确保在大数据洪流中不断开创统计事业的新局面.     

统计历史的发展与统计科学的智慧

统计是动态的历史,历史是静态的统计。为了让统计学者更好地在大数据海洋中把握未来前行的方向,基于统计历史发展和统计科学发现的纵横视角,探讨人类不确定推断科学中的"统计智慧"。以时间为轴,按公元前统计计数"三大难题"、近代统计学"四大发现"和现代统计学"研究范式创新"顺序,纵向简述公元前450—2000年统计历史长河中的年代大事;以统计科学发现为标志,从汇总、信息测度、似然、相互比较、回归、实验设计和残差等方面,横向比较Stigler于2016年提出的构筑"统计智慧"殿堂的七大支柱。     

大数据时代抽样调查面临的挑战与机遇

传统抽样调查作为一门成熟的统计学分支学科,在样本统计方面发挥着重要的作用,但是在大数据时代背景下,该方法逐渐暴露出一些缺点。在分析传统抽样调查局限性和大数据自身问题的基础上,研究了大数据时代下抽样调查面临的机遇和挑战。研究表明,在某些情况下,大数据统计还无法完全替代抽样调查的独特作用,抽样调查还将在很长一段时间内发挥作用。大数据时代下,为了获得更好的数据分析效果,应将大数据和抽样调查充分结合,进而发挥它们不同的优势。     

大数据时代政府统计变革与发展的探索研究

大数据时代已经正式来临,给政府统计的工作方式和信息化建设带来了重大冲击,政府统计面临着挑战。政府统计部门应着力从数据收集、数据利用等环节进行研究,不断创新理论和手段,以适应大数据时代的发展。政府统计改革和大数据研究要相互促进,成果互化,相得益彰。     

大数据时代的统计教育

2014年11月,美国统计学会适应大数据时代的要求,发布了统计学本科专业指导性教学纲要。而在2013年,我国统计类本科专业刚刚进行了一次较大调整,目前的专业课程设置和教学内容改革还处于探索阶段。美国统计学会发布的这份指导性教学纲要对于推进我国统计类本科专业教育改革具有重要借鉴意义。本文首先概括性地介绍了美国统计学会发布的统计学本科专业指导性教学纲要的核心内容,包括统计专业本科生应该掌握的基本技能和应该修读的主要课程,然后分析了我国统计类本科专业教育存在的问题,并提出了在大数据时代改进我国统计类本科专业教育的几点建议。     

大数据对CPI统计的影响及方法改进研究

大数据将对政府统计带来巨大的机遇与挑战,消费者价格指数(CPI)作为最重要的价格统计指标,由于样本采集范围广、统计频率高等原因,可谓首当其冲。大数据对CPI统计的影响全面而深刻,充分利用大数据的优势,在数据采集、计算方法、权重选取、季节调整、质量调整、数据公布等方面对CPI统计做出调整与改进,才能更好地捕捉消费品价格变化的动态趋势。针对大数据背景下如何改进中国CPI统计和提高数据质量提出了建议。     

政府统计生产体系中的大数据融入探讨——基于数据源与数据质量的分析

大数据在统计生产中潜力巨大,有助于构建高质量的统计生产体系,但符合统计生产目标的数据源特征及其数据质量问题有待明确。本文在寻求大数据源与传统统计数据源共同点的基础上,讨论了统计生产中的大数据源及其数据质量问题,进而探讨了大数据与传统统计生产融合应用。首先从数据生成流程及数据特征两个方面论证并限定了可用于统计生产的大数据源;然后在广义数据质量框架下讨论了大数据统计生产中的数据质量问题,梳理了大数据统计生产流程的数据质量控制要点和质量缺陷;最后根据数据质量分析结果,提出了将大数据融入传统调查的统计体系构建思路。     

大数据时代统计学发展的若干问题

近年来,计算机和互联网的发展使得人类信息的拥有量达到了前所未有的程度,各类信息被保存流通起来,人类进入了大数据时代.大数据具有规模性、多样性,高速性等特点,给统计学的发展带来了新的机遇,同时也带来了新的挑战.本文回顾了统计学的发展历史,剖析了统计学的发展特点,在此基础上讨论了大数据背景下统计学的发展定位;并进一步分析统计学与计算机之间的关系,最后分析了大数据研究中存在的若干误区.     

数据科学的统计学内涵

数据科学以大数据为研究对象,而大数据对统计分析最直接的冲击莫过于数据收集方式的变革,同时统计分析的视野也不再局限于传统的属性数据,而是包括了关系数据、非结构、半结构数据等其他类型更丰富的数据。伴随着数据开放运动,数据库之间的关联信息的价值逐步得到体现。基于统计学的视角分别从科学理论基础、计算机处理技术和商业应用等三个维度研究了数据科学的统计学内涵,探讨了数据科学范式对统计分析过程的直接影响,以及统计学视角面临的机遇与挑战。     

谷歌流感趋势的成功与失误

大数据时代下机遇与挑战并存,如何基于传统方法去处理大数据引人深思,一味地追求大数据也不一定正确。本文以谷歌流感趋势(GFT)为案例,介绍了大数据在疾病疫情监测方面的主要技术及相关成果,阐述了大数据在使用中的关键问题,并结合复杂的统计学工具给出了一些改进措施。谷歌流感趋势的成功取决于相关关系的应用,其失误却来源于模型的构造、因果关系和相关关系的冲突等问题。谷歌流感趋势案例的分析与启示对政府今后在大数据解决方案中有重要的理论和实践意义。     

大数据应用的质量控制

数据作为重要的数据资源存在，不论是其内在蕴含的信息价值还是其已经成为人类社会所需数据有机组成的客观事实，都迫使我们去不断加强对大数据的应用。然而，由于大数据作为信息技术应用的副产品，其复杂性、不确定性和涌现性决定了我们应用大数据并非易事，存在着很多质量上的问题，除了具有传统数据所有的质量问题外，还包括一些独特的新问题。为了更好地应用大数据，本文对如何进行大数据应用的质量控制进行了初步的研究。主要内容包括以下三个方面：一是对什么是大数据质量、受哪些因素影响、可能存在哪些质量问题进行了探讨；二是从做好理论准备、建立质量控制方案、重视对小数据研究、加强大数据管理、加强大数据人才培养和加强大数据法制建设六个方面，提出了大数据应用的质量控制的基本想法；三是对大数据应用中需要引起注意的几个方面进行了讨论，并结合例子进行了阐释。     

大数据背景下非概率抽样的统计推断问题

利用大数据进行抽样,很多情况下抽样框的构造比较困难,使得抽取的样本属于非概率样本,难以将传统的抽样推断理论应用到非概率样本中,如何解决非概率抽样的统计推断问题,是大数据背景下抽样调查面临的严重挑战。本文提出了解决非概率抽样统计推断问题的基本思路：一是抽样方法,可以考虑基于样本匹配的样本选择、链接跟踪抽样方法等,使得到的非概率样本近似于概率样本,从而可采用概率样本的统计推断理论;二是权数的构造与调整,可以考虑基于伪设计、模型和倾向得分等方法得到类似于概率样本的基础权数;三是估计,可以考虑基于伪设计、模型和贝叶斯的混合概率估计。最后,以基于样本匹配的样本选择为例探讨了具体解决方法。     

构建新时代现代化统计调查体系的问题研究

通过总结中国现行统计调查体系存在的问题,对统计调查制度与方法等相关环节问题进行研究,提出建立一套与新时代中国特色社会主义相适应的现代化统计调查体系。这套体系将传统的统计调查方法与新式电子化记录的大数据有效融合使用,注重大数据与抽样调查数据及其推断估计方法的结合,在不显著增加整体调查经费的前提下,更加准确、及时、全面和连续地产生各类宏观时间序列调查数据和微观纵向调查数据,推进中国政府统计管理体制的深化改革与发展。     

新时代发挥统计监督职能的思考

党的十九届四中全会将统计监督纳入国家监督体系之中。随着中国特色社会主义进入新时代以及大数据与人工智能技术的快速发展与应用,统计监督面对的内外部环境都发生了深刻的变化,如何在新环境下进一步发挥统计监督作用成为了一个十分重要的问题。本文系统梳理了有关统计监督的各种论述,对统计监督的内涵进行了重新认识,回顾了新中国成立以来我国统计监督的实践和做法,并与国外统计监督进行了比较,最后提出了在新时代进一步发挥统计监督职能的若干建议。