谷歌流感趋势的成功与失误

大数据时代下机遇与挑战并存,如何基于传统方法去处理大数据引人深思,一味地追求大数据也不一定正确。本文以谷歌流感趋势(GFT)为案例,介绍了大数据在疾病疫情监测方面的主要技术及相关成果,阐述了大数据在使用中的关键问题,并结合复杂的统计学工具给出了一些改进措施。谷歌流感趋势的成功取决于相关关系的应用,其失误却来源于模型的构造、因果关系和相关关系的冲突等问题。谷歌流感趋势案例的分析与启示对政府今后在大数据解决方案中有重要的理论和实践意义。     

高维大数据基因网络中的社区发现——以NC方法为例

从大量基因中识别出致病基因是大数据下的一个十分重要的高维统计问题。基因间网络结构的存在使得对于致病基因的识别已从单个基因识别扩展到基因模块识别。从基因网络中挖掘出基因模块就是所谓的社区发现（或节点聚类）问题。绝大多数社区发现方法仅利用网络结构信息,而忽略节点本身的信息。Newman和Clauset于2016年提出了一个将二者有机结合的基于统计推断的社区发现方法（简称为NC方法）。本文以NC方法为案例,介绍统计方法在实际基因网络中的应用和取得的成果,并从统计学角度提出了改进措施。通过对NC方法的分析可以看出对于以基因网络为代表的非结构化数据,统计思想和原理在数据分析中仍然处于核心地位。而相应的统计方法则需要针对数据的特点及关心的问题进行相应的调整和优化。     

对大数据统计设计的思考

本文认为大数据统计与三个问题有关：大数据发展趋向极限无穷,人类社会数据信息将发生什么变化？大数据发展会不会产生危害社会进步的数据垃圾？大数据即使是一场革命,那么作为数据科学的统计学脱胎换骨地继承与发展是什么？本文对此回答包括,提出大数据发展的统计设计观点,从理论和实践上做出了论证分析,并联系我国实际,探讨了我国大数据发展中的统计设计理论和内容要点。     

基于误判率的最大差异度量法

最大差异度量法在市场研究中越来越受到重视,但是其问卷设计中包含的误判信息并没有被有效利用,文章在定义了顺序比较和三角误判的概念后,提出了计算个人误判率的方法,统计出的个人误判率可以作为排除误判率较高评价者的依据.在此基础上,结合汽车消费者购买因素调查的实际案例,验证了基于误判率的最大差异度量法的有效性,同时利用不同购买因素之间的有效对比计数和概率信息,得到了个体的最优排序,为后续研究提供了更有价值的数据信息.     

大数据分析仍需要统计思想——以ARGO模型为例

在大数据时代,传统的统计学是否还有用武之地成为很多人的争议。本文以ARGO模型为案例,介绍了统计方法在大数据分析中的应用和取得的成果,并从统计学的角度出发,提出改进的措施与方法。通过ARGO模型的分析结果发现,大数据分析的很多根本性问题仍然是统计问题,而数据中的统计规律仍然是数据分析要挖掘的最大价值,这也意味着统计思想在大数据分析中只能越来越重要。而对于结构复杂、来源多样的大数据来说,统计学方法也需要新的探索和尝试,这将是统计学所面临的机遇和挑战。     

相依函数型数据的局部回归估计的渐近正态性

函数型数据研究近年来为越来越多的学者所重视,其在天文,医药,经济现象,生态环境及工业制造等诸多方面均有重要应用.非参数统计是统计研究的一个重要方面,其中核函数估计和局部多项式方法是这一类研究中重要常用方法.函数型数据的非参数方法中以核函数估计方法较为常见,且其收敛速度与极限分布无论在独立情形还是相依情形都有理论结果.而局部多项式的研究在函数型数据背景下较为少见,原因在于将局部多项式方法推广到函数型数据背景一直是一个难题. Marin, Ferraty, Vieu [Journal of Nonparametric Statistics, 22 (5) (2010), pp.617-632] 提出了非参函数型模型的局部回归估计. 这种估计可以看作是局部多项式估计在函数型数据背景下的一个推广.这种方法提出后,许多学者进一步研究了这种方法,考察了这种方法的收敛速度和极限分布,并将这种方法应用到不同的模型中以适应实际需求.但是,前人的研究都要求数据具有独立同分布的性质.然而许多实际数据并不符合这一假设.本文研究了在相依函数型数据情形下局部回归估计的渐近正态性.由于估计方法有差异,核函数估计的研究方法无法直接推广到局部回归估计,而相依性结构也给研究带来了一些挑战,我们采用Bernstein分块方法将相依性问题转化为渐近独立的问题,从而得到了估计的渐近正态性.此外我们还采用数据模拟的方法进一步验证了渐近正态的结果.     

大数据背景下的统计制度与方法变革

随着信息技术与产业的快速发展,人类开始进入大数据时代.现如今,人们生活所涉及的各个领域都会有大数据的出现.大数据具有四大特征[1]:一是数据的容量巨大,数量级已从TB级别达到了PB级别;二是数据类型多样化,地理位置信息逐渐增多,逐步取代普通的图片、文字、视频,类型越来越多样化;三是价值密度降低,在连续事件发生的过程中,可以使用的数据有可能只会出现一两秒的时间:四是处理数据的速度加快,某些应用的意义将会通过实时地分析与预测得以阐述. 我们可以将大数据时代定义为通过现代网络渠道收集广泛大量的数据资源,对数据存储“价值提炼”智能处理和展示的信息时代[1].然而,大数据的前提和基础是统计.目前主流的统计软件无法在适宜的时间段内对人们生活中产生的巨大数据量进行抓获,并及时进行分析整理,挖掘出对人们决策有用的信息.未来统计制度与方法的发展方向也必然全面应用大数据思维,顺应大数据发展的趋势,这必将为统计制度及方法带来一些变革.     

大数据环境下的服务业统计构想

服务业是国民经济的重要组成部分,其发展水平是衡量地区现代化程度的重要标志。大数据时代的来临,给服务业统计的推进带来了新的机遇和挑战。本文通过分析服务业统计的现状与问题,指出大数据时代给服务业统计的传统模式带来冲击,掌握信息的主体地位将被动摇,统计需求的要求将进一步提高,提出完善和创新服务业统计的构想。     

统计传播的模式

如果说,统计的"生命"源于数据信息的真实性,那么,统计的"魅力"在于及时提供大量有价值的数据信息。这里既牵涉到"源头"——统计信息真实性的问题,又涉及到"过程"——统计信息的传播问题。传播通常是指信息的流动过程,统计传播就是统计信息的流动过程。在信息化社会不断涌现的海量信息当中,统计信息万众关     

记录链接理论及应用

大数据时代,对不同来源的数据进行整合是开展数据分析的第一步.记录链接(record linkage)是数据整合的核心技术之一.记录链接涉及了统计学、计算机科学的相关知识.在欧美等发达国家,记录链接理论及实践已经有数十年的历史,但国内鲜有系统的研究.文章介绍了记录链接的基础统计模型——Fellegi-Sunter模型,归纳了实务应用流程,并介绍了应用案例,以期对我国的统计工作和大数据应用有所启迪.     

利用扫描数据编制CPI的国际经验及启示

在大数据背景下,大数据对政府统计的理论方法和生产方式必将产生影响.文章介绍了扫描数据的基本内涵,并通过部分国家利用扫描数据编制居民消费价格指数的经验,提出在大数据背景下,我国政府统计利用扫描数据编制居民消费价格指数的几点建议.     

多重假设检验中参数估计问题研究

在多重假设检验中,真正原假设的个数m0是未知的,但是它有着很重要的影响,因此,它在最近的统计文献中备受关注.文章综述了三种主要的估计方法:最低斜率法、三次样条法、均值估计方法.然后将上述三种方法结合起来,提出了新的估计方法:均值三次样条法,并主要研究了其在微阵列数据上的应用.大量的模拟研究表明,和其他方法相比,新的估计方法具有较小的偏差和标准差.最后利用真实数据来对估计方法进行评估,并找出了差异表达性基因.模拟和实际数据表明此方法具有显著性提高.     

重视统计咨询

统计咨询是一个重要的统计应用领域,它把现代经济管理与统计技术结合起来对现实问题提出具有量化特征的对策,并提供有关以统计方法进行实验的逻辑观念。由于可能把数据转化成为有用的信息和信息服务,统计咨询己成为用知识装备企业的需要并日益走近社会。本文认为中国的统计咨询工作刚刚起步,存在三大缺陷,同时提出了相应的对策建议。     

基于大数据的小微企业统计信息采集策略

小微企业由于信息严重不对称导致融资难、融资贵、贷款难等问题,基于大数据来源之一的互联网社交媒体的小微企业信息采集是获取小微企业信息数据的重要途径.文章面对爆发式增长的互联网信息资源,利用主题聚焦网络爬虫技术、数据库技术、Java技术等设计并实现由基于链接结构分析的链接地址URL筛选及采集、基于模板节点匹配的网页正文信息抽取、数据入库三个功能模块组成的小微企业统计信息自动采集系统,采集到的数据以结构化数据的形式存储到MySQL数据库中,为后续数据挖掘与分析提供良好的数据支持.结果表明,文章所提出的信息自动采集系统采集效率较高,能够适应小微企业统计信息采集的需求.     

国际上改善发展成果统计测量的进展

2003年5月世界银行联合欧盟统计局和联合国开发计划署召开了一次改善发展成果统计测量的会议,会议集聚了来自世界各国和各个不同国际组织中十分关心发展成果统计测量问题的专家。会议报告了改善对发展成果进行统计测量的最新进展,并对今后的进一步完善提出了若干项新建议。同时强调对国家级和世界级统计信息数据库进行完善和协调的必要性,目的在于更好地利用二手数据,并实现二手数据的有效整合。会议对主要发展指标的实施,从战略的角度有效地讨论了统计数据的质量、一致性和可行性方面的诸多问题。一、对发展成果统计测量予以完善的必要性对…     

简析统计信息的“三性”

统计信息是经济信息的重要组成部分,特别是在市场经济的今天,它的信息可靠与否将左右着该企业的成效,其重要性也就可想而知了,为此,对统计信息的“三性”实有其探讨的必要.1.客观性所谓统计信息的客观性,在于统计信息所反映的社会现象与统计信息所描述的相对一致,可靠性是客观性的基本要求.但对收集到的统计信息而言,都并不能做到相对的一致,就抽样调查而言,第一次获得的信息就不能视作具有相当可信程度的信息,为此姑且称之为模糊信息,把多次的模糊信息结     

统计信息的数字化出版

统计信息数据库系统为政府、企业及科研院校等用户提供了决策和科研的数据和资料 ,网络的建立为信息的发布、交流提供了有效而广阔的途径 ,那么 ,如何让统计信息以丰富的内容和多样的形式并且有针对性地直接面向用户 ,就成为又一个迫切需要解决的问题。传统的纸印出版物只能以文字和图片的形式表达信息 ,随着其信息涵盖量的增加 ,自身质量、占据的空间会越来越大 ,而且 ,一经成型其内容便无法及时修改、更新。更为严重的是对它们只有一种线性的信息检索方法。因此 ,纸印出版物有限的存取信息的途径和单一的检索信息的方法 ,一方面与统计信息…     

统计数据质量的内涵与控制

"统计"是"将原始数据整理转化为二次加工数据或信息的一个过程"。在这里,"原始数据"是统计过程的输入     

时间序列分析在经济预测中的应用

为了配合《统计学》课程的现行教学 ,提高学生运用统计方法分析、解决实际问题的能力 ,我们组织了一次案例教学 ,其内容是 :对烟台市的未来经济发展状况作一预测分析 ,数据取烟台市 1978～ 1998年 GDP的年度数据。在组织实施时 ,我们首先将数据资料印发给学生 ,并讲清本案例的教学目的与要求 ,明确案例所涉及的教学内容 ;然后给学生一段时间 ,由学生根据资料 ,运用不同的方法进行预测分析 ,并确定具体的讨论日期 ;在课堂讨论时让学生自由发言 ,阐述自己的观点 ;最后 ,由主持教师作点评发言 ,取得了良好的教学效果。本文是此次案例教学活动…     

浅议现代企业统计信息开发的六项基本原则

所谓企业统计信息的开发,是指将已收集到的统计信息,根据使用者的需要,有目的地进行不同类型、不同方式、不同深度的整理和加工,使其增值,并以各种方式和各种类型的统计信息“产品”提供给使用者.统计资料作为一种资源,同其他信息资源一样,具有使用的非消耗性和长效性,它并不象物质资源那样因使用而耗损和消失,因而可以无限次地使用.统计信息的开发,就是充分利用统计信息资源这种无限次使用的可能性,进行反复多次的分析和利用,以便最大限度地把统计信息转化为