大数据背景下的谷歌翻译——现状与挑战

在大数据时代,如何通过数据分析挖掘事物的内在规律是人们需要思考的问题.谷歌翻译基于“最好的表达为出现频率最高的表达”这样的认识,将翻译问题转化为统计问题.本文以谷歌翻译为案例,详细分析了案例背景、实现过程,并给出案例反思.谷歌翻译的成功之处在于,将实际问题巧妙地转化为统计问题,并利用其强大的计算能力解决问题.其瓶颈在于,当前的方法只利用了大数据的少量信息,不能充分刻画大数据的全部信息.谷歌翻译对问题的转化和处理方式是大数据应用的典范,对利用大数据解决实际问题有重要的借鉴意义.     

大数据与数据工程学

大数据的冲击并非是对以样本数据为对象的统计学的颠覆,而是对现代统计学的扩展。本文结合大数据的相关特征,以数据经济价值的扩展为切入点,从数据价值挖掘的角度论证了数据挖掘与大数据分析的关系,探讨了大数据背景下数据衍生品的创造与数据工程学创建的必要性。在此基础上,参照“金融工程学”的概念及学科体系,对“数据工程学”的概念进行了界定,并对数据工程学学科体系构建的相关理论基础、主要研究内容与分析技术进行了归纳与说明。     

基于STAR-Copula模型的大数据指数风险相关性测度

文章采用平滑转移连接模型,在大数据条件下,对大数据i100、大数据i300、上证指数和深证指数的风险相关性进行分析研究.结果表明大数据i300和上证指数间具有较为紧密的相关关系,大数据指数和沪深指数的下尾相关系数均高于上尾相关系数,利益相关者和政策决策者需要充分关注股票市场连续下跌的风险.     

从政治算术到大数据分析

本文首先对大数据进行了再认识,包括如何理解大数据的“大”、如何理解大数据的“数据”以及大数据是不是好数据;然后对数据的变化与统计分析方法的发展进行了较为系统的历史梳理,对两者的关系进行了总结;最后探讨了统计学的新发展--大数据分析问题,认为大数据分析是数据科学赋予统计学的新任务,指出了大数据分析面临的挑战与突破口,提出了大数据分析需要达成的共识。     

煤炭大数据指数编制及经验模态分解模型研究

基于开放性数据源、连续观测昨多变量数据编制的大数据指数,与传统的统计调查指数存在的差异不仅在于数据本身的无限扩张,而且在于编制方法以及分解研究的规则、模型方面的差异。在大数据背景下,率先尝试性地提出大数据指数的定义和数据假设,将"互联网大数据指数"引入煤炭交易价格指数综合编制太原煤炭交易大数据指数,从而反映煤炭价格的变动趋势;导入经验模态分解模型,对所编制的煤炭大数据指数进行分解研究,尝试比较与传统的统计调查指数的差异。研究表明:新编制的煤炭价格大数据指数要比太原煤炭交易价格指数更为敏感和迅速,能更好地反映煤炭价格的变动趋势。随着"互联网+"和大数据战略的逐渐普及,基于互联网大数据编制的综合指数会影响到更多领域,将成为经济管理和社会发展各个领域的晴雨表和指示器;与传统统计调查指数逐步融合、互补或者升级,成为宏观经济大数据指数的重要组成部分。     

大数据时代统计学发展的若干问题

近年来,计算机和互联网的发展使得人类信息的拥有量达到了前所未有的程度,各类信息被保存流通起来,人类进入了大数据时代.大数据具有规模性、多样性,高速性等特点,给统计学的发展带来了新的机遇,同时也带来了新的挑战.本文回顾了统计学的发展历史,剖析了统计学的发展特点,在此基础上讨论了大数据背景下统计学的发展定位;并进一步分析统计学与计算机之间的关系,最后分析了大数据研究中存在的若干误区.     

大数据经济学的概念、框架与学科定位研究

在对大数据给经济学带来冲击研究的基础上,对大数据经济学的内容和结构进行了界定,认为其包括大数据计量经济学、大数据统计学、大数据应用经济学。分析了大数据经济学与计算机科学与技术、软件工程、管理科学与工程、统计学、图书情报与档案学、心理学、应用经济学之间的关系,认为大数据经济学是一门新兴交叉学科。对大数据经济学的学科定位进行了分析,认为在大数据经济学的萌芽期,暂时将其作为应用经济学下面的二级学科,待学科发展相对成熟后再作为经济学大类下面的一级学科。     

大数据对CPI统计的影响及方法改进研究

大数据将对政府统计带来巨大的机遇与挑战,消费者价格指数(CPI)作为最重要的价格统计指标,由于样本采集范围广、统计频率高等原因,可谓首当其冲。大数据对CPI统计的影响全面而深刻,充分利用大数据的优势,在数据采集、计算方法、权重选取、季节调整、质量调整、数据公布等方面对CPI统计做出调整与改进,才能更好地捕捉消费品价格变化的动态趋势。针对大数据背景下如何改进中国CPI统计和提高数据质量提出了建议。     

基于投资混频数据的中国经济波动预测

文章基于投资与经济波动之间的相关关系,充分体现统计调查数据和网络搜索数据的优势,利用两种数据对中国宏观经济波动进行研究。针对混频数据的特点和深度学习算法的优势,提出了融合混频数据和深度学习的宏观经济预测方法。首先,考虑到政府统计调查数据与经济波动的强相关性,选取政府投资统计月度指标合成投资统计指数;然后,结合网络搜索数据的时效性和高频性,选取与投资相关关键词的百度指数日度数据合成投资网络搜索指数;最后,构建多源混频数据长短期记忆神经网络模型（MM-LSTM）,利用中国2011—2022年的相关数据进行实证研究,并考察模型的精度与时效性。结果表明,投资相关指标与中国GDP增长率之间存在正向关系;网络搜索数据的加入有助于提升宏观经济预测的精度;MM-LSTM模型提高了短期和中期的预测精度,具备提前预测能力,可为相关部门提供决策依据。     

大数据背景下色谱经济分析方法的应用与展望

文章分析了大数据的特点及其背景下统计学所面临的方法与技术瓶颈,阐述了色谱经济分析法与统计学的关系及因其独特的分析功能和技术手段能够满足统计学应对大数据所需要的某些功能.在对色谱经济分析法的基本概念和理论介绍后,以消费者行为的分析为例演示了色谱经济分析法的基本过程,并展望了色谱经济分析法作为统计学的创新方法在大数据中的应用前景.     

大数据应用的质量控制

数据作为重要的数据资源存在，不论是其内在蕴含的信息价值还是其已经成为人类社会所需数据有机组成的客观事实，都迫使我们去不断加强对大数据的应用。然而，由于大数据作为信息技术应用的副产品，其复杂性、不确定性和涌现性决定了我们应用大数据并非易事，存在着很多质量上的问题，除了具有传统数据所有的质量问题外，还包括一些独特的新问题。为了更好地应用大数据，本文对如何进行大数据应用的质量控制进行了初步的研究。主要内容包括以下三个方面：一是对什么是大数据质量、受哪些因素影响、可能存在哪些质量问题进行了探讨；二是从做好理论准备、建立质量控制方案、重视对小数据研究、加强大数据管理、加强大数据人才培养和加强大数据法制建设六个方面，提出了大数据应用的质量控制的基本想法；三是对大数据应用中需要引起注意的几个方面进行了讨论，并结合例子进行了阐释。     

政府统计生产体系中的大数据融入探讨——基于数据源与数据质量的分析

大数据在统计生产中潜力巨大,有助于构建高质量的统计生产体系,但符合统计生产目标的数据源特征及其数据质量问题有待明确。本文在寻求大数据源与传统统计数据源共同点的基础上,讨论了统计生产中的大数据源及其数据质量问题,进而探讨了大数据与传统统计生产融合应用。首先从数据生成流程及数据特征两个方面论证并限定了可用于统计生产的大数据源;然后在广义数据质量框架下讨论了大数据统计生产中的数据质量问题,梳理了大数据统计生产流程的数据质量控制要点和质量缺陷;最后根据数据质量分析结果,提出了将大数据融入传统调查的统计体系构建思路。     

基于大数据思维的统计学若干理论问题

本文基于大数据思维,对统计学若干理论问题进行了讨论。本文认为：在大数据背景下,统计学以数据为研究对象没有变,作为方法论科学的性质没有变,以探索真相为根本任务没有变;但是作为统计学研究对象的数据出现了四个新的动向,即数据内涵有新理解,数据结构与来源有新方式,数据不确定性有新表现,数据分析思路与技术有新要求;为此,需要重新理解和定义总体、个体与样本,标志与变量,可靠性与有效性这三组统计学中最基本也最重要的概念。最后论文指出,大数据为统计学发展提供了新的平台,需要我们从数据、方法和应用三个维度同时发力。     

海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践

大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。     

大数据时代对传统统计学变革的思考

本文在大数据时代背景下,将统计学与大数据有机地结合,剖析了大数据时代给统计学带来的变革,阐述了大数据为传统统计学带来的发展机遇。在大数据时代,为了保持统计学旺盛的生命力,本文对统计学的发展提出了几点思考。     

大数据的整合分析方法

大数据具有数据来源差异性、高维性及稀疏性等特点,如何挖掘数据集间的异质性和共同性并降维去噪是大数据分析的目标与挑战之一。整合分析（Integrative Analysis）同时分析多个独立数据集,避免因地域、时间等因素造成的样本差异而引起模型不稳定,是研究大数据差异性的有效方法。它的特点是将每个解释变量在所有数据集中的系数视为一组,通过惩罚函数对系数组进行压缩,研究变量间的关联性并实现降维。本文从同构数据整合分析、异构数据整合分析以及考虑网络结构的整合分析三方面梳理了惩罚整合分析方法的原理、算法和研究现状。统计模拟发现,在弱相关、一般相关和强相关三种情形下, Group Bridge、 Group MCP、Composite MCP都表现良好,其中 Group Bridge的假阳数最低且最稳定。最后,将整合分析用于研究具有来源差异性的新农合家庭医疗支出,以及具有超高维、小样本等大数据典型特征的癌症基因数据,得到了一些有意义的结论。     

大数据时代统计学的重构与创新

本文集中介绍了多位顶尖统计学家在大数据研究方面的新进展,内容涉及大数据背景下政府统计需求,统计设计,统计学理论框架的重构,统计学利用大数据在基因学、天文学、宇宙学、流行病学、经济金融学、生命科学和工程学等领域中的应用,以及大数据人才培养问题等。     

大数据时代统计学重构研究中的几个热点问题

随着新兴科学技术的迅猛发展,我们目前正面临大数据时代。大数据是“未来的新兴石油”,它必将对未来的科技与社会经济的发展产生深远影响。认识大数据这个崭新的概念是一个逐步深化的过程,有必要将对其研究上升为国家意志,因为大数据将深刻影响人类的决策模式和社会经济的运行模式,将发展成为一个极具潜力新兴产业,最终成为解决中国社会经济、政治转型期的重要手段。 迄今为止,能借助的国内外文献不多,虽然国内很多研究工作者希望尽早进入相关的大数据研究领域,却无从下手。为此,本文前瞻性地介绍当今大数据统计学理论研究中的几个热点问题,以期能有更多的他人后续研究。     

数据科学的统计学内涵

数据科学以大数据为研究对象,而大数据对统计分析最直接的冲击莫过于数据收集方式的变革,同时统计分析的视野也不再局限于传统的属性数据,而是包括了关系数据、非结构、半结构数据等其他类型更丰富的数据。伴随着数据开放运动,数据库之间的关联信息的价值逐步得到体现。基于统计学的视角分别从科学理论基础、计算机处理技术和商业应用等三个维度研究了数据科学的统计学内涵,探讨了数据科学范式对统计分析过程的直接影响,以及统计学视角面临的机遇与挑战。