国外数据挖掘应用研究与发展分析

目前“数据挖掘(Data Mining,DM)”这一术语在学术界还没有一个公认的、权威的定义,但我们一般可以简单的认为数据挖掘是从海量数据中发现趋势或模式的过程。尽管有些人不愿承认数据挖掘与统计学的内在联系,但不可否认的是早期的数据挖掘的确脱胎于统计学,因此也可以说数据挖掘是利用统计学和机器学习技术创建预测行为的模型。需要强调的是数据挖掘的过程是一个“发现”的过程,而不是“发明”的过程。换句话说,数据挖掘所探寻的模式,是一种已有的、只是隐藏在数据中、暂时没有被发现的知识。世界上对数据挖掘的正式研究始于1989年8月举行…     

基于统计数据的OLAP数据挖掘技术

一、概述数据挖掘是 90年代中后期兴起的一门跨学科的综合研究领域 ,它集计算机机器学习、统计学、数据库管理、数据仓库、可视化、并行计算、决策支持为一体 ,利用数据库、数据仓库技术存储和管理数据 ,利用机器学习和统计学方法分析数据 ,旨在发现大量复杂数据中蕴含的有价值的知识和信息。目前 ,随着数据挖掘应用的不断开展以及客观现实对数据分析需求的不断增长 ,人们越来越认识到数据挖掘的重要性和必要性。数据挖掘通过对数据的总结、分类、聚类、关联等分析 ,实现对数据内在结构特征的理解和对未知数据的预测。其中 ,数据总结是在数…     

数据挖掘与现代信息统计

随着计算机及数据库技术的不断发展．数据库管理系统的广泛应用．数据库中存储的数据数量也急剧增大．在大量的数据里面隐藏着许多用于实践的信息，如果能把这些信息从数据库中提炼出来，将为我们工作创造很多潜在的利润．而这种从海量数据库中挖掘信息的技术．就称之为数据挖掘。数据挖掘是应用了统计学的知识以及计算机领域的思想、工具和方法．尤其是计算机学科的知识。     

统计学面临的挑战与发展

回顾二十世纪，在学科发展中变化很大的，统计学无疑是身列其中的。统计的方法和理论经历了几个显著的发展阶段，而且它的应用广泛，几乎深入到各个领域，在考古、历史的研究中，也需要统计学的帮助。数据采掘（DataMining）技术的出现，大大扩展了统计分析的功能，把统计学推到了一个全新的领域，提出了许多新的问题，统计学面临着巨大的挑战。这些挑战表现在哪些方面呢？（一）海量数据产生的困难以往常常说统计是处理大量现象统计规律的方法，所谓大量，在教科书上往往说，样本量在３０以上就是大量数据了，实际工作中处理到成千上百的…     

随机信息中正态均值的灰色统计假设检验判定

利用随机信息进行参数的假设检验，是数理统计学的基本内容。但经典统计学的方法，都是建立在明确数据上的参数假设检验，而现实生活中很多数据具有不确定性。文章在灰色系统理论的基础上，建立了在随机样本信息下正态均值的灰色统计假设检验方法；并列举实例与经典的N—P假设检验方法进行了比较。     

移动社交网络的知识溢出效应——信息红利还是数字鸿沟？

知识溢出是提升人力资本进而促进经济增长的重要方式，移动社交网络的出现和广泛使用打破了信息传递的时空限制，但目前关于其是否具有知识溢出效应的研究仍十分缺乏。本文使用三次中国家庭金融调查（CHFS）采集的具有全国代表性的微观家庭和社区面板数据，以金融知识为研究对象，利用社区是否创建微信群作为准实验，采用双重差分（DID）与三重差分模型（DDD）实证考察微信群这一移动社交网络是否具有知识溢出效应。研究发现，社区建立微信群可使群内成员的金融知识水平显著提升约17.5%，且这一效应在农村地区、受教育程度较低、年龄较大的群体中更为显著，这表明移动社交网络可通过知识溢出创造信息红利并缩小数字鸿沟。进一步的机制分析发现，移动社交网络既可通过其信息源渠道激励群成员学习，也可通过交流渠道促进群成员在互动交流中提高知识水平。本文研究结论表明，在移动社交网络广泛普及的背景下，充分利用网络空间思想集聚产生的知识外溢可以为经济发展创造新动能。     

国际数字经济发展差距对中国OFDI的影响

OFDI是中国进行国际经济交往的重要手段。由于数字经济的发展在很大程度上依赖于数字技术的研发利用和数字商品服务的供需关系，使得目前各国数字经济的发展程度存在较明显的差异和距离。而在国际经济活动中，国与国之间数字经济发展的差距必然会引起国际投资和贸易领域的相对优劣。文章基于中国OFDI截面数据，利用引力模型对中国与东道国之间的数字经济差距对中国OFDI的影响进行分析，得出中国与东道国之间的国际数字经济发展差距对中国OFDI产生抑制性影响的结论；而后使用调节效应方法对其影响机制进行探究，发现数字经济发展差距通过市场消费能力、劳动力资源禀赋和知识技术水平影响OFDI。     

高维大数据基因网络中的社区发现——以NC方法为例

从大量基因中识别出致病基因是大数据下的一个十分重要的高维统计问题。基因间网络结构的存在使得对于致病基因的识别已从单个基因识别扩展到基因模块识别。从基因网络中挖掘出基因模块就是所谓的社区发现（或节点聚类）问题。绝大多数社区发现方法仅利用网络结构信息，而忽略节点本身的信息。Newman和Clauset于2016年提出了一个将二者有机结合的基于统计推断的社区发现方法（简称为NC方法）。本文以NC方法为案例，介绍统计方法在实际基因网络中的应用和取得的成果，并从统计学角度提出了改进措施。通过对NC方法的分析可以看出对于以基因网络为代表的非结构化数据，统计思想和原理在数据分析中仍然处于核心地位。而相应的统计方法则需要针对数据的特点及关心的问题进行相应的调整和优化。     

数据挖掘:挑战与机遇同在

20世纪90年代，美国的一些应用者和学者把在数据海洋中寻找知识的过程叫做“数据挖掘”。这是一种新的信息处理技术，其主要特点是对数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助决策的关键性数据。数据挖掘与传统的数据分析，如查询、报表、OLAP（联机应用分析）、统计分析等数据分析技术的本质区别是数据挖掘是在明确假设的前提下去挖掘信息、发现知识。     

马克威分析系统介绍(四)——数据挖掘

数据挖掘简介1.数据挖掘的由来在信息化飞速发展的今天,海量的数据充斥着我们的电脑、网络和生活。政府部门、科研部门和企业都投入大量资源去搜集信息和存储数据,然而其中只有一小部分被利用到,因为在多数情况下,我们获得的数据要么过于庞大,难以管理;要么结构过于复杂,难以有效分析。我们已经陷入了“数据丰富,信息贫乏”的尴尬境地。对大型的、复杂的、信息丰富的数据集的理解,是所有的商业、科学、工程领域的共同需要。想要从巨大的数据原料中开采出宝贵的知识矿藏,就要使用数据挖掘(DataMining)这一能工利器。系统的数据挖掘工具因此…     

大数据分析仍需要统计思想——以ARGO模型为例

在大数据时代,传统的统计学是否还有用武之地成为很多人的争议。本文以ARGO模型为案例,介绍了统计方法在大数据分析中的应用和取得的成果,并从统计学的角度出发,提出改进的措施与方法。通过ARGO模型的分析结果发现,大数据分析的很多根本性问题仍然是统计问题,而数据中的统计规律仍然是数据分析要挖掘的最大价值,这也意味着统计思想在大数据分析中只能越来越重要。而对于结构复杂、来源多样的大数据来说,统计学方法也需要新的探索和尝试,这将是统计学所面临的机遇和挑战。     

《数理统计学》网页课件的设计

数理统计学是研究如何有效地收集数据,如何对数据进行推理,以便对问题进行推断或预测,从而对决策和行动提供依据和建议.数理统计学是应用性很强的学科,它已被应用于各种专门领域,如物理、化学、工程、生物、经济、社会等,但只涉及其中有关带随机性的数据的分析问题,而不是以任何一种专门的知识领域为研究对象.但是,在应用数理统计方法分析带有随机性数据时,从统计模型的选择、实验方案的制定、统计方法的正确使用以至所得结论的恰当解释,都离不开所论问题的专门知识.     

金融运行异常情况统计监测方法的选择

正从统计学的角度看,金融运行中的异常情况是可以进行界定的。因为在金融运行中我们关心的指标数据一般为时间序列数据,所以金融运行的异常情况在数据上就体现为时间序列数据集中的异常。按照异常的表现形式不同,时间序列的异常主要可以分为点异常和模式异常。这两种异常都可以用于发现一条时间序列或多维时间序列数据集上的     

混合样本下双因素误差模型的参数估计

考虑到面板数据的选择性偏误、不响应、样本流失及轮换面板数据的高成本，在实际应用中，根据研究的需要和两种样本各自的特征，有时将两种样本结合使用，从而得到普通面板数据和轮换面板数据的混合样本。文章提出了混合样本下双因素误差面板回归模型的迭代极大似然估计方法，得到了未知参数的迭代公式。使用蒙特卡罗模拟方法分析了面板数据和混合样本下参数估计的平均绝对偏差和均方误差，结果显示：与面板数据下的极大似然估计量相比，混合样本下迭代极大似然估计方法整体上降低了估计量的平均绝对偏差和均方误差，优于面板数据下的极大似然估计量。     

初遇数据科学

<正>数据在我们当代人的生活中发挥着越来越重要的作用，无论走到哪里，只要一个手机号码或者身份证号码就可以辨识一个人，人的体貌和身份特征、社会关系、衣食住行等内容也可以通过数据表示出来。把数据作为主要研究对象的统计学和数据科学成为了受人瞩目的学科。大学生们无论专业如何，都想了解和掌握一些这方面的知识。为满足这些需求，国内外很多大学都开设了数据科学导论课程。     

基于移动平均法的改进

在管理会计和统计学中,算术平均法、移动平均法和移动加权平均法是预测分析中较为常用的方法,这三种方法由于使用简便而被广泛使用.但是这三种方法在使用过程中由于没有充分考虑到经济事项发展的过程,所以由此而预测得出的结果往往会脱离实际数据,给决策造成失误.文章就这一问题进行了改进,使得预测结果更加贴进实际.     

浅论统计普及的紧迫性

近20年，我国的统计学在实践上和学术上都取得了很大进步，但统计学对社会的影响还不够，没有充分发挥它应有的作用。统计学是认识客观现象数量特征的方法体系，任何事物都有量的规定性，从理论上说，有数量现象存在的地方就应该有统计方法的应用，但在现实中，统计数据的使用和分析比较欠缺，不能为决策提供充分的事实支撑。究其原因，还在于人们的统计素质比较低，缺乏统计意识。这一原因也在更深的层次上限制了人们思维方式的进步。统计普及显得非常紧迫。 统计普及，应该是全方位的普及，既包括应用层次上的统计观察和统计分析的普及…     

高职院校《统计学》普及教育的思考

进入21世纪，随着我国市场化步伐加快，社会对新知识的需求日益增加。无论是国民经济管理，还是企业乃至个人经营、投资决策，都越来越依赖于统计方法。因此，统计学的普及十分必要。要进行全社会的统计学普及教育，应该在各类高等院校中普及统计学教育，即把高等院校作为统计学普及教育的突破口，而后推向全社会。     

方差未知的灰色统计假设检验及应用

利用随机信息进行参数的假设检验,是数理统计学的基本内容。但经典统计学的方法,都是建立在明确随机数据上的参数假设检验。而现实生活中很多数据具有模糊灰色不确定性,如何较为合理地进行科学判断。在灰色系统理论的基础上,建立了在随机样本信息下,方差未知时正态均值的灰色统计假设检验方法。并应用于医学统计中与经典的N-P假设检验方法进行了比较。     

环境统计学教学内容中新软件的介绍

环境科学是一门多学科、多门类的综合性很强的边缘学科，进行环境科学研究和解决因污染产生的环境问题需要应用自然科学、社会科学等学科的专业知识，如环境问题的产生和发展，多数情况下是许多的因素相互作用造成的，这其中有些是必然因素，有些是间接因素，还有物理的。化学的、生物的、人为的因素在起作用。如何正确地解释这些因素之间的相互关系和找出产生这些问题的主要原因，则需要通过大量的监测分析，获取大量的数据，并对数据采用统计学方法进行分析和处理，发现其规律性，从而对造成环境问题原因作出正确的解释。环境统计学是高校…