数据挖掘：统计学的分支？

与统计相似,数据挖掘也是一门揭示存在于数据里的模式或数据间关系的学科,但它强调对大规模数据的处理。数据挖掘与统计学有着密切的关系,但数据、方法等方面的差异决定它不是统计学的子学科。     

基于函数型数据分析的数据挖掘功能研究

数据挖掘功能是数据挖掘研究与应用的一个重要方面。数据挖掘功能用于指定数据挖掘任务中要找的模式类型。当前,数据挖掘的功能所处理的主要是传统的数据,对于函数型数据的研究还不是很多。文章探讨了数据挖掘中可以挖掘的几种函数型数据模式,包括数据描述、分类、聚类和回归。     

基于粗糙集的客户分类方法

1相关理论1.1数据挖掘(Data M ining)技术数据挖掘是从数据当中发现趋势或模式的过程。这一过程的目标就是通过对大量数据的分类而发现新的信息。人们通过数据挖掘得到的回报就是将这些新发现的知识转变为经营上的成果,如增加销售收入或者减少销售成本。数据挖掘是最近几年才发     

统计学与统计的应用

统计学是一门方法论科学 ,因而也是一门应用科学。任何科学理论的形成都是通过实践发现和总结出来的 ,离开了实践就不会产生科学。一般 ,科学在其发展过程中都会形成“理论的”和“应用的”两个相对独立的分支。但是 ,统计学这门最古老的科学却似乎还没有形成明显的“理论统计学”和“应用统计学”。也许 ,这与统计学是一门“方法论科学”这一性质有关。作为方法论科学 ,统计学有两个重要的特点 :一是与数据信息相关联 ,它是研究“大量”数据信息的搜集、整理、传输和应用的方法论科学 ;二是与具体的实践过程及其相关科学相关联。它是将研究…     

数据挖掘:挑战与机遇同在

20世纪90年代，美国的一些应用者和学者把在数据海洋中寻找知识的过程叫做“数据挖掘”。这是一种新的信息处理技术，其主要特点是对数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助决策的关键性数据。数据挖掘与传统的数据分析，如查询、报表、OLAP（联机应用分析）、统计分析等数据分析技术的本质区别是数据挖掘是在明确假设的前提下去挖掘信息、发现知识。     

基于统计数据的OLAP数据挖掘技术

一、概述数据挖掘是 90年代中后期兴起的一门跨学科的综合研究领域 ,它集计算机机器学习、统计学、数据库管理、数据仓库、可视化、并行计算、决策支持为一体 ,利用数据库、数据仓库技术存储和管理数据 ,利用机器学习和统计学方法分析数据 ,旨在发现大量复杂数据中蕴含的有价值的知识和信息。目前 ,随着数据挖掘应用的不断开展以及客观现实对数据分析需求的不断增长 ,人们越来越认识到数据挖掘的重要性和必要性。数据挖掘通过对数据的总结、分类、聚类、关联等分析 ,实现对数据内在结构特征的理解和对未知数据的预测。其中 ,数据总结是在数…     

数据挖掘运用的理论与技术

一、引言数据挖掘是指一个完整的过程 ,该过程从大型数据库中挖掘先前未知的 ,有效的 ,可实用的信息 ,并使用这些信息做出决策或丰富知识。数据挖掘环境可示意如下图 1。数据挖掘与传统的数据分析 (如查询、报表、联机应用分析 )的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知 ,有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的 ,既数据挖掘是要发现那些不能靠直觉发现的信息或知识 ,甚至是违背直觉的信息或知识 ,挖掘出的信息越是出乎意料 ,就可能越有价值。在商…     

数据挖掘及其对统计学的挑战

一、引言随着科学技术的发展 ,利用数据库技术来存储管理数据 ,利用机器学习的方法来分析数据 ,从而挖掘出大量的隐藏在数据背后的知识 ,这种思想的结合形成了现在深受人们关注的非常热门的研究领域 :数据库中的知识发现———ＫＤＤ(ＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖ ｅｒｙｉｎＤａｔａｂａｓｅｓ) ,其中 ,数据挖掘技术便是ＫＤＤ中的一个最为关键的环节。1995年 ,在加拿大的蒙特利尔召开了第一届“知识发现和数据挖掘”国际学术会议 ,数据挖掘一词被很快流传开来。数据挖掘———ＤＭ(ＤａｔａＭｉｎｉｎｇ)就是从大量的、不完全的、有噪…     

数据挖掘方法应用于调查数据的抽样权重问题

 在将数据挖掘方法应用于抽样调查数据时,会遇到抽样权重的处理问题。本文提出采用放回的、与样本单元权数大小成比例的再抽样方法,简称PPWWR再抽样,来实现“事后”自加权设计。实现“事后”自加权设计后的子样本可忽略掉样本权数,直接采用常规的图示方法和数据挖掘算法进行分析。随后,基于2007中国公民科学素质调查贵州省数据,通过模拟分析讨论了PPWWR再抽样子样本的样本量问题,发现 是一个比较合适的样本量。这一结论可能为其它大型复杂抽样调查数据的数据挖掘实施问题提供借鉴。     

近几年我国GDP核算改革的回顾和进一步改革的若干思考

 国民经济核算 方法制度 改革 GDP     

黄金价格的长期决定因素分析

一、引言上海黄金交易所正式开业已过周年,中国人民银行也已正式停止执行关于黄金制品生产、加工、批发业务的审批,黄金制品零售业务核准等项目的行政审批措施,商业银行正准备开展个人记账式黄金交易业务,封闭了5 0余年的新中国黄金市场踏上了全面开放、与国际接轨的道路。从此     

GDP数据修正前后中国货币缺口的变化——兼论未观测经济对货币供给的影响

2006年1月9日国家统计局发布“关于我国国内生产总值历史数据修订结果的公告”。在第一次全国经济普查的基础上,国家统计局对2004年GDP进行了核算,结果显示,该年GDP数据比年快报核算数增加了2.3万亿元,其中的93%出自第三产业。1992年进行第一次全国第三产业普查之后,已经对1978年至1992年的GDP历史数据进行过修订,因此,这次GDP历史数据修订的时期确定为1993年至2003年,并发布了修正后的数据。这样,我国GDP数据时间序列的可比性进一步加强。经济总量和增长速度的变化,改变了我们对过去我国货币缺口和均衡程度的判断,也从一个侧面反映出…     

未观测经济核算及其对中国GDP统计的意义 评蒋萍的《核算漏洞与经济总量流失：以未观测经济核算为例》

自1992年开始正式采用国际通行的国民经济核算方法以来的十几年间,我国的国民经济核算基本实现了与国际接轨,但是还需要不断完善,其中未观测经济的核算就是重要的一个方面。蒋萍教授的专著《核算漏洞与经济总量流失:以未观测经济核算为例》(以下简称《核》文),以未观测经济核算     

积极推进经济地理信息系统的建设——也谈“经济普查数据的开发与利用”

经济普查是一项国情国力的综合调查 ,调查的对象是从事第二、第三产业的全部法人单位、产业活动单位和个体经营户。与人口普查、工业普查等相比 ,经济普查调查的范围更全、涉及的领域更广。国家投入大量资金、人力、物力进行经济普查 ,得到的最终成果是经济普查数据资料。这些统计数据有 1 0 0 0余项指标 ,可谓非常全面和具体。如何开发应用这些原始数据资料 ,让经济普查数据更好、更方便地满足政府制订经济和社会发展规划的需求 ,服务于社会 ,将是摆在我们面前的一个迫切问题。有关“如何开发与利用经济普查数据”方面的讨论很多 ,有人主张…     

浙江房地产市场发展研究报告

在连续多年保持高速增长的发展态势下 ,浙江的房地产市场开始进入一个关键时期。一方面房地产业在国民经济中的地位越来越重要 ,对相关行业的拉动作用越来越明显 ;另一方面房地产市场发展“非理性繁荣”背后所隐含的风险也日益显现 ,越来越受到各方面的关注。　　一、周期波动与分阶段回顾(一 )周期波动分析国内外的经济理论和日本、香港、台湾等地房地产业发展的实例都证明 ,与宏观经济增长过程中的周期波动现象相似 ,在房地产经济发展过程中也客观存在着房地产周期波动。考虑到统计指标的代表性、时间序列数据取得的难易程度 ,我们选取了…     

点随机与轨迹随机——关于两种随机性均分析

一、引言两种随机性基本概念的差异是一个数据值xt 的下一个值xt 1是随机的出现 ,还是在某种确定性的方式下出现 ,这是点随机方法与轨迹随机方法的主要分歧 ,并由此展开了两种方法上的讨论。由于他们面对的是同样的研究对象 (时间序列 ) ,所以二者具有某种关系 ,以使传统方法的丰富资源可以与动力系统相联系。他们二者之间的具体方法以及在这些方法之间的联系可以从一个新的角度看待数据的统计特性 (指时间序列 ) ,能够使我们具体地从另一个角度看待传统方法中的标准差 (反映变化 )在动力系统中是如何体现为变化以及变化的持续性的。　　二…     

产业关联测度方法及其应用问题探析

投入产出法作为从技术经济角度进行产业关联研究的重要工具,其分析基础是:在一定的值域内,某种产品的产出量与相关的投入(各种中间投入和最初投入)量之间是成线性比例的①。各种消耗系数就是刻划这种数量关系的主要工具。如所周知,最基本的产业关联分析测度是直接消耗系数,由此可推导或派生出几乎所有的其他分析系数。通常将直接消耗系数矩阵定义为:A=(aij)n×n=X^q-1(其中,X为中间流量矩阵,q为总产出向量),则有如下的完全消耗系数矩阵和完全需求系数矩阵(列昂节夫逆矩阵)②:B=(I-A)-1-I=(bij)n×n C=(I-A)-1=B I=(cij)n×n借助于这些…     

基于CDM模型的创新测度研究

  本文介绍创新调查分析领域比较流行的CDM模型的由来、结构及其在创新调查分析领域的应用,依据全国工业企业创新调查指标对CDM模型进行了改进,尝试建立一个适合进行中国企业创新的微观实证研究的模型框架。     

中国银行业市场结构与市场绩效的实证分析

一、引言2 0世纪80年代以来,西方学者对西方国家银行业市场结构与市场绩效间的关系进行了大量的实证研究。对市场结构与市场绩效之间的正向关系,提出了两种截然不同的理论解释。一种解释是“结构 行为 绩效”假说(Bain ,1 95 1 )认为,在集中度高的市场中大银行间可以无成本的达成合谋协议(Stigler,1 96 4 ) ,通过支付较低的存款利率,收取较高的贷款利率,大银行获得了垄断利润。因此,他们认为是市场结构决定了市场行为,市场行为决定了市场绩效。另一种解释是“有效结构”假说(Demsetz1 973,1 974 ;Peltzman ,1 977)认为,有效率的银行具有更…