数据挖掘：统计学的分支？

与统计相似,数据挖掘也是一门揭示存在于数据里的模式或数据间关系的学科,但它强调对大规模数据的处理。数据挖掘与统计学有着密切的关系,但数据、方法等方面的差异决定它不是统计学的子学科。     

基于函数型数据分析的数据挖掘功能研究

数据挖掘功能是数据挖掘研究与应用的一个重要方面。数据挖掘功能用于指定数据挖掘任务中要找的模式类型。当前,数据挖掘的功能所处理的主要是传统的数据,对于函数型数据的研究还不是很多。文章探讨了数据挖掘中可以挖掘的几种函数型数据模式,包括数据描述、分类、聚类和回归。     

基于粗糙集的客户分类方法

1相关理论1.1数据挖掘(Data M ining)技术数据挖掘是从数据当中发现趋势或模式的过程。这一过程的目标就是通过对大量数据的分类而发现新的信息。人们通过数据挖掘得到的回报就是将这些新发现的知识转变为经营上的成果,如增加销售收入或者减少销售成本。数据挖掘是最近几年才发     

统计学与统计的应用

统计学是一门方法论科学 ,因而也是一门应用科学。任何科学理论的形成都是通过实践发现和总结出来的 ,离开了实践就不会产生科学。一般 ,科学在其发展过程中都会形成“理论的”和“应用的”两个相对独立的分支。但是 ,统计学这门最古老的科学却似乎还没有形成明显的“理论统计学”和“应用统计学”。也许 ,这与统计学是一门“方法论科学”这一性质有关。作为方法论科学 ,统计学有两个重要的特点 :一是与数据信息相关联 ,它是研究“大量”数据信息的搜集、整理、传输和应用的方法论科学 ;二是与具体的实践过程及其相关科学相关联。它是将研究…     

数据挖掘:挑战与机遇同在

20世纪90年代，美国的一些应用者和学者把在数据海洋中寻找知识的过程叫做“数据挖掘”。这是一种新的信息处理技术，其主要特点是对数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助决策的关键性数据。数据挖掘与传统的数据分析，如查询、报表、OLAP（联机应用分析）、统计分析等数据分析技术的本质区别是数据挖掘是在明确假设的前提下去挖掘信息、发现知识。     

基于统计数据的OLAP数据挖掘技术

一、概述数据挖掘是 90年代中后期兴起的一门跨学科的综合研究领域 ,它集计算机机器学习、统计学、数据库管理、数据仓库、可视化、并行计算、决策支持为一体 ,利用数据库、数据仓库技术存储和管理数据 ,利用机器学习和统计学方法分析数据 ,旨在发现大量复杂数据中蕴含的有价值的知识和信息。目前 ,随着数据挖掘应用的不断开展以及客观现实对数据分析需求的不断增长 ,人们越来越认识到数据挖掘的重要性和必要性。数据挖掘通过对数据的总结、分类、聚类、关联等分析 ,实现对数据内在结构特征的理解和对未知数据的预测。其中 ,数据总结是在数…     

数据挖掘运用的理论与技术

一、引言数据挖掘是指一个完整的过程 ,该过程从大型数据库中挖掘先前未知的 ,有效的 ,可实用的信息 ,并使用这些信息做出决策或丰富知识。数据挖掘环境可示意如下图 1。数据挖掘与传统的数据分析 (如查询、报表、联机应用分析 )的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知 ,有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的 ,既数据挖掘是要发现那些不能靠直觉发现的信息或知识 ,甚至是违背直觉的信息或知识 ,挖掘出的信息越是出乎意料 ,就可能越有价值。在商…     

数据挖掘及其对统计学的挑战

一、引言随着科学技术的发展 ,利用数据库技术来存储管理数据 ,利用机器学习的方法来分析数据 ,从而挖掘出大量的隐藏在数据背后的知识 ,这种思想的结合形成了现在深受人们关注的非常热门的研究领域 :数据库中的知识发现———ＫＤＤ(ＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖ ｅｒｙｉｎＤａｔａｂａｓｅｓ) ,其中 ,数据挖掘技术便是ＫＤＤ中的一个最为关键的环节。1995年 ,在加拿大的蒙特利尔召开了第一届“知识发现和数据挖掘”国际学术会议 ,数据挖掘一词被很快流传开来。数据挖掘———ＤＭ(ＤａｔａＭｉｎｉｎｇ)就是从大量的、不完全的、有噪…     

数据挖掘方法应用于调查数据的抽样权重问题

 在将数据挖掘方法应用于抽样调查数据时,会遇到抽样权重的处理问题。本文提出采用放回的、与样本单元权数大小成比例的再抽样方法,简称PPWWR再抽样,来实现“事后”自加权设计。实现“事后”自加权设计后的子样本可忽略掉样本权数,直接采用常规的图示方法和数据挖掘算法进行分析。随后,基于2007中国公民科学素质调查贵州省数据,通过模拟分析讨论了PPWWR再抽样子样本的样本量问题,发现 是一个比较合适的样本量。这一结论可能为其它大型复杂抽样调查数据的数据挖掘实施问题提供借鉴。     

近几年我国GDP核算改革的回顾和进一步改革的若干思考

 国民经济核算 方法制度 改革 GDP     

黄金价格的长期决定因素分析

一、引言上海黄金交易所正式开业已过周年,中国人民银行也已正式停止执行关于黄金制品生产、加工、批发业务的审批,黄金制品零售业务核准等项目的行政审批措施,商业银行正准备开展个人记账式黄金交易业务,封闭了5 0余年的新中国黄金市场踏上了全面开放、与国际接轨的道路。从此     

GDP数据修正前后中国货币缺口的变化——兼论未观测经济对货币供给的影响

2006年1月9日国家统计局发布“关于我国国内生产总值历史数据修订结果的公告”。在第一次全国经济普查的基础上,国家统计局对2004年GDP进行了核算,结果显示,该年GDP数据比年快报核算数增加了2.3万亿元,其中的93%出自第三产业。1992年进行第一次全国第三产业普查之后,已经对1978年至1992年的GDP历史数据进行过修订,因此,这次GDP历史数据修订的时期确定为1993年至2003年,并发布了修正后的数据。这样,我国GDP数据时间序列的可比性进一步加强。经济总量和增长速度的变化,改变了我们对过去我国货币缺口和均衡程度的判断,也从一个侧面反映出…     

中国银行业市场结构与市场绩效的实证分析

一、引言2 0世纪80年代以来,西方学者对西方国家银行业市场结构与市场绩效间的关系进行了大量的实证研究。对市场结构与市场绩效之间的正向关系,提出了两种截然不同的理论解释。一种解释是“结构 行为 绩效”假说(Bain ,1 95 1 )认为,在集中度高的市场中大银行间可以无成本的达成合谋协议(Stigler,1 96 4 ) ,通过支付较低的存款利率,收取较高的贷款利率,大银行获得了垄断利润。因此,他们认为是市场结构决定了市场行为,市场行为决定了市场绩效。另一种解释是“有效结构”假说(Demsetz1 973,1 974 ;Peltzman ,1 977)认为,有效率的银行具有更…     

浙江房地产市场发展研究报告

在连续多年保持高速增长的发展态势下 ,浙江的房地产市场开始进入一个关键时期。一方面房地产业在国民经济中的地位越来越重要 ,对相关行业的拉动作用越来越明显 ;另一方面房地产市场发展“非理性繁荣”背后所隐含的风险也日益显现 ,越来越受到各方面的关注。　　一、周期波动与分阶段回顾(一 )周期波动分析国内外的经济理论和日本、香港、台湾等地房地产业发展的实例都证明 ,与宏观经济增长过程中的周期波动现象相似 ,在房地产经济发展过程中也客观存在着房地产周期波动。考虑到统计指标的代表性、时间序列数据取得的难易程度 ,我们选取了…     

点随机与轨迹随机——关于两种随机性均分析

一、引言两种随机性基本概念的差异是一个数据值xt 的下一个值xt 1是随机的出现 ,还是在某种确定性的方式下出现 ,这是点随机方法与轨迹随机方法的主要分歧 ,并由此展开了两种方法上的讨论。由于他们面对的是同样的研究对象 (时间序列 ) ,所以二者具有某种关系 ,以使传统方法的丰富资源可以与动力系统相联系。他们二者之间的具体方法以及在这些方法之间的联系可以从一个新的角度看待数据的统计特性 (指时间序列 ) ,能够使我们具体地从另一个角度看待传统方法中的标准差 (反映变化 )在动力系统中是如何体现为变化以及变化的持续性的。　　二…     

中国教育收益率统计估计与分析 ——基于参数和半参数估计方法的比较

 本文分别运用参数和半参数估计方法,就如何更准确有效测度中国教育收益率作深入探讨。利用CHNS数据对我国1989年至2006年的教育收益率进行估计,并采用Hausman检验法对两种估计方法结果进行检验。结果表明,从估计效率看,前者比后者的效率更高;但从估计效果看,后者才是一致性估计。而且我们发现虽然教育收益率整体呈逐渐增加趋势,但与实物资本收益率相比仍偏低。中国的教育和劳动力市场亟需加大投资和改革力度。     

从2002年表看我国的经济状况——2002年投入产出表系列分析报告之二

文章对经济规模.产业结构。部门间的技术经济产品部门的使用结构及经济增长等进行了系统的描述和分析.反映了国民经济的全貌。     

思想观念的转变是政府统计改革的关键

改革开放以来,中国的政府统计已经进行了不少改革,成绩卓著,其中最突出的是国民经济核算体系的改革和抽样调查的广泛应用。现在提出政府统计工作还需要来一场深刻革命式的改革,这表明中国的政府统计正进入更为深入的改革。政府统计的深入改革是一个系统工程,面临的问题很多。在参加政府统计改革的讨论中,深感至今仍有一些基本的思想观念问题需要作深入的实事求是的研究。与政府统计改革相关的思想观念表现在很多方面,这里只是从另外的角度提出几个主要问题共同讨论。一、对政府统计职能的认识政府统计的职能究竟是什么?这涉及政府统计应该做…     

对埃奇渥斯交换原则的质疑与改进

一、导言在主流经济学赖以发展的一般均衡理论中,洛桑学派的意大利经济学家帕累托提出的帕累托最优理论是其核心部分。近百年来,帕累托最优理论在不断地改进。那么,帕累托最优理论是否业已完善,这一问题笔者一直在思考着。既有的研究(徐德云,2003)表明,纯交换的帕累托最优理论和生产的帕累托最优理论都存在一定的问题。边际技术替代率相等的生产帕累托最优条件指出了最优状态在契约线上所在的范围,但不能确定是唯一的,这使得最终生产状况不能确定,从而下一步交换环节也不能确定,同时也使得劳动与资本之间的要素交换价格(要素交换比例)不能确…