马克威分析系统介绍(四)——数据挖掘

数据挖掘简介1.数据挖掘的由来在信息化飞速发展的今天,海量的数据充斥着我们的电脑、网络和生活。政府部门、科研部门和企业都投入大量资源去搜集信息和存储数据,然而其中只有一小部分被利用到,因为在多数情况下,我们获得的数据要么过于庞大,难以管理;要么结构过于复杂,难以有效分析。我们已经陷入了“数据丰富,信息贫乏”的尴尬境地。对大型的、复杂的、信息丰富的数据集的理解,是所有的商业、科学、工程领域的共同需要。想要从巨大的数据原料中开采出宝贵的知识矿藏,就要使用数据挖掘(DataMining)这一能工利器。系统的数据挖掘工具因此…     

“随机化回答”技术在逃税现象调查中的应用

一、导言在已有的文献中,我们一般很难发现有关逃税现象访问调查的研究,究其原因是因为逃税问题对受调查者而言非常敏感使调查无法奏效的缘故。事实上,在这种针对敏感性问题的调查中,如果只是使用常规性的调查方法,受调查者一般不愿配合调查者作出真实的回答,他们要么不提供真实性数据,要么干脆拒绝调查。前者因此而造成“有回答误差”,后者则造成“无回答误差”。两种“误差”的存在使得最终调查结果缺乏基本的说服力,更无法将其推而广之。能否设计出一种与众不同的调查方法,使得受调查者敢于将真实的数据“和盘托出”而不必担心承担任何后…     

谈访户艺术

作为一个城市抽样调查员,摆在你面前的首要问题是:你的调查户乐意记帐吗?对你信任吗? 见到你感到愉快吗? 喜欢与你沟通思想吗? 愿意配合你的工作吗? 如果答案是否定的,那你就不能算是个称职的调查员.这里的关键是能否做好访户工作,使你取得调查户的充分信任.我认为,调查员做好访户工作,是一门艺术.下面,就我多年工作的实践,谈点访户工作的体会.     

学会推销自己

美国最神奇的推销之王贝特格曾说：“只有赢得客户的信任．你才能源源不断地得到客户;只有保证顾客对你的信任,你才能稳住你的老客户。”其实,作为一个营销人员。推销产品就是一个推销自己的过程。只有将自己推销给客户了,赢得了客户的信任,你的产品也才能被推销出去。     

面板数据模型设定的一般方法

在经典计量经济学模型中,作为样本观测值的要么是截面数据,要么是时间序列数据。随着计量经济学理论方法的发展和应用领域的拓展,经常需要同时分析截面数据与时间序列数据,面板数据模型正是针对这种需要应运而生的,所谓面板数据指的就是截面数据和时间序列数据的综合。面板数据模型已成为仅次于经典单方程模型和时间序列模型被广泛使用的模型。在实际分析中,要建立较好面板数据模型,最为关键的一步是模型的设定。若模型设定有误,则其后的估计必定存在较大的偏差,导致模型建立失败,或者得出错误的结论。本文拟详细介绍面板数据模型设定的一般过程,以期对应用型读者提供若干启示。     

GDP质量评估中应正确把握好六个关系

ＧＤＰ是国民经济核算体系中的核心指标,是专业统计指标的“龙头”。当前和今后统计改革的一项重要任务就是要做好以ＧＤＰ为中心的数据质量评估,以此带动统计整体数据质量的提高。ＧＤＰ数据质量评估工作,涉及面广、难度大。为此,在ＧＤＰ数据质量评估中应正确把握好以下六个关系。 一、“下管一级”与分级负责的关系 有的人认为,既然ＧＤＰ核算是分级核算、分级负责的,上一级就没有必要关心与下级核算结果的衔接。也有人认为,“下管一级”是不信任下级统计部门的工作,下调数据是没有根据的,这两种认识都有片面性。持有这种观点的…     

基于EKC框架的社会资本水平对环境质量的影响研究 ——来自中国1995-2007年面板数据

 “环境库兹涅茨曲线”是环境经济学中的一个经典假说,主要考察经济增长与环境质量的关系。但是考虑社会资本对环境污染影响的研究在国内尚不多见。本文回顾了环境库兹涅茨曲线理论和国内对我国环境库兹涅茨曲线的研究文献,使用我国1995-2007年面板数据对引入社会资本的环境库兹涅茨曲线假说进行了实证检验。计量结果显示,在我国省际区域层面上,只有工业二氧化硫一种污染排放物的该假说成立,并呈现出N形特征。这表明社会资本是解释环境污染物排放量的重要原因之一。本文的政策含义是不能把落实“减排”工作的渠道局限在“要么市场,要么政府”之间,积极培育和充分利用社会资本是减少环境污染的新思路。     

多重比较真的不适合用t检验吗?——对“金科玉律”的挑战

一、问题的提出每一个从事统计工作的人几乎都被问过同样一个问题:“多组样本均数间的两两比较适用t检验吗?”多组样本均数间的两两比较又叫多重比较,是现实工作中经常会碰到的一个问题。对这样的提问,几乎没一次得到的回答都是:“不适用,因为这样增大了犯Ⅰ类错误的概率。而同时,多数涉及这方面内容的统计教材也都会给这种说法给予肯定的注脚。可以说“多重比较不适用t检验”这条命题一经提出,就成了统计学界的“金科玉律”。然而这条“金科玉律”真的那么不容质疑吗?本文将对其重新进行探讨。当然,为了讨论方便,我们这里所探讨的数据都符…     

SARP系统在局域网上的运行

SARP系统为近两年统计年报数据处理的主要系统。统计数据处理网络化是统计计算手段现代化的重要标志。由于SARP系统是面向单机的，但经过笔者在NOWILL同上用SAJtP系统处理1993年度年报数据尝试，结果相当满意；特别对那些专业数据录入较繁重的专业统计来说，创造了一个协作的环境，同时实现了由几个录入人员共同对一张表的操作。实现这种“多用户”效果，但不必改动SANP系统和环境下的程序．众所周知，计算机处理年报数据是很快的。对于一个县级统计部门来说，年报数据在一小时内可以处理完毕，但录入数据可谓是“路漫漫其修远兮”…     

浅谈元数据及其应用

何谓元数据“元数据”是英文单词“metadata”的中文意译,如果直译过来就是关于数据的数据(dataaboutdata)。早期它也是计算机领域的一个术语。我们不妨用一个简单的例子来说明:《政治经济学》是一本书,我们将它的书名、作者、出版社等信息做一个简单的摘要,那么这个摘要就可以称作元数据,而书名、作者、出版社等就是构成这一元数据的元素。元数据的基本用途就是管理数据,从而实现查询、阅读、交换和共享。元数据是使数据发挥作用的重要条件之一,它帮助数据生产单位有效地管理和维护数据;提供通过网络对数据进行查询检索的方法或途径,以及与…     

基尼系数是一个完备的不平等程度的度量指标吗？

一、简介用来测度收入不平等程度的广为人知的基尼系数有时也会受到挑战。虽然其正确性毋庸置疑,但是在对基尼系数进行分解研究的时候,其无法被证明是一个完美的测度指标。这可以被认为是由于收入分组的复杂本质。更加具体的说,当存在“重叠”现象时,基尼系数就缺乏一定的“纯度”。当表征收入不平等程度的基尼系数被分解成组间和组内贡献的时候,如果子小组的收入界定范围产生了重叠,那么一个麻烦的、很难理解的残差项就会产生。此时使用基尼系数就会出现不明确的结果。与不同收入区间对应的收入分组内的个人会被重复计算,而这种重复计算就…     

论根还是论公斤?--一个关于统计计量单位设置的小问题

一个完整的统计指标包括“三个要素”即指标名称、计量单位、指标数值,其中计量单位设置合理与否直接影响着统计数据的准确性。而现行统计制度中诸如林产品“竹材”等部分农产品的统计计量单位设置不合理,亟待改进。统计制度规定“竹材”类林产品以“根”为统计计量单位,而该类农产品在现实的贸易活动中普遍采用“公斤”计量单位,由于制度规定与现实不一致,给我们统计工作带来诸多影响。一是数据处理操作困难。如农产品生产价格调查中,竹材生产者出售产品时均以“公斤”作为计价单位,我们在进行数据处理前,要么要求生产者每次出售时统计根数…     

消费品行业消费者信任影响因素实证研究

文章从消费者视角出发,建立了消费品行业消费者信任影响因素模型,该模型包括品牌信任、销售人员信任和行业环境信任三个维度。采用问卷研究法,利用SPSS统计软件对数据进行聚类分析、结构效度分析和相关性分析,得出结论:在消费品行业,品牌信任、销售人员信任和行业环境信任均会促进消费者信任的建立,而且这三个影响因素的促进作用相互不可替代。     

从顾客满意到顾客成功——关系营销理论的应用

一、从传统销售到关系营销 许多销售人员都认为销售就是买卖双方进行的没有硝烟的决战,销售人员运用他们非凡的能力与毅力最终达到让顾客接受自己的既定目标的目的。其结果导致大多数的顾客在面对销售人员时往往采取一种“自我保护”的策略。使许多顾客潜意识中牢固的形成了“无商不奸”的思维定势。而关系营销从根本上否定销售人员的这种作战意识。从购买者的心理角度出发,一旦人们意识到某种存在并且不断强烈的需求,就会设法去满足它。关系营销赋予销售人员的基本任务是积极鼓励并仔细听取顾客表述自己已经存在的需求。销售人员所要做的工作并非提供“正确的答案”,而是寻找“正确的问题”,即顾客的真正需要。成功的销售在于帮助顾客去发现产品的性能和利益,人们接受的是“自己愿意购买”的产品而不是“被出售”的产品。     

拿着金饭碗就会有饭吃吗?──论“资源优势”不等于“经济优势”

一个地区优势之所在，即具有丰富的自然资源，常常被人们认为是财富的象征，也是历来一些地方津津乐道，并引以骄傲和自豪的标志。但是，如果我们从不同方位，不同时代，用辩证唯物主义的观点进行分析，可以说，所谓的资源优势完全是一种自我感觉，由此产生的自豪感和骄傲是一种自我陶醉。然而，这种陶醉和自豪感往往掩盖着我们对市场经济资源配置的浅肤的认识。冷静地看一看，想一想，我们不应片面地把“资源优势”与“经济优势”简单地划一个等号，更不能再沉溺于“资源”就是“优势”的习惯思维定式，作为我们发展经济的基点，而应重新树…     

国外数据挖掘应用研究与发展分析

目前“数据挖掘(Data Mining,DM)”这一术语在学术界还没有一个公认的、权威的定义,但我们一般可以简单的认为数据挖掘是从海量数据中发现趋势或模式的过程。尽管有些人不愿承认数据挖掘与统计学的内在联系,但不可否认的是早期的数据挖掘的确脱胎于统计学,因此也可以说数据挖掘是利用统计学和机器学习技术创建预测行为的模型。需要强调的是数据挖掘的过程是一个“发现”的过程,而不是“发明”的过程。换句话说,数据挖掘所探寻的模式,是一种已有的、只是隐藏在数据中、暂时没有被发现的知识。世界上对数据挖掘的正式研究始于1989年8月举行…     

统计元数据建设与统计业务标准化

一、元数据相关概念 （一）元数据 “元数据”是英文单词“Metadata”的中文意译,直译为关于数据的数据（DataAboutData）,最初这个名词是JackE．Myers在1969年提出来的。1995年,在“MetadataWork-shop”研讨会上,“Metadata”被定义为“（Dataaboutdata）”（关于数据的数据）。元数据最早属于计算机领域中的一个术语,     

基于TOPSIS法的客户价值评价模型

客户关系管理(Customer Relationship Management,简称CRM)理念已开始被越来越多的企业所接受,并在企业的客户关系管理方面发挥着重要的作用。客户价值分析作为客户关系管理的重要内容,逐渐成为这一领域内的一个研究重点,关于客户价值进行全面核算的方法的研究还比较少。目前常用的客户价值的确定方法主要有两种：一、以客户的现金净流量来确定客户价值,这种方法是一种“以利润为中心”的客户价值核算方法,已不适应当前“以客户为中心”的企业经营思想。二、是通过专家或相关人员的经验确定客户价值。这种方法在数据匮乏的条件下,也不失为一种好方法,但是随着各种信息系统的应用,客户数据不断齐全,这种方面显然缺乏一定的科学性。文章在分析现有方法不足的基础之上,为了适应CRM系统对客户价值分析的要求,提出了运用TOPSIS方法进行全面核算客户价值的方法。     

防止数据误录方法初探

统计人员在使用计算机处理数据的过程中,数据录入是工作量大,出错机会多的一个环节,最常见的错误是将数据多打一位或少打一位数字,若不能及时发现,就可能给汇总结果造成极大误差,给工作带来很大损失。造成这种错误的原因有时是计算机键盘故障引起的,更多的时候是由于录入人员因注意力不集中或数据原稿看不清,也有的是因录入人员的手误造成的。要解决这一问题除了加强机器的日常维护,教育录入人员增强责任心外,根本的办法是在录入程序中设置审核功能,从而及时发现这些错误。     

"绿色GDP"与"皇帝的新衣"

写上这个题目,我不是刻意想与专家们叫板,只是想说说一个统计人的心里话,统计就是统计,统计人就是统计人,统计人是不可以跟着传媒,用一些新名词、“新观点”来哗众取宠的。“绿色GDP”,在近一段时间里,已被炒得如同“高新技术”一样爆响,而它其中的合理存在内核究竟有与无,是没有一个较为系统的答案。像这种的情形,就不禁要让人去这样想了:“绿色GDP”,究竟有无现实存在的基础呢?它,会不会只是一件漂亮的“皇帝的新衣”呢?为了剖析所谓的“绿色GDP”,在这里,我想先列出我所见到的有关“绿色GDP”的定义:(1)绿色GDP是对GDP指标的一种…