关于综合利用Benford法则与其他方法评估统计数据质量的进一步研究

利用Benford法则对数据质量进行检验是一种已经在实践中得到广泛应用的重要方法。但该方法也存在一定局限性,针对其存在的问题,本文进一步探讨了如何将其与异常值探测、数据挖掘技术等方法相结合,从而找出可能存在数据质量问题的具体样本及其规律的方法。并利用该方法对我国保险行业2006—2011年主要经济指标的数据质量进行了实证分析,结果表明这种方法是合理且有效的。     

问卷分割技术在市场调查中的应用

市场调查中为了实现成本效益、准确性以及速度目标往往会采用较长问卷,本文首先分析了因此可能对数据质量产生的影响,在此基础上提出了分割问卷的思想。重点阐述其设计要点,以及如何利用多重插补方法对缺失数据进行处理。     

生活质量的综合评价：基于数据函数性特征的方法

生活质量的评价与分析是生活质量研究中的核心问题，现有的对生活质量进行综合评价的方法，共同具有的缺憾是方法所处理的数据要么是横截面数据，要么是时间序列数据。然而，实际中可获得的样本资料往往是横截面数据与时间序列数据融合在一起的函数性数据。为弥补现有方法的缺陷，基于数据的函数性特征，引入一种对生活质量进行综合评价和分析的全新方法。从数据信息利用的程度来看，其方法明显优于现有的方法。     

普查数据质量控制存在的主要问题及建议

对普查数据的质量控制其实质就是对普查数据的误差控制。在普查方案的设计、组织实施和数据处理和分析环节的中都难免发生误差。如何控制各环节的误差,提高普查的数据质量及数据效用,是普查质量控制的核心问题。本文试图从普查数据质量控制的角度对如何提高数据的质量进行一些有益的探索。     

国民经济核算数据质量问题初探

从1995年起,我国开始向新国民经济核算体系全面过渡。新国民经济核算体系的实施,为更加科学全面地掌握国民经济运行状况,加强宏观经济管理,实行科学决策,促进国民经济健康发展提供了可靠的基础保障。那么,如何发挥新核算体系的作用,基础数据的质量是关键。只有科学的方法手高质量的数据相结合,万能体现整个核黄体系的生命力。因上提高统计核算是础数据质量是新国民经济核算体系进一步健全与完善的一个重要头号。在此,笔者从影啊核算数据质量的因素入手,就如何提高国民经济核算数据质量问题谈点自己的看法。一、影响国民经济核算数…     

抽样调查下样本随机性的检验

 抽样调查下样本随机性的检验,不是考查抽样方法的优劣或是检查样本代表性的好坏,而是为了控制抽样调查的数据质量,检验所得样本和抽样方法的一致性,即调查机构是否严格按照抽样设计的要求去抽取样本。本文以等概率和不等概率抽样为例,揭示了如何利用相关辅助信息,构造检验统计量,进行样本随机性的检验。     

数据挖掘技术在浙江省经济统计中的应用

目前经济统计数据的特点是经济统计数据库的数据庞大而且数据质量突出,传统的统计数据处理方式还是停留在见到的统计报表,缺少智能性的深层次的分析处理,以至于数据间的潜在关系和规则未被发现和利用,并且有部分虚假数据未能识别出来。本文提出了将数据挖掘应用于浙江省经济统计中,并对数据挖掘如何在浙江省经济统计中应用作了初步探索,为经济决策提供有力的支持。     

基于动态时间规整的面板数据聚类方法研究及应用

以往的面板数据聚类方法存在一些缺陷,有必要基于动态时间规整的思路进一步改进与完善面板数据聚类方法。利用国家级经济技术开发区数据开展的实证分析结果表明：新的方法既能够很好地反映面板数据的动态变化、又避免了已有的面板数据聚类方法中各种距离如何赋权的问题,聚类结果较为稳定且有很好的可视化效果。     

数据分析中的数据质量识别

数据的质量直接影响数据分析的效率和分析结果的可靠性。数据质量包括数据结构质量和给定数据结构后的数据真实性、一致性和完整性。在着重考虑拿到数据之后,从单元格、记录、变量三个角度如何识别数据中潜在的质量问题,并以案例为支撑,介绍了各种可能出现的问题。     

一种新的基于最小二乘法的分段直线拟合方法

正在计量经济学、统计学、物理实验等各种工程技术和科学实验中常常会得到隐含某种函数关系的一系列有序对,如何根据这些有序对来揭示它们客观规律,常用方法是用曲线拟合方法来建立它们的数学模型。在对这些复杂的数据进行拟合时,多采用基于最小二乘法的曲线拟合的方法,利用此方法可以实现最佳逼近。采用一种曲线函数拟合所有数据难以取得较好的拟合效果,如何改进最小二乘法的曲线拟合就成为研究焦点。有人提出把数据分成若干组,然后对每组数据再进行线性拟合,得到了基于最小二乘法的分段直线拟合;但它没有给出数据分段方法。有人利用拟合直线的初始点A、终点B和下一个     

Not the First Digit! Using Benford's Law to Detect Fraudulent Scientif ic Data

Digits in statistical data produced by natural or social processes are often distributed in a manner described by ‘Benford's law’. Recently, a test against this distribution was used to identify fraudulent accounting data. This test is based on the supposition that first, second, third, and other digits in real data follow the Benford distribution while the digits in fabricated data do not. Is it possible to apply Benford tests to detect fabricated or falsified scientific data as well as fraudulent financial data? We approached this question in two ways. First, we examined the use of the Benford distribution as a standard by checking the frequencies of the nine possible first and ten possible second digits in published statistical estimates. Second, we conducted experiments in which subjects were asked to fabricate statistical estimates (regression coefficients). The digits in these experimental data were scrutinized for possible deviations from the Benford distribution. There were two main findings. First, both digits of the published regression coefficients were approximately Benford distributed or at least followed a pattern of monotonic decline. Second, the experimental results yielded new insights into the strengths and weaknesses of Benford tests. Surprisingly, first digits of faked data also exhibited a pattern of monotonic decline, while second, third, and fourth digits were distributed less in accordance with Benford's law. At least in the case of regression coefficients, there were indications that checks for digit-preference anomalies should focus less on the first (i.e. leftmost) and more on later digits.     

The mathematics of Benford’s law: a primer

This article provides a concise overview of the main mathematical theory of Benford’s law in a form accessible to scientists and students who have had first courses in calculus and probability. In particular, one of the main objectives here is to aid researchers who are interested in applying Benford’s law, and need to understand general principles clarifying when to expect the appearance of Benford’s law in real-life data and when not to expect it. A second main target audience is students of statistics or mathematics, at all levels, who are curious about the mathematics underlying this surprising and robust phenomenon, and may wish to delve more deeply into the subject. This survey of the fundamental principles behind Benford’s law includes many basic examples and theorems, but does not include the proofs or the most general statements of the theorems; rather it provides precise references where both may be found.

     

基于Benford法则的M_2统计数据准确性研究

根据Benford法则,在样本量充足的情况下,统计数据的首位数字分布概率符合对数规律,而人为地捏造、篡改或者修饰数据将会破坏这种规律。将Benford法则引入到统计数据的准确性检验中,运用非参数统计中的χ2拟合优度检验,对中国人民银行官方网站所公布的1994年10月至2009年9月M2统计数据的准确性进行研究,结果表明：数据较好地符合了Benford法则,准确性较高。     

Measuring the conformity of distributions to Benford's law

Abstract

We propose a new approach to explore Benford’s law. We take the uniform interpretation of Benford’s law and relax the modulus to define a range of Benford-like characteristics. We then show all fat-tailed distributions approximately satisfy Benford’s law. Our theory shows Benford’s law is a natural property of Riemannian sums for continuous probability densities. Our simulations corroborate this connection.     

基于首末位质量因子的BP神经网络财务风险预警模型

上市公司往往存在粉饰财务数据来美化企业经营状况的动机,这会降低财务风险预警模型预测的准确性。文章利用Benford律和Myer指数两种数据质量评估方法,构建Benford和Myer质量因子,引入BP神经网络模型,构造BM-BP神经网络财务风险预警模型;并进一步利用2000—2019年中国A股上市公司数据,评价数据质量因子对财务风险预警模型预测准确性的影响,分析新模型预测准确性的稳定性。实证分析结果显示:Benford和Myer质量因子提高了BP神经网络财务风险预警模型预测的准确性;在不同质量因子的比较结果中,包含评选指标Benford和Myer质量因子的BP神经网络财务风险预警模型具有较高的预测准确率和较低的二类误判率,稳定性良好;利用决策树算法筛选指标有效提高了新模型的预测准确性。     

A multivariate test for detecting fraud based on Benford’s law,with application to music streaming data

Statistical Methods & Applications - Benford’s law became a prevalent concept for fraud and anomaly detection. It examines the frequencies of the leading digits of numbers in a collection...     

Identifying Demand Shocks From Production Data

Standard productivity estimates contain a mixture of cost efficiency and demand conditions. I propose a method to identify the distribution of the demand shock using production data. Identification does not depend on functional form restrictions. It is also robust to dynamic demand considerations and flexible labor. In the parametric case, the ratio of intermediate inputs to the wage bill (input ratio) contains information about the magnitude of the demand shock. The method is tested using data from Spain that contains information on prices and demand conditions. Finally, we generate Monte Carlo simulations to evaluate the method’s performance and sensitivity. Supplementary materials for this article are available online.     

面板数据聚类方法及应用

 基于面板数据的时序特征和截面特征,综合考虑面板数据“绝对指标”,“增量指标”及其“时序波动”特征,在重构面板数据相似性测度的距离函数和Ward聚类算法的基础上,提出了面板数据聚类方法。并以2003-2007年财政金融面板数据为例,对中国14个沿海开放城市进行了聚类分析,显示了良好的应用性。     

不完整数据的分布参数估计

不完整数据的分布参数估计陈绪张兴芳武ＡＢＳＴＲＡＣＴＩｎｔｈｉｓｐａｐｅｒ，ｉｎｏｒｄｅｒｔｏｅｓｔｉｍａｔｅｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｐａｒａｍｅｔｅｒｓｆｒｏｍｉｎｃｏｍｐｌｅｔｅｄａｔａ，ａｍｅｔｈｏｄｂａｓｅｄｏｎＭａｒｑｕａｒｄｔ＇ｓ...     

Fixed-Effects Modeling of Cohen's Kappa for Bivariate Multinomial Data

Cohen's kappa statistic is the conventional method that is used widely in measuring agreement between two responses when they are categorical. In this article, we develop a fixed-effects modeling of Cohen's kappa for bivariate multinomial data which reduces to Cohen's kappa under certain conditions and hence can be considered as a generalization of the conventional Cohen's kappa. Also, this method can easily be adapted as a generalization of Cohen's weighted kappa. Properties of the proposed method are provided. Large sample performance is investigated through bootstrap simulation studies followed by two illustrative examples.