基于非负矩阵分解的函数型聚类算法

函数型聚类分析算法涉及投影和聚类两个基本要素。通常,最优投影结果未必能够有效地保留类别信息,从而影响后续聚类效果。为此,本文梳理了函数型聚类的构成要素及运行过程;借助非负矩阵分解的聚类特性,提出了基于非负矩阵分解的函数型聚类算法,构建了“投影与聚类”并行的实现框架,并采用交替迭代方法更新求解,分析了算法的计算时间复杂度。针对随机模拟数据验证和语音识别数据的实例检验结果显示,该函数型聚类算法有助于提高聚类效果;针对北京市二氧化氮(NO2)污染物小时浓度数据的实例应用表明,该函数型聚类算法对空气质量监测点类型的区分能够充分识别站点布局的空间模式,具有良好的实际应用价值。     

函数数据聚类分析方法探析

函数数据是目前数据分析中新出现的一种数据类型,它同时具有时间序列和横截面数据的特征,通常可以描述为关于某一变量的函数图像,在实际应用中具有很强的实用性。首先简要分析函数数据的一些基本特征和目前提出的一些函数数据聚类方法,如均匀修正的函数数据K均值聚类方法、函数数据层次聚类方法等,并在此基础上,从函数特征分析的角度探讨了函数数据聚类方法,提出了一种基于导数分析的函数数据区间聚类分析方法,并利用中国中部六省的就业人口数据对该方法进行实证分析,取得了聚类结果。     

函数数据聚类及其在金融时序分析中的应用

函数数据分析正成为近年来的研究热点。文章针对函数数据聚类分析方法的研究,首先在LP空间构建函数数据之间相异性度量指标,并利用基函数将函数数据平滑,提出了函数数据的聚类分析方法,指出了通过最小二乘估计得到的正交基函数系数进行聚类的结果接近于直接对原始数据进行聚类的结果。其方法应用于时间序列的模式挖掘,得到了良好的效果。     

基于函数型数据分析的数据挖掘功能研究

数据挖掘功能是数据挖掘研究与应用的一个重要方面。数据挖掘功能用于指定数据挖掘任务中要找的模式类型。当前,数据挖掘的功能所处理的主要是传统的数据,对于函数型数据的研究还不是很多。文章探讨了数据挖掘中可以挖掘的几种函数型数据模式,包括数据描述、分类、聚类和回归。     

基于自适应迭代更新的函数型数据聚类方法研究

函数型数据的稀疏性和无穷维特性使得传统聚类分析失效。针对此问题,本文在界定函数型数据概念与内涵的基础上提出了一种自适应迭代更新聚类分析。首先,基于数据参数信息实现无穷维函数空间向有限维多元空间的过渡;在此基础上,依据变量信息含量的差异构建了自适应赋权聚类统计量,并依此为函数型数据的相似性测度进行初始类别划分;进一步地,在给定阈值限制下,对所有函数的初始类别归属进行自适应迭代更新,将收敛的优化结果作为最终的类别划分。随机模拟和实证检验表明,与现有的同类函数型聚类分析相比,文中方法的分类正确率显著提高,体现了新方法的相对优良性和实际问题应用中的有效性。     

基于B-样条基底展开的曲线聚类方法

随着大数据时代的来临,近年来函数型数据分析方法成为研究的热点问题,针对曲线的聚类分析方法引起了学界的关注.给出一种曲线聚类的方法:以L2距离作为亲疏程度的度量,在B样条基底函数展开表述下,将曲线本身信息、曲线变化信息引入聚类算法构建,并实现了曲线聚类与传统多元统计聚类方法的对接.作为应用,以城乡收入函数聚类实例验证了该曲线聚类方法,结果表明,在引入曲线变化信息的情况下,比仅考虑曲线本身信息能够取得更好的聚类效果.     

基于部分函数型线性回归模型的改进

金融市场的交易是不间断的,价格始终高频的更新,在金融数据的研究中,经常遇到函数型数据.文章主要建立部分函数型线性回归模型,分析函数型数据在上证指数预测中的应用,根据函数型数据分析的原理及其求解主成分分析的方法,使用Matlab对上证指数进行预测.     

函数型死亡率预测模型

人口死亡率反映人口的死亡水平,是人口规模的重要影响因素,同时也是人寿保险精算的重要数据基础。从数据特征来看,死亡率作为年龄的函数,是一种典型的函数型数据。本文使用函数型数据方法分析中国人口数据,基于1994—2010年中国人口分年龄死亡数据,建立函数型死亡率预测模型,对未来分年龄死亡率进行预测,并通过生命表方法计算了未来平均预期寿命。同时通过对历史数据的预测,说明模型预测结果比较可信。     

相依函数型数据的局部回归估计的渐近正态性

函数型数据研究近年来为越来越多的学者所重视,其在天文,医药,经济现象,生态环境及工业制造等诸多方面均有重要应用.非参数统计是统计研究的一个重要方面,其中核函数估计和局部多项式方法是这一类研究中重要常用方法.函数型数据的非参数方法中以核函数估计方法较为常见,且其收敛速度与极限分布无论在独立情形还是相依情形都有理论结果.而局部多项式的研究在函数型数据背景下较为少见,原因在于将局部多项式方法推广到函数型数据背景一直是一个难题. Marin, Ferraty, Vieu [Journal of Nonparametric Statistics, 22 (5) (2010), pp.617-632] 提出了非参函数型模型的局部回归估计. 这种估计可以看作是局部多项式估计在函数型数据背景下的一个推广.这种方法提出后,许多学者进一步研究了这种方法,考察了这种方法的收敛速度和极限分布,并将这种方法应用到不同的模型中以适应实际需求.但是,前人的研究都要求数据具有独立同分布的性质.然而许多实际数据并不符合这一假设.本文研究了在相依函数型数据情形下局部回归估计的渐近正态性.由于估计方法有差异,核函数估计的研究方法无法直接推广到局部回归估计,而相依性结构也给研究带来了一些挑战,我们采用Bernstein分块方法将相依性问题转化为渐近独立的问题,从而得到了估计的渐近正态性.此外我们还采用数据模拟的方法进一步验证了渐近正态的结果.     

函数型数据分析的研究进展和技术框架

函数型数据分析(Functional Data Analysis,FDA)是1980年以后发展起来的一种基于离散统计数据函数化、进而通过函数型分析刻画更广义和更深刻统计关系的高维数据分析(Multivariate Data Analysis,MDA)方法。FDA的基本思想是由加拿大麦吉尔大学的J.O.Ramsay和牛津大学的B.W.Silverman等人提出并发展起来的,同时多位世界知名统计学者也对此作出了贡献。目前该方法已广泛应用于经济学、生物学、气象学、心理学、工业及其他领域。函数型数据分析的基本思想是把观测到的数据函数看作一个整体,而不仅仅是个体观测值的顺序排列,函数本质上是指数据的内在结构而不是它们直观的外在表现形式。因此,在简要回顾FDA发展历程的基础上,追踪国际国内主要研究动态,简介和评述FDA研究的技术框架以及与传统多元统计分析方法的差异,并试图就FDA在经济学中的应用进行一定剖析。     

基于广度优先搜索的变异加权模糊C-均值聚类算法

针对传统模糊C-均值聚类方法(fuzzy C-means,简称FCM)对初始值敏感导致的易陷入局部最优和噪声敏感问题,文章提出一种基于广度优先搜索的变异加权模糊C-均值聚类算法.该算法通过改进具有全局搜索能力的广度优先搜索算法(Breadth Fist Search,BFS)和有效聚类评价函数相结合,确定了接近真实的初始聚类中心,同时能够剔除噪声数据.在此基础上考虑属性噪声对聚类结果的影响问题,引入变异系数赋权法对FCM的目标函数进行改进,进一步提高了FCM算法的抗噪性.实验结果表明,该算法能够有效的克服传统FCM的不足,与其他聚类算法相比,具有较快的收敛速度、更好的聚类准确率及较高的抗噪性.     

函数型变量倾斜分位回归模型及其应用

本文考虑函数型数据的结构特征,针对两类函数型变量分位回归模型（函数型因变量对标量自变量和函数型因变量对函数型自变量）,基于函数型倾斜分位曲线的定义构建新型函数型倾斜分位回归模型。对于第二类模型,本文分别考虑样条基函数对模型系数展开和函数型主成分基函数对函数型自变量展开,得到倾斜分位回归模型的基本形式。参数估计采用成分梯度Boosting算法最小化加权非对称损失函数,提高计算效率。在理论上证明了倾斜分位回归模型的系数估计量均服从渐近正态分布。模拟和实证研究结果显示,倾斜分位回归模型比已有的逐点分位回归模型具有更好的拟合效果。根据积分均方预测误差准则,本文提出的模型有一致较好的预测能力。     

函数型数据的共同主成分分析探究及展望

函数型数据的主成分分析(FPCA)已经成功应用在许多领域,但它主要研究的是单样本问题.本文详细讨论了一种新近发展的函数型数据分析的理论--函数型共同主成分(CGPC)分析方法,它主要应用于检验两组函数型随机样本的分布情况.CFPC方法的理论基础是将两组函数型样本进行Karhunen-Loeve(KL)展开,并用Bootstrap方法检验两组样本的均值函数、特征值和特征函数的一致性.最后,我们对CFPC的理论研究和应用前景进行了展望.     

函数方差检验方法的应用

空气污染问题引起了社会广泛关注,影响空气质量评价的因素有很多,研究这些因素对指标的影响是否都显著尤为重要.文章将函数型方差检验的方法(ANOVA)应用到空气质量的数据中,首先采集到北京市区内分布在不同地方的35个监测站的每天每小时的实时更新数据,对北京市划分的五个行政区域的空气污染成分进行函数方差分析的k样本均值假设检验,进而分析北京市各行政区域空气污染的各成分之间的差异.     

基于图形分析方法的函数型数据异常值检验实证研究

函数型数据本质上是一种复杂数据,其抽样、生成、结构和关联程度都会影响到数据的复杂性和描述性,有些情形甚至连基本的可视化描述都成为难点。在利用函数型数据的主成分得分、图基的数据深度和密度概念的基础上,引入函数型数据的打包图和箱线图,并针对函数型数据的图形分析提出了函数型数据异常值检测的三种方法。与已有的检测方法相比较,所提三种方法更易于识别函数型数据的异常值。     

一种基于函数型数据的综合评价方法研究

 在经济管理与决策中, 经常遇到大量的函数型数据。当指标为函数型数据时，提出了一种基于函数型数据的综合评价方法，而综合评价的核心是评价指标在不同时刻的权重系数的确定。针对由函数型数据表支持的综合评价问题的特殊性，提出了一种新的确定权重系数的“全局”拉开档次法，利用Matlab编程，使得该方法具有可操作性，并给出一个实际例子。最后将该方法与传统方法进行比较，得出本文所提方法的优势。     

基于copula函数的行业平均收益相关结构的实证分析

针对现有信用风险组合模型中在违约相关结构建模中存在的问题,文章提出了以行业平均收益为系统风险因素、基于copula函数的信用风险组合建模框架.在此框架基础上,利用由我国资本市场数据构造的行业平均收益序列,对行业平均收益的边际分布和相关结构进行了实证分析;并在现有偏分布的基础上,提出了一种新的偏分布构造方式来为GARCH(1,1)模型中的残差建模.     

基于OC函数的抽检方案及其风险控制

文章阐述了质量控制中两种形式的抽样检验和两类风险,以及抽检方案下的接收概率和OC函数;针对一次计数型和一次计量型抽样检验的特点,设计了相应的抽检方案,并基于OC函数及其曲线,在Mathematica环境下,通过仿真实验,利用统计检验原理,给出了一次计数型和计量型产品质量抽检方案及其风险控制方法.     

相关性分析中Copula函数的选择

Copula函数在金融分析和风险管理中有广泛的应用,利用Copula函数可以构建组合风险资产的联合收益分布和资产之间的相关性.在构建Copula模型时,一个关键的问题就是如何选择最佳的Copula来拟合实际的金融数据.文章分析了Copula函数选择困难的原因,指出了现有的似然准则选择方法的不足,提出了基于参数Bootstrap技术的对数似然准则检验方法,考虑了更大范围的Copula函数族群,利用模拟实验检验了该方法的选择能力,模拟结果表明对于没有尾部相关性的Copula函数和具有较小的尾部相关性的Copula函数可以较好地进行区分,而且也能区分大部分的具有较大尾部相关系数的Copula函数.同现有的只能区分常见的几类Copula的似然准则选择方法相比,文章提出的方法可以在更大范围内识别不同的Copula函数.     

基于函数性视角的经济数据分析——以主微分分析方法为例

基于经济数据的函数性特征,引入函数型数据分析方法,研究发现经济数据中的面板数据可作为函数型数据的特例,函数型数据分析方法在处理高维数据、缺失数据以及样本观测点不规则分布等特殊的数据类型有独特的优势。着重介绍和拓展了主微分分析方法,在集合了主成分分析方法优势的同时从微分方程的解出发探讨数据的特征。通过对全国银行间同业拆借利率进行主微分分析,显示出主微分分析方法能够揭示其它方法所不能反映的数据特征。