基于自然最近邻的不平衡数据欠采样方法

针对不平衡数据集中的少数类样本在实际应用中分类准确率较低的问题，提出一种利用多数类样本的自然最近邻进行欠采样的数据处理方法。自然最近邻算法根据每个样本的分布特征动态地为样本选择数量不同的自然最近邻样本，通过自然最近邻的个数反映样本分布的疏密程度。文章所提方法先计算多数类样本在整体数据集中的自然最近邻，根据自然最近邻情况移除多数类中的噪声样本和局部密度较小的样本，再计算剩余样本的相似度，保留密集区域中的代表性样本，去掉部分冗余样本，获得平衡数据集。该方法的计算无须预先指定参数，减少了欠采样过程中多数类分类信息的损失。对比实验利用支持向量机对不同欠采样方法平衡后的12个数据集进行分类，结果表明此方法在大多数数据集上具有较优的分类性能，提升了少数类样本的分类准确率。     

一种基于聚类与离散化算法的分类方法

在采用聚类方法产生训练集的基础上,运用粗集理论离散化预处理该训练集,可以更好的提高分类精度.文章运用PAM算法聚类原始样本构成训练集,再利用布尔逻辑和粗集理论结合的离散化算法离散化该训练集,并以此离散化的训练集训练分类器.实验结果证明,基于该方法在相同的数据集上分类,比仅基于PAM算法预处理的RDDTE方法产生的分类精度最高提高了15.5%,且选用更少量的训练集.     

基于B-样条基底展开的曲线聚类方法

随着大数据时代的来临,近年来函数型数据分析方法成为研究的热点问题,针对曲线的聚类分析方法引起了学界的关注.给出一种曲线聚类的方法:以L2距离作为亲疏程度的度量,在B样条基底函数展开表述下,将曲线本身信息、曲线变化信息引入聚类算法构建,并实现了曲线聚类与传统多元统计聚类方法的对接.作为应用,以城乡收入函数聚类实例验证了该曲线聚类方法,结果表明,在引入曲线变化信息的情况下,比仅考虑曲线本身信息能够取得更好的聚类效果.     

非线性面板数据聚类方法研究

对于一类变量非线性相关的面板数据,现有的基于线性算法的面板数据聚类方法并不能准确地度量样本间的相似性,且聚类结果的可解释性低。综合考虑变量非线性相关问题及聚类结果可解释性问题,提出一种非线性面板数据的聚类方法,通过非线性核主成分算法实现对样本相似性的测度,并基于混合高斯模型进行样本概率聚类,实证表明该方法的有效性及其对聚类结果的可解释性有所提高。     

一种新的类别型数据聚类算法

文章基于类别数据集合引入质量和特征向量的概念;确定了计算类别型数据的相似度;给出聚类结果清晰度及其变化率的定义;提出一种对质量和特征向量有效聚类类别型数据的算法.     

基于互信息量的改进K-Modes聚类方法

文章提出了一种基于互信息量的改进K-Modes聚类方法,采用样本互信息来刻画数据对象属性之间的相互关系。在此基础上提出了一种新的距离度量,该距离度量方法既考虑了对象某个属性值本身的不同,又考虑了对象其它属性对该属性值的影响,使之更符合实际问题情况。实验结果表明,聚类方法有效地提高了聚类精度。     

一种加权主成分距离的聚类分析方法

指标之间的高度相关性及其重要性差异导致了传统聚类分析方法往往无法获得良好的分类效果。本文在对传统聚类分析方法及其各种改进方法局限性展开探讨的基础上,运用数学方法重构了分类定义中的距离概念,通过定义自适应赋权的主成分距离为分类统计量,提出一种新的改进的主成分聚类分析方法——加权主成分距离聚类分析法。理论研究表明,加权主成分距离聚类分析法系统集成了已有聚类分析方法的优点,有充分的理论基础保证其科学合理性。仿真实验结果显示,加权主成分距离聚类分析法能够有效解决已有聚类分析方法在特定情形下的失真问题,所得分类效果更为理想。     

非平衡数据集的改进SMOTE再抽样算法

非平衡数据集的不均衡学习特点通常表现为负类的分类效果不理想。改进SMOTE再抽样算法,将过抽样和欠抽样方式有机结合,有针对性地选择近邻并采用不同策略合成样本。实验表明,分类器在经此算法处理后的非平衡数据集的正负两类上,均可获得较理想的分类效果。     

面向不平衡数据集分类的LDBSMOTE过采样方法

文章针对传统SMOTE及BSMOTE过采样方法会导致多数类样本识别率下降的问题,提出基于局部密度的改进BSMOTE算法（LDBSMOTE）。首先,根据样本分布特点计算局部密度值并筛选根样本,最大限度地保证具有潜在价值的样本不会被丢失,然后通过SMOTE合成样本,最后利用集成学习算法进行分类。为了验证LDBSMOTE的有效性对15个公共数据集进行实验,结果表明,相比SMOTE和BSMOTE,LDBSMOTE算法在F1、G-mean及AUC上平均提升了2.25%,且平均得分均为最高,能在保证多数类样本识别率的基础上提升少数类样本的识别率,有效提升分类性能。     

基于模糊时间序列模型的股票市场预测

文章针对模糊时间序列模型目前存在的缺乏客观论域划分方法和模糊关系前件单一等缺陷,首先应用模糊聚类方法将数据分类,以相邻两个聚类中心的中点作为子区间的分界点来划分论域;其次将数据模糊化后根据证券市场主要量价指标建立了具有多个前件的高阶模糊关系;最后根据序列对比规则计算预测值。将该模型用于股票指数的价格预测和涨跌预测,与传统模型比较的结果表明其预测准确率有了较大提高。     

基于广度优先搜索的变异加权模糊C-均值聚类算法

针对传统模糊C-均值聚类方法(fuzzy C-means,简称FCM)对初始值敏感导致的易陷入局部最优和噪声敏感问题,文章提出一种基于广度优先搜索的变异加权模糊C-均值聚类算法.该算法通过改进具有全局搜索能力的广度优先搜索算法(Breadth Fist Search,BFS)和有效聚类评价函数相结合,确定了接近真实的初始聚类中心,同时能够剔除噪声数据.在此基础上考虑属性噪声对聚类结果的影响问题,引入变异系数赋权法对FCM的目标函数进行改进,进一步提高了FCM算法的抗噪性.实验结果表明,该算法能够有效的克服传统FCM的不足,与其他聚类算法相比,具有较快的收敛速度、更好的聚类准确率及较高的抗噪性.     

基于DWT的相似性搜索算法

时间序列数据聚类在统计分析中具有重要意义。然而高维时间序列数据挖掘高度依赖的相似性搜索方法仍面临计算量大、准确率低等问题。为了提升高维时间序列数据挖掘任务的准确率和效率，提出一种基于波动特征的时间序列相似性搜索算法。该算法首先提出局部高频离散小波变换(LHFDWT)方法，通过合理的分解与重构来实现序列的降维；然后提出基于欧氏距离(ED)、波动幅度和秩相关系数从时间序列形态波动的相对偏差和趋势一致性角度计算相似度；最后提出一种相似性搜索算法和新的基于波动特征的时间序列聚类方法，并利用k-medoids聚类技术进行聚类分析。基于UCR标准时间序列数据集的实验结果表明，相对于动态时间规整(DTW)和最长公共子序列(LCSS)方法，所提新方法下的聚类准确率表现更优，置信度达到99%;在正确预测聚类数目和搜索效率方面具有更好的效果，且聚类结果具有更高的稳定性；1-NN分类准确率更高，说明其在确定更好的聚类中心方面效果更优，置信度至少为85%,证明了所提新方法的相似性搜索算法的优越性。     

两分类不平衡数据的Boosting算法

Boosting算法是一类串行的集成算法,可用于分类和回归。不同的算法由不同的损失与不同的集成方式构成。文章提出了一种自适应地处理分类中的不平衡数据的Boosting算法Baboost。实验证明该算法能有效地减小各个类内部的预测误差。     

不平衡数据分类问题的FL逻辑回归算法

针对不平衡数据的分类问题，文章利用焦点损失函数可以挖掘困难样本的特性，提出了一种新的逻辑回归算法。首先，定义逻辑回归模型新的损失函数；其次，基于牛顿迭代法，设计FL逻辑回归算法；最后，在比较实验中，运用随机森林进行特征选择，以阈值优化逻辑回归模型为分类模型进行实验。实验结果表明，与传统逻辑回归算法相比，改进后的算法提高了少数类样本的分类精度，增强了模型的整体分类性能。     

函数型变量倾斜分位回归模型及其应用

本文考虑函数型数据的结构特征,针对两类函数型变量分位回归模型（函数型因变量对标量自变量和函数型因变量对函数型自变量）,基于函数型倾斜分位曲线的定义构建新型函数型倾斜分位回归模型。对于第二类模型,本文分别考虑样条基函数对模型系数展开和函数型主成分基函数对函数型自变量展开,得到倾斜分位回归模型的基本形式。参数估计采用成分梯度Boosting算法最小化加权非对称损失函数,提高计算效率。在理论上证明了倾斜分位回归模型的系数估计量均服从渐近正态分布。模拟和实证研究结果显示,倾斜分位回归模型比已有的逐点分位回归模型具有更好的拟合效果。根据积分均方预测误差准则,本文提出的模型有一致较好的预测能力。     

基于路径跟随方法的光滑子区间K均值聚类算法

时间序列聚类是数据挖掘领域的热点问题之一。结合时间序列的特点,光滑子空间K均值聚类算法在进行稀疏型聚类的同时,可以筛选出连续的时间子区间,并基于这些子区间上的观测对时间序列聚类,其复杂度主要取决于更新聚类权重的方法。然而,现有算法中聚类权重的更新是通过凸二次规划问题求解完成的,其计算复杂度较高。文章的理论推导表明,可以通过复杂度较低的严格凸二次规划问题的求解来更新聚类权重。在此基础上,给出了计算复杂度更低的路径跟随方法来更新聚类权重。数据模拟表明了基于路径跟随方法的新算法在聚类中的有效性,及其在计算速度上的优越性。     

基于基函数展开的函数型数据聚类方法

文章在一个一般性的框架下研究了利用基函数展开进行函数型数据聚类的问题.在这个框架之下,大量传统的聚类方法都可以直接应用到函数型数据分析.另外,我们将Pearson相似系数引入函数型数据聚类分析,解决了欧式距离无法刻画曲线之间形态差异的问题.     

一类基于模型的聚类方法

在聚类问题中,若变量之间存在相关性,传统的应对方法主要是考虑采用马氏距离、主成分聚类等方法,但其可操作性或可解释性较差,因此提出一类基于模型的聚类方法,先对变量间的相关性结构建模(作为辅助信息)再做聚类分析。这种方法的优点主要在于:适用范围更宽泛,不仅能处理(线性)相关问题,而且还可以处理变量间存在的其他复杂结构生成的数据聚类问题;各个变量的重要性也可以通过模型的回归系数来体现;比马氏距离更稳健、更具操作性,比主成分聚类更容易得到解释,算法上也更为简洁有效。     

基于形状特征的多指标面板数据聚类方法及其应用

针对多指标面板数据的样品分类问题,从特征提取角度提出一个多指标面板数据的聚类分析方法。该方法将时间序列的局部变化特性与整体距离关系结合起来,将局部变化的信息融入相似测度的计算中,提出一种自适应滑动窗口分段方法,实现时间序列局部变化的特征提取,在重新定义综合距离的基础上,提出一种聚类方法。通过实证分析,表明新方法能够解决多指标面板数据聚类的问题,分类效果较好。     

时间序列全局特征聚类分析方法及其应用

本文指出了用点和点距离度量时间序列相似性存在的问题，并给出一种新的相似性度量一全局特征，即从时间序列的统计分布特征、非线性和傅立叶频谱转换等3个方面提取全局特征构建特征向量，并进行聚类分析。本文以全国各地区人均GDP时间序列聚类为例，评估了距离相似法与全局特征法的聚类结果。实践证实全局特征法不但可以处理不同长度有缺失值的时序聚类，而且可以降低大型时间序列数据聚类计算的复杂度。