|
|||||
|
|
| 不平衡数据下模型评价指标的有效性探讨 | |
| 作者姓名： | 刘赛可 何晓群 夏利宇 |
| 作者单位： | 1. 浙大宁波理工学院计算机与数据工程学院;2. 中国人民大学应用统计科学研究中心;3. 国网能源研究院有限公司管理咨询研究所 |
| 基金项目： | 教育部人文社会科学重点研究基地重大项目（15JJD910002）；;国家社会科学基金资助项目（13BTJ004）； |
| 摘 要： | 模型评价指标对于衡量模型的表现尤为关键，只有正确合理的评价指标才能更好地反映模型的性能优劣。由于AUC和KS指标在被用于评价信用评级模型时，均存在忽视了数据的不平衡性和类别误判代价不等价性的不足，故文章从代价敏感矩阵出发计算总损失，进而提出新的评价指标——AKS指标。进一步地，模拟分析的结果表明，由AKS指标确定的阈值较KS指标更合理，且不同情形下AUC、KS和AKS指标的有效性分析结果表明AKS指标可以较好地衡量模型的分类性能。 |
| 关 键 词： | 不平衡数据 评价指标 AKS 信用评级模型 |