金融数据挖掘

冯国锋

目录

  • 1 Introduction 导论
    • 1.1 What is data mining? 什么是数据挖掘?
    • 1.2 How DM works in financial area?数据挖掘在金融领域是如何应用的?
  • 2 Financial big data 金融大数据
    • 2.1 What is data? 什么是数据?
    • 2.2 Data preprocessing 数据预处理
    • 2.3 Similarity and Dissimilarity of financial data 金融数据的相似性与相异性
  • 3 Decision Tree Classifier with financial applications 决策树分类器与金融应用
    • 3.1 Classification in financial scenario-basic concept and idea 分类算法与金融应用——基本概念与思想
    • 3.2 Introduction to Decision Tree Classifier in Financial Scenario 决策树算法与金融应用——算法介绍
    • 3.3 Methods for expressing attribute test conditions 属性测试条件划分方法
    • 3.4 Measures of impurity in Decision Tree Classifier 决策树分类算法中结点纯度度量方法
    • 3.5 A financial example to compute a Decision Tree 决策树分类器的构建案例
  • 4 Rule-Based Classifier with Financial Applications基于规则的分类器与金融应用
    • 4.1 Introduction to Rule-based Classifier in Financial Scenario 基于规则的分类器与金融应用——算法介绍
    • 4.2 Direct Method for Rule Extraction in Rule-based Classifier 规则提取的直接方法
    • 4.3 An Financial Example to Build Rule-based Classifier 基于规则的分类器的构建案例
  • 5 Naive Bayes Classifier with Financial Applications 朴素贝叶斯分类器与金融应用
    • 5.1 Introduction to Naive Bayes Classifier in Financial Scenario 朴素贝叶斯分类器与金融应用——算法介绍
    • 5.2 A Financial Example to Build Naive Bayes Classifier 朴素贝叶斯分类器的构建案例
  • 6 Bayesian Networks with Financial Applications 贝叶斯网络分类器与金融应用
    • 6.1 Introduction to Bayesian Belief Networks in Financial Scenario 贝叶斯信念网络分类器与金融应用——算法介绍
    • 6.2 A Financial Example of BBN 贝叶斯信念网络分类器案例
  • 7 Financial Classification issues-Underfitting and Overfitting 分类算法在金融应用中的可能问题——拟合不足与过拟合
    • 7.1 Underfitting and Overfitting (1) 拟合不足与过拟合(1)
    • 7.2 Underfitting and Overfitting (2) 拟合不足与过拟合(2)
  • 8 Fiancial Classification Evaluation-Model Evaluation and Comparison 分类算法在金融应用中的结果评估——模型评价与对比
    • 8.1 Fiancial Classification Evaluation-Model Evaluation 分类算法在金融应用中的结果评估——模型结果评价
    • 8.2 Fiancial Classification Evaluation-Model comparison 分类算法在金融应用中的结果评估——模型对比分析
  • 9 Association Analysis with Financial Applications-Apriori Algorithm 关联分析与金融应用——Apriori算法
    • 9.1 Association Analysis in Financial Scenario-basic concept and idea 关联分析与金融应用——基本概念与思想
    • 9.2 Apriori Algorithm in Financial Scenario (1)-Introduction Apriori算法与金融应用——算法介绍
    • 9.3 Apriori Algorithm in Financial Scenario (2)-Candidate Generation & Pruning Apriori算法与金融应用——候选生成与剪枝
    • 9.4 Apriori Algorithm in Financial Scenario (3)-Hash Tree Apriori算法与金融应用——哈希树
    • 9.5 Apriori Algorithm in Financial Scenario (4)-Rule Generation and Complexity Apriori算法与金融应用——规则生成与算法复杂度
  • 10 Association Analysis with Financial Applications-FP Tree Algorithm 关联分析与金融应用——FP Tree算法
    • 10.1 FP Tree Algorithm in Financial Scenario-Introduction FP Tree算法与金融应用——算法介绍
    • 10.2 FP Tree Algorithm-A Financial Example FP Tree算法金融实例
  • 11 Financial Association Analysis Evaluation 关联分析在金融应用中的结果评估
    • 11.1 Financial Association Analysis-Evaluation (1) 关联分析在金融应用中的结果评估(1)
    • 11.2 Financial Association Analysis-Evaluation (2) 关联分析在金融应用中的结果评估(2)
  • 12 Cluster Analysis with Financial Applications-K-means Algorithm 聚类分析与金融应用——K-means算法
    • 12.1 Cluster Analysis in Financial Scenario-basic concept and idea 聚类分析与金融应用——基本概念与思想
    • 12.2 Introduction to K-means Algorithm in Financial Scenario K-means算法与金融应用——算法介绍与实例
  • 13 Cluster Analysis with Financial Applications-Basic Hierarchical Clustering Algorithm 聚类分析与金融应用——基本层次聚类算法
    • 13.1 Introduction to Basic Hierarchical Clustering Algorithm in Financial Scenario 基本层次聚类算法算法与金融应用——算法介绍
    • 13.2 A Financial Example of Agglomerative Hierarchical Clustering Algorithm 凝聚层次聚类算法实例
  • 14 Fiancial Cluster Analysis Evaluation 聚类分析在金融应用中的结果评估
    • 14.1 Unsupervised Cluster Evaluation 无监督的聚类结果评估
    • 14.2 Supervised Cluster Evaluation 有监督的聚类结果评估
How DM works in financial area?数据挖掘在金融领域是如何应用的?






主要知识点

  1. 数据挖掘的主要任务

    一般而言,数据挖掘的任务可以分为两大类,第一类为预测性任务,这些任务的目标是通过其他属性的值预测特定属性的值,被预测的属性一般称为目标变量或因变量,而用来做预测的属性被称为解释变量或者自变量,回归问题和后面要学习的分类问题都属于预测性任务。第类为描述性任务,这类任务的目标是刻画数据中潜在联系的模式,如关联性等,后面要学习的聚类和关联分析都属于描述性任务。

    2. 分类分析在金融领域的可能应用场景

       可能应用场景1:市场推广领域,例如预测一个顾客是否会购买某一个新的产品。针对这样一个目标问题,如何运用分类去解决?首先需要一个训练集去得到分类模型,那么此时通过选取过去类似产品的销售数据作为训练集,那么相应的特征属性可以包括顾客的基本特征、生活方式以及工作相关特征,如年龄、性别、从事工作的类型、收入、婚姻状况等会影响到类别标签的诸多特征。那么由于这些训练集里顾客是否购买该产品的标签买或者不买是已知的,那么就可以运用相关分类算法(如决策树等)去构建一个分类模型,最后将该模型用于预测顾客是否会购买新的产品,得出最终结论。


       可能应用场景2:预测股票涨跌趋势。针对该目标问题,如何运用分类去解决?首先同样需要一个训练集去得到分类模型,那么此时可选取该股票的历史数据作为训练集,可引入的特征包括历史收盘价、开盘价、最高价、成交量等会影响到类别标签的诸多特征,那么由于这些训练集里股票涨跌标签是已知的,就可以运用相关分类算法去构建一个分类模型,最后将该模型用于预测股票在下个周期的趋势,得出最终结论。


      可能应用场景3:预测信用交易里的违约问题。针对该目标问题,如何运用分类去解决?首先需要一个训练集去得到分类模型,可选取历史信用交易数据作为训练集,可引入的特征包括借款人、年龄、性别、婚姻状况、收入、平台认定情况等会影响到类别标签的诸多特征,由于这些训练集里该信用交易是否违约的标签是已知的,可以运用相关分类算法去构建一个分类模型,最后将该模型用于预测股票在新的信用交易是否会是违约,得出最终结论。

3.  关联分析在金融领域的可能应用场景

        一个典型的金融应用场景就是银行产品的营销领域,例如如何识别诸多客户都会购买的理财产品。针对该目标问题,如何运用关联分析去解决?首先需要收集各银行网点的理财产品销售记录,然后通过相应的关联分析算法如Apriori算法去发现理财产品之间的强关联规则,为后续交叉销售提供参考。

4.聚类分析在金融领域的可能应用场景

        一个典型的应用场景就是银行客户的划分,例如如何将银行客户划分为高价值客户,成长期客户与一般客户等。针对此目标问题,如何运用聚类分析去解决?首先需要收集银行客户购买产品记录、银行客户基本特征以及生活方式等相关属性,运用聚类算法将具有相似特征的客户聚在一个簇里,不相似的客户放在不同的簇里,最后依据不同簇的客户的购买模式去度量聚类划分的质量,为后期客户管理、产品推荐提供参考。