金融数据挖掘

冯国锋

目录

  • 1 Introduction 导论
    • 1.1 What is data mining? 什么是数据挖掘?
    • 1.2 How DM works in financial area?数据挖掘在金融领域是如何应用的?
  • 2 Financial big data 金融大数据
    • 2.1 What is data? 什么是数据?
    • 2.2 Data preprocessing 数据预处理
    • 2.3 Similarity and Dissimilarity of financial data 金融数据的相似性与相异性
  • 3 Decision Tree Classifier with financial applications 决策树分类器与金融应用
    • 3.1 Classification in financial scenario-basic concept and idea 分类算法与金融应用——基本概念与思想
    • 3.2 Introduction to Decision Tree Classifier in Financial Scenario 决策树算法与金融应用——算法介绍
    • 3.3 Methods for expressing attribute test conditions 属性测试条件划分方法
    • 3.4 Measures of impurity in Decision Tree Classifier 决策树分类算法中结点纯度度量方法
    • 3.5 A financial example to compute a Decision Tree 决策树分类器的构建案例
  • 4 Rule-Based Classifier with Financial Applications基于规则的分类器与金融应用
    • 4.1 Introduction to Rule-based Classifier in Financial Scenario 基于规则的分类器与金融应用——算法介绍
    • 4.2 Direct Method for Rule Extraction in Rule-based Classifier 规则提取的直接方法
    • 4.3 An Financial Example to Build Rule-based Classifier 基于规则的分类器的构建案例
  • 5 Naive Bayes Classifier with Financial Applications 朴素贝叶斯分类器与金融应用
    • 5.1 Introduction to Naive Bayes Classifier in Financial Scenario 朴素贝叶斯分类器与金融应用——算法介绍
    • 5.2 A Financial Example to Build Naive Bayes Classifier 朴素贝叶斯分类器的构建案例
  • 6 Bayesian Networks with Financial Applications 贝叶斯网络分类器与金融应用
    • 6.1 Introduction to Bayesian Belief Networks in Financial Scenario 贝叶斯信念网络分类器与金融应用——算法介绍
    • 6.2 A Financial Example of BBN 贝叶斯信念网络分类器案例
  • 7 Financial Classification issues-Underfitting and Overfitting 分类算法在金融应用中的可能问题——拟合不足与过拟合
    • 7.1 Underfitting and Overfitting (1) 拟合不足与过拟合(1)
    • 7.2 Underfitting and Overfitting (2) 拟合不足与过拟合(2)
  • 8 Fiancial Classification Evaluation-Model Evaluation and Comparison 分类算法在金融应用中的结果评估——模型评价与对比
    • 8.1 Fiancial Classification Evaluation-Model Evaluation 分类算法在金融应用中的结果评估——模型结果评价
    • 8.2 Fiancial Classification Evaluation-Model comparison 分类算法在金融应用中的结果评估——模型对比分析
  • 9 Association Analysis with Financial Applications-Apriori Algorithm 关联分析与金融应用——Apriori算法
    • 9.1 Association Analysis in Financial Scenario-basic concept and idea 关联分析与金融应用——基本概念与思想
    • 9.2 Apriori Algorithm in Financial Scenario (1)-Introduction Apriori算法与金融应用——算法介绍
    • 9.3 Apriori Algorithm in Financial Scenario (2)-Candidate Generation & Pruning Apriori算法与金融应用——候选生成与剪枝
    • 9.4 Apriori Algorithm in Financial Scenario (3)-Hash Tree Apriori算法与金融应用——哈希树
    • 9.5 Apriori Algorithm in Financial Scenario (4)-Rule Generation and Complexity Apriori算法与金融应用——规则生成与算法复杂度
  • 10 Association Analysis with Financial Applications-FP Tree Algorithm 关联分析与金融应用——FP Tree算法
    • 10.1 FP Tree Algorithm in Financial Scenario-Introduction FP Tree算法与金融应用——算法介绍
    • 10.2 FP Tree Algorithm-A Financial Example FP Tree算法金融实例
  • 11 Financial Association Analysis Evaluation 关联分析在金融应用中的结果评估
    • 11.1 Financial Association Analysis-Evaluation (1) 关联分析在金融应用中的结果评估(1)
    • 11.2 Financial Association Analysis-Evaluation (2) 关联分析在金融应用中的结果评估(2)
  • 12 Cluster Analysis with Financial Applications-K-means Algorithm 聚类分析与金融应用——K-means算法
    • 12.1 Cluster Analysis in Financial Scenario-basic concept and idea 聚类分析与金融应用——基本概念与思想
    • 12.2 Introduction to K-means Algorithm in Financial Scenario K-means算法与金融应用——算法介绍与实例
  • 13 Cluster Analysis with Financial Applications-Basic Hierarchical Clustering Algorithm 聚类分析与金融应用——基本层次聚类算法
    • 13.1 Introduction to Basic Hierarchical Clustering Algorithm in Financial Scenario 基本层次聚类算法算法与金融应用——算法介绍
    • 13.2 A Financial Example of Agglomerative Hierarchical Clustering Algorithm 凝聚层次聚类算法实例
  • 14 Fiancial Cluster Analysis Evaluation 聚类分析在金融应用中的结果评估
    • 14.1 Unsupervised Cluster Evaluation 无监督的聚类结果评估
    • 14.2 Supervised Cluster Evaluation 有监督的聚类结果评估
FP Tree Algorithm in Financial Scenario-Introduction FP Tree算法与金融应用——算法介绍




主要知识点:

1.Apriori算法的缺陷

  • 由于它是一种逐层寻找的算法,即先寻找频繁1-项集,然后2-项集等等。因此若频繁1-项集的数目相当大,那么在后续将会产生大量的候选2-项集等,产生较多开销。

  • 该算法是一个候选产生到测试的二阶段过程。在寻找频繁项集的过程中,将需要数次扫描整个数据集,产生较多开销。

2.频繁模式增长算法

FP增长算法采用和Apriori算法完全不同的方式来产生频繁项集。首先,它采用一种名为频繁模式树(FP树)的紧凑数据结构压缩表示数据;其次,只要FP树构造好了,就可以采用递归的分治策略从该树中直接挖掘出频繁项集。

3.FP

  • FP树是一种输入数据的压缩表示,它通过逐条读入事务数据,并且将每条事务数据映射到FP树中的一条路径来进行构造。

  • 因为不同的事务数据会有相同的项。例如在金融产品购买数据中,不同顾客可能都会购买相同的金融产品,那么这就会导致FP树中部分路径重叠,越多的路径相互重叠,使用FP树结构获得的压缩效果越好。

4.金融场景FP树的构建过程

步骤1:扫描一次金融数据集,确定数据集中每个项的支持度计数,丢弃非频繁项,将频繁项按照支持度计数的大小递减进行排序。

步骤2:第二次扫描金融数据集,构造FP树,包含读取每一条事务数据,构造FP树路径上的结点,和对事务进行编码。

步骤3:以上两步不断重复,直到每条金融事务数据都映射到FP树上的一条路径,FP树就构造完成。

5.如何使用FP树产生频繁金融项集

  • FP树产生频繁金融项集是一种自底向上的方式探索树的一种方法。

  • 针对某个结点n,综合其所有前缀路径构造它的条件模式基(即以结点为结尾的路径合集)。

  • 转化结点的前缀路径构造条件FP树。

  • 从条件FP树中挖掘出频繁项集。