信息论基础（双语）

金明录

目录

  • 1 Introduction to Information Theory
    • 1.1 内容简介
    • 1.2 讲稿
    • 1.3 视频
  • 2 Entropy, Mutual Information, Conditional and Joint Entropy
    • 2.1 内容简介
    • 2.2 讲稿
    • 2.3 视频
  • 3 Measures for Continuous Random Variable, Relative Entropy
    • 3.1 内容简介
    • 3.2 讲稿
    • 3.3 视频
  • 4 Variable Length Codes, Prefix Codes
    • 4.1 内容简介
    • 4.2 讲稿
    • 4.3 视频
  • 5 Source Coding Theorem
    • 5.1 内容简介
    • 5.2 讲稿
    • 5.3 视频
  • 6 Various source coding techniques: Huffman, Arithmetic, Lempel Ziv, Run Length
    • 6.1 内容简介
    • 6.2 讲稿
    • 6.3 视频
  • 7 Optimum Quantizer, Practical Application of Source Coding: JPEG Compression
    • 7.1 内容简介
    • 7.2 讲稿
    • 7.3 视频
  • 8 Introduction to Super Information
    • 8.1 内容简介
    • 8.2 讲稿
    • 8.3 视频
  • 9 Channel Models and Channel Capacity
    • 9.1 内容简介
    • 9.2 讲稿
    • 9.3 视频
  • 10 Noisy Channel Coding Theorem
    • 10.1 内容简介
    • 10.2 讲稿
    • 10.3 视频
  • 11 Gaussian Channel and Information Capacity Theorem
    • 11.1 内容简介
    • 11.2 讲稿
    • 11.3 视频
  • 12 Capacity of MIMO channels
    • 12.1 内容简介
    • 12.2 讲稿
    • 12.3 视频
  • 13 Introduction to Error Control Coding
    • 13.1 内容简介
    • 13.2 讲稿
    • 13.3 视频
  • 14 Equivalent Codes, Generator Matrix and Parity Check Matrix
    • 14.1 内容简介
    • 14.2 讲稿
    • 14.3 视频
  • 15 Introduction to Cryptography
    • 15.1 内容简介
    • 15.2 讲稿
    • 15.3 视频
  • 16 Summary
内容简介

内容：

Information Measures for Continuous Random Variables， Differential Entropy， Average Conditional Entropy， Relative Entropy (Kullback Leibler (KL) distance)， Jensen Shannon distance， Prefix Codes

补充：Maximum entropy Theorems

阅读：

1、Ranjan Bose的 1.4

2、T. M. Cover的 2.3，2.8，12.1