《信息论》教学大纲
| 课程编号：0108106006 | 课程名称：信息论 | 学时数：40 | 学分：2 |
| 开课时间：春季、秋季 | 开课学院：信息与通信工程学院 | 授课对象：硕士、博士 | |
| 先修课程：线性代数，概率论与数理统计，随机过程，通信原理 | |||
一、教学目的
通过本课程教学，使学生理解和掌握信息论的概念、结论与分析方法。提高科学思维和逻辑推理能力，具备分析与设计信息与通信系统的能力。
二、教学内容与要求
绪论（0.5学时）
第1章 离散信源的熵与无失真压缩编码（6.5学时）
1 本章教学内容：
1.1 离散信源的熵：离散信源（Markov信源）、熵（1.5学时），1.2 无失真压缩编码的码率区域：渐近均分性、Shannon第一定理（2学时），1.3 无失真压缩编码：异前置码、Huffman码（3学时）。
2 本章教学要求：
理解和掌握离散信源的熵的概念、性质与计算方法，理解无失真压缩编码码率区域的概念、结论与分析方法，理解异前置码的概念，理解和掌握Huffman码的概念与编码方法。
3 本章教学重点：
离散信源的熵，渐近均分性、Shannon第一定理，异前置码、Huffman码。
4 本章教学难点：
渐近均分性、Shannon第一定理。
5 课程作业：
编程：Huffman码。
第2章 离散信道的信道容量与纠错编码（12学时）
1 本章教学内容：
2.1 离散信道的平均互信息：离散信道（n次扩展信道）、噪声熵与平均互信息（2学时），2.2 离散信道的信道容量：信道容量（及迭代运算）、对称信道的信道容量（1学时），2.3 纠错编码的码率区域：联合渐近均分性、Shannon第二定理（2学时），2.4 纠错编码：线性分组码、Hamming码、LDPC码、卷积码（含Viterbi译码）、Turbo码（7学时）。
2 本章教学要求：
理解和掌握离散信道的噪声熵、平均互信息的概念、性质与计算方法，理解和掌握对称信道的信道容量的概念与分析计算方法，理解纠错编码码率区域的概念、结论与分析方法，理解线性分组码、LDPC码、Turbo码的概念与关键技术，理解和掌握Hamming码、卷积码（含Viterbi译码）的概念与编译码方法。
3 本章教学重点：
离散信道的噪声熵、平均互信息，对称信道的信道容量，联合渐近均分性、Shannon第二定理，线性分组码、Hamming码、LDPC码、卷积码（含Viterbi译码）、Turbo码。
4 本章教学难点：
联合渐近均分性、Shannon第二定理，卷积码（含Viterbi译码）。
5 课程作业：
编程：Hamming码。
综述：Polar码的概念与关键技术。
第3章 信源的率失真函数与限失真压缩编码（8学时）
1 本章教学内容：
3.1 连续信源的差熵：连续信源（n次扩展信源）、差熵（1学时），3.2 信源的率失真函数：信源的测试信道、率失真函数、二进制信源和等概率信源的率失真函数、高斯信源的率失真函数（3学时），3.3 限失真压缩编码的码率区域：保真度准则下的联合渐近均分性、Shannon第三定理（1学时），3.4 限失真压缩编码：量化、变换-量化编码（13折线非线性量化编码）、预测编码（3学时）。
2 本章教学要求：
理解和掌握连续信源的差熵的概念、性质与计算方法，理解和掌握二进制信源、等概率信源、高斯信源的测试信道、率失真函数的概念与分析计算方法，理解限失真压缩编码码率区域的概念、结论与分析方法，理解量化、预测编码的概念，理解和掌握变换-量化编码（13折线非线性量化编码）的概念与编码方法。
3 本章教学重点：
连续信源的差熵，二进制信源、等概率信源、高斯信源的测试信道、率失真函数，保真度准则下的联合渐近均分性、Shannon第三定理，量化、变换-量化编码（13折线非线性量化编码）、预测编码。
4 本章教学难点：
信源的测试信道、率失真函数，保真度准则下的联合渐近均分性、Shannon第三定理。
5 课程作业：
综述：率失真函数的迭代运算。
第4章 连续信道的信道容量（2学时）
1 本章教学内容：
4.1 连续信道平均互信息：连续信道（n次扩展信道）、噪声差熵与平均互信息（1学时），4.2 连续信道的信道容量：信道容量、高斯信道的信道容量（Shannon公式）（1学时）。
2 本章教学要求：
理解和掌握连续信道的噪声差熵、平均互信息的概念、性质与计算方法，理解和掌握高斯信道的信道容量（Shannon公式）的概念与分析计算方法。
3 本章教学重点：
连续信道的噪声差熵、平均互信息，高斯信道的信道容量（Shannon公式）。
4 本章教学难点：
无
5 课程作业：
无
第5章 相关信源的熵和率失真函数与分布式压缩（4学时）
1 本章教学内容：
5.1 相关信源的熵和差熵：相关信源（单符号信源）、熵、差熵（1学时），5.2 分布式无失真压缩编码的码率区域：相关渐近均分性、S-W定理（2学时），5.3 相关信源的率失真函数：信源的测试信道、率失真函数（0.5学时），5.4分布式限失真压缩编码的码率区域：保真度准则下的相关联合渐近均分性、B-T定理（0.5学时）。
2 本章教学要求：
理解和掌握相关信源的熵和差熵的概念与计算方法，理解分布式无失真压缩编码码率区域的概念、结论与分析方法，了解相关信源的测试信道、率失真函数的概念，了解分布式限失真压缩编码码率区域的概念与结论。
3 本章教学重点：
相关信源的的熵、差熵，相关渐近均分性、S-W定理。
4 本章教学难点：
相关信源的测试信道、率失真函数，保真度准则下的相关联合渐近均分性、B-T定理。
5 课程作业：
无
第6章 网络信道的信道容量与分布式纠错（7学时）
6.1 多址接入信道的信道容量：多址接入信道（单符号信道）、平均互信息、信道容量、二进制对称多址接入信道、高斯多址接入信道的信道容量（1学时），6.2 多址接入信道分布式纠错编码的码率区域：多址接入相关渐近均分性、多址接入信道分布式纠错编码定理（2学时），6.3 退化广播信道的信道容量：退化广播信道（单符号信道）、平均互信息、信道容量、高斯退化广播信道的信道容量（1学时），6.4退化广播信道叠加纠错编码的码率区域：退化广播相关渐近均分性、退化广播信道叠加纠错编码定理（2学时），6.5最大流-最小割定理：网络信道、最大流-最小割定理（1学时）。
2 本章教学要求：
理解和掌握二进制对称多址接入信道、高斯多址接入信道的平均互信息、信道容量的概念与计算方法，理解多址接入信道分布式纠错编码码率区域的概念、结论与分析方法，理解和掌握高斯退化广播信道的平均互信息、信道容量的概念与计算方法，，理解退化广播信道叠加纠错编码码率区域的概念、结论与分析方法，理解网络信道、最大流-最小割定理的概念。
3 本章教学重点：
二进制对称多址接入信道、高斯多址接入信道的平均互信息、信道容量，多址接入相关渐近均分性、多址接入信道分布式纠错编码定理，高斯退化广播信道的平均互信息、信道容量，退化广播相关渐近均分性、退化广播信道叠加纠错编码定理，网络信道、最大流-最小割定理。
4 本章教学难点：
多址接入相关渐近均分性、多址接入信道分布式纠错编码定理，退化广播相关渐近均分性、退化广播信道叠加纠错编码定理。
5 课程作业：
综述：网络信道与最大流-最小割定理。
三、教学方式
课堂教学
四、考核方式与成绩评定
考核方式：开卷
成绩评定：平时考核成绩40%，期末考试成绩60%
五、教材及主要参考书目
教材：
无
参考教材：
[1]Thomas M. Cover，Joy A. Thomas，信息论基础Elements of information theory-2nd ed.，机械工业出版社，2007
[2]Robert J. McEliece，信息论与编码理论The Theory of Information and Coding-2nd ed.，电子工业出版社，2004
[3]Abbas EI Gamal，Young-Han Kim，网络信息论Network Information Theory，清华大学出版社，2015
（大纲撰写人：陈伟建）
（大纲审稿人：□□□）
