信息论与编码基础2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

信息论与编码基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

引言1

第1章 单符号离散信源4

1.1信源的信息熵4

1.1.1信源的数学模型4

1.1.2信源符号的自信量4

1.1.3信源的信息熵6

1.2信息熵的代数性质9

1.2.1熵函数的对称性10

1.2.2熵函数的非负性和确定性10

1.2.3熵函数的连续性和扩展性11

1.2.4熵函数的可加性12

1.2.5熵函数的递推性13

1.3信息熵的解析性质16

1.3.1熵函数的极值性17

1.3.2熵函数的上凸性20

1.3.3熵函数的最大值21

1.4熵函数的唯一性22

习题25

第2章 单符号离散信道27

2.1平均互信息27

2.1.1信道的数学模型27

2.1.2信道两端符号的概率变化29

2.1.3两个符号之间的互信息32

2.1.4两个随机变量之间的平均互信息37

2.2平均互信息的数学特性45

2.2.1平均互信息的非负性45

2.2.2平均互信息的极值性47

2.2.3平均互信息的上凸性58

2.3信道容量与匹配信源61

2.3.1信道容量的定义61

2.3.2信道容量的一般算法62

2.3.3匹配信源的等量平衡特性65

2.4几种特殊信道的信道容量67

2.4.1无噪信道的信道容量67

2.4.2强对称信道的信道容量69

2.4.3对称信道的信道容量73

2.4.4准对称信道的信道容量75

2.5串接信道的平均互信息81

2.5.1串接信道的数学描述81

2.5.2平均条件互信息83

2.5.3平均联合互信息89

2.5.4数据处理定理95

习题106

第3章 多符号离散信源与信道112

3.1离散平稳信源的数学模型112

3.1.1多符号离散信源的一般概念112

3.1.2离散平稳信源的定义113

3.1.3平稳信源的数学模型113

3.2扩展信源的信息熵115

3.2.1无记忆扩展信源的信息熵116

3.2.2有记忆扩展信源的信息熵118

3.2.3扩展信源信息熵的比较121

3.3平均符号熵和极限熵122

3.3.1平均符号熵123

3.3.2极限熵125

3.4马尔柯夫信源的极限熵127

3.4.1 M信源的定义127

3.4.2 m-M信源的数学模型128

3.4.3各态历经m-M信源的极限熵134

3.4.4剩余度140

3.5扩展信道的平均互信息142

3.5.1扩展信道的由来142

3.5.2扩展信道的数学描述143

3.5.3扩展信道的平均互信息的数学特性144

3.6无记忆扩展信道的信道容量150

3.6.1无记忆扩展信道的独立并列特性150

3.6.2独立并列信道的信道容量153

习题156

第4章 连续信源与信道160

4.1单维连续信道的平均互信息161

4.1.1单维连续信道的数学描述161

4.1.2连续信源的信息熵162

4.1.3连续信道的疑义度164

4.1.4信息熵差与相对熵差166

4.1.5平均互信息的三种表达式167

4.2连续信源的相对熵170

4.2.1“相对”二字的由来及其内涵170

4.2.2几种连续信源的相对熵172

4.3最大相对熵定理182

4.3.1相对熵的数学特性182

4.3.2最大相对熵定理184

4.3.3熵功率与信息变差189

4.3.4“相对熵”和“信息熵”称呼的统一191

4.4高斯白噪声加性信道的信道容量193

4.4.1加性信道的信道容量193

4.4.2高斯加性信道的信道容量195

4.4.3高斯白噪声加性信道的信道容量198

4.4.4香农公式的诠释203

习题205

第5章 无失真信源编码209

5.1单义可译定理209

5.1.1单义可译码210

5.1.2非延长码及其构成211

5.1.3单义可译结构定理213

5.2无记忆信源符号速率极限定理217

5.2.1平均码长与码率217

5.2.2平均码长极限定理217

5.2.3码率极限定理224

5.2.4符号速率极限定理225

5.3有记忆信源符号速率极限定理226

5.4霍夫曼码230

5.4.1霍夫曼编码方法230

5.4.2霍夫曼码是非延长码239

5.4.3霍夫曼码是有效码240

习题245

第6章 抗干扰信道编码248

6.1译码规则和平均误码率248

6.1.1译码规则248

6.1.2误码率和平均误码率249

6.1.3最小平均误码率译码规则254

6.2编码方法和最小平均误码率258

6.2.1纠错码W（ Ⅰ）的最小平均误码率259

6.2.2纠错码W（ Ⅱ）的最小平均误码率262

6.2.3纠错码W（Ⅲ）的最小平均误码率265

6.3抗干扰信道编码定理268

6.3.1汉明（Hamming）距离与检纠能力268

6.3.2汉明距离与最小平均误码率272

6.3.3疑义度与平均误码率274

6.3.4平均误码率与码率276

6.3.5误码率极限定理279

6.4线性分组码285

6.4.1线性分组码的代数结构285

6.4.2生成矩阵296

6.4.3一致校验矩阵303

6.4.4译码表308

6.4.5汉明码的最优化323

习题330

第7章 信息率-失真函数334

7.1信息率-失真函数R（D）的定义334

7.1.1平均互信息的下凸性334

7.1.2平均失真度336

7.1.3 R（D）函数的定义338

7.2 R （ D）函数的数学特性338

7.2.1 R （ D）函数的连续性339

7.2.2 R （ D）函数的下凸性339

7.2.3 R （ D）函数的单调递减性340

7.3离散信源的R（D）函数341

7.3.1 R （ D）函数的定义域341

7.3.2 R（D）函数的表达式350

7.4扩展信源的R（D）函数356

7.4.1扩展信道的平均失真度356

7.4.2扩展信源R（D）函数的数学特征359

7.5 R （ D）与数据压缩363

7.5.1数据压缩的一般运行机制363

7.5.2 R（D）与压缩比365

7.5.3通信系统最优化前景369

习题370

附录A供熵函数计算用的几种函数表372

参考文献373