信息论 基础理论与应用 第3版2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

信息论 基础理论与应用 第3版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章绪论1

1.1信息的概念1

1.2信息论研究的对象、目的和内容8

1.3信息论发展简史与信息科学12

第2章离散信源及其信息测度17

2.1信源的数学模型及分类17

2.2离散信源的信息熵22

2.2.1自信息22

2.2.2信息熵25

2.3信息熵的基本性质28

2.4信息熵的唯一性定理35

2.5离散无记忆的扩展信源38

2.6离散平稳信源40

2.6.1离散平稳信源的数学定义40

2.6.2二维离散平稳信源及其信息熵41

2.6.3离散平稳信源的极限熵45

2.7马尔可夫信源48

2.7.1马尔可夫信源和m阶马尔可夫信源的定义48

2.7.2马尔可夫信源和m阶马尔可夫信源的信息熵51

2.8信源剩余度与自然语言的熵57

2.9意义信息和加权熵62

小结65

习题66

第3章离散信道及其信道容量70

3.1信道的数学模型及分类70

3.1.1信道的分类70

3.1.2离散信道的数学模型71

3.1.3单符号离散信道的数学模型74

3.2平均互信息及平均条件互信息76

3.2.1信道疑义度76

3.2.2平均互信息77

3.2.3平均条件互信息80

3.3平均互信息的特性82

3.4信道容量及其一般计算方法86

3.4.1离散无噪信道的信道容量87

3.4.2对称离散信道的信道容量89

3.4.3准对称信道的信道容量91

3.4.4一般离散信道的信道容量92

3.5信道容量的迭代算法98

3.5.1信道容量的迭代算法99

3.5.2信道容量迭代算法的收敛性103

3.6离散无记忆扩展信道及其信道容量105

3.7独立并联信道及其信道容量110

3.8串联信道的互信息和数据处理定理111

3.9信源与信道的匹配118

小结119

习题121

第4章波形信源和波形信道125

4.1波形信源的统计特性和离散化125

4.2连续信源和波形信源的信息测度127

4.2.1连续信源的差熵127

4.2.2连续平稳信源和波形信源的差熵129

4.2.3两种特殊连续信源的差熵130

4.3连续信源熵的性质及最大差熵定理132

4.3.1差熵的性质132

4.3.2具有最大差熵的连续信源134

4.4连续信源熵的变换136

4.4.1坐标变换后概率密度函数的变化137

4.4.2坐标变换后差熵的变化138

4.5熵功率139

4.6连续信道和波形信道的分类141

4.6.1按信道输入和输出的统计特性分类141

4.6.2按噪声的统计特性分类142

4.6.3按噪声对信号的作用功能分类145

4.7连续信道和波形信道的信息传输率146

4.7.1基本连续信道的平均互信息146

4.7.2多维连续信道的平均互信息147

4.7.3波形信道的信息传输率147

4.7.4连续信道平均互信息的特性148

4.8连续信道和波形信道的信道容量151

4.8.1单符号高斯加性信道152

4.8.2单符号非高斯加性信道153

4.8.3多维无记忆高斯加性连续信道154

4.8.4多维有记忆高斯加性连续信道157

4.8.5限带高斯白噪声加性波形信道159

4.8.6有色高斯加性波形信道160

4.8.7香农公式的重要实际指导意义161

小结164

习题167

第5章无失真信源编码定理170

5.1编码器170

5.2等长码172

5.3渐近等分割性和ε典型序列175

5.4等长信源编码定理178

5.5变长码181

5.5.1唯一可译变长码与即时码181

5.5.2即时码的树图构造法183

5.5.3克拉夫特（Kraft）不等式184

5.5.4唯一可译变长码的判断法187

5.6变长信源编码定理188

小结195

习题196

第6章有噪信道编码定理199

6.1错误概率和译码规则199

6.2错误概率与编码方法203

6.3联合ε典型序列210

6.4有噪信道编码定理215

6.5联合信源信道编码定理219

小结221

习题223

第7章保真度准则下的信源编码225

7.1失真度和平均失真度226

7.1.1失真度226

7.1.2平均失真度228

7.2信息率失真函数及其性质229

7.2.1信息率失真函数229

7.2.2信息率失真函数的性质231

7.3二元信源和离散对称信源的R（D）函数236

7.3.1二元对称信源的R（D）函数236

7.3.2离散对称信源的R（D）函数238

7.4信息率失真函数的参量表述及其计算240

7.5信息率失真函数的迭代算法248

7.6连续信源的信息率失真函数251

7.6.1连续信源的信息率失真函数251

7.6.2高斯信源的信息率失真函数252

7.6.3连续信源R（D）函数的参量表述及其计算254

7.7保真度准则下的信源编码定理259

7.7.1失真ε典型序列259

7.7.2保真度准则下信源编码定理的证明261

7.8联合有失真信源信道编码定理263

7.9限失真信源编码定理的实用意义265

小结268

习题269

第8章无失真的信源编码273

8.1霍夫曼（Huffman）码273

8.1.1二元霍夫曼码274

8.1.2r元霍夫曼码276

8.1.3霍夫曼码的最佳性277

8.2费诺（Fano）码279

8.3香农一费诺-埃利斯码280

8.4游程编码和MH编码282

8.4.1游程编码282

8.4.2MH编码286

8.5算术编码290

8.6字典码296

8.6.1LZ-77编码算法296

8.6.2LZ-78编码算法298

8.6.3LZW编码算法299

8.6.4LZ码复杂度和性能分析301

小结303

习题304

第9章信道的纠错编码307

9.1差错控制的基本形式307

9.2纠错码分类及基本概念309

9.2.1纠错码分类309

9.2.2纠错码的基本概念及其纠错能力311

9.3线性分组码314

9.3.1一致校验矩阵和生成矩阵314

9.3.2伴随式及标准阵列译码321

9.3.3汉明码327

9.4循环码329

9.4.1循环码结构及其多项式描述330

9.4.2循环码的生成多项式和生成矩阵332

9.4.3循环码的校验多项式和伴随式338

9.4.4循环码的编、译码器342

9.5卷积码346

9.5.1卷积码的解析表示346

9.5.2卷积码的图解表示350

小结352

习题354

第10章网络信息论357

10.1通信网信道的分类357

10.2多个随机变量的联合典型序列360

10.3相关信源编码363

10.4多址接入信道368

10.4.1离散多址接入信道368

10.4.2多址接入高斯噪声信道375

10.5相关信源和多址接入信道378

10.5.1相关信源和多址接入信道的对偶性378

10.5.2相关信源的多址接入信道379

10.6广播信道381

10.7中继信道388

10.8具有边信息的信源编码391

10.9具有边信息的数据压缩395

小结399

习题400

第11章保密系统的基本信息理论403

11.1保密学的基本概念403

11.2保密系统的数学模型404

11.3古典密码体制406

11.3.1单表密码406

11.3.2移位代换密码406

11.3.3乘数密码407

11.3.4固定周期d的位移置换408

11.3.5多表代换密码408

11.4完全保密性410

11.5理论保密性413

11.6实际保密性415

小结417

习题418

第12章信息论与其他学科的关系和应用419

12.1信息熵与热力学熵419

12.2信息论与光学422

12.2.1光学信息量423

12.2.2光量子信道的信道容量425

12.2.3最大熵光学图像恢复427

12.3最大熵原理与谱估计430

12.3.1高斯随机过程的熵率431

12.3.2伯格的最大熵定理432

12.4信息论与生命科学434

12.4.1DNA到蛋白质的通信系统434

12.4.2信息系数与信息分类440

12.4.3医学中的信息分析443

小结445

附录447

附录A凸函数和詹森不等式447

附录B马尔可夫链450

B.1马尔可夫链的定义450

B.2转移概率和转移矩阵450

B.3各态历经定理452

附录C熵函数的函数表455

附录D所用符号及编写说明458

参考书目和文献465