统计机器学习导论2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

统计机器学习导论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 绪论2

第1章 统计机器学习2

1.1学习的类型2

1.2机器学习任务举例3

1.2.1监督学习3

1.2.2非监督学习4

1.2.3进一步的主题4

1.3本书结构5

第二部分 概率与统计8

第2章 随机变量与概率分布8

2.1数学基础8

2.2概率9

2.3随机变量和概率分布10

2.4概率分布的性质11

2.4.1期望、中位数和众数11

2.4.2方差和标准差13

2.4.3偏度、峰度和矩13

2.5随便变量的变换15

第3章 离散概率分布的实例17

3.1离散均匀分布17

3.2二项分布17

3.3超几何分布18

3.4泊松分布21

3.5负二项分布23

3.6几何分布24

第4章 连续概率分布的实例25

4.1连续均匀分布25

4.2正态分布25

4.3伽马分布、指数分布和卡方分布27

4.4Beta分布29

4.5柯西分布和拉普拉斯分布31

4.6t分布和F分布33

第5章 多维概率分布35

5.1联合概率分布35

5.2条件概率分布36

5.3列联表36

5.4贝叶斯定理36

5.5协方差与相关性38

5.6独立性39

第6章 多维概率分布的实例42

6.1多项分布42

6.2多元正态分布43

6.3狄利克雷分布45

6.4威沙特分布48

第7章 独立随机变量之和50

7.1卷积50

7.2再生性50

7.3大数定律51

7.4中心极限定理53

第8章 概率不等式55

8.1联合界55

8.2概率不等式55

8.2.1马尔可夫不等式和切尔诺夫不等式55

8.2.2坎泰利不等式和切比雪夫不等式56

8.3期望不等式57

8.3.1琴生不等式57

8.3.2赫尔德不等式和施瓦茨不等式57

8.3.3闵可夫斯基不等式58

8.3.4康托洛维奇不等式58

8.4独立随机变量和的不等式59

8.4.1切比雪夫不等式和切尔诺夫不等式59

8.4.2霍夫丁不等式和伯恩斯坦不等式59

8.4.3贝内特不等式60

第9章 统计估计62

9.1统计估计基础62

9.2点估计62

9.2.1参数密度估计62

9.2.2非参数密度估计63

9.2.3回归和分类64

9.2.4模型选择64

9.3区间估计65

9.3.1基于正态样本期望的区间估计65

9.3.2bootstrap置信区间65

9.3.3贝叶斯置信区间66

第10章 假设检验67

10.1假设检验基础67

10.2正态样本期望的检验68

10.3尼曼-皮尔森引理68

10.4列联表检验69

10.5正态样本期望差值检验70

10.5.1无对应关系的两组样本70

10.5.2有对应关系的两组样本71

10.6秩的无参检验72

10.6.1无对应关系的两组样本72

10.6.2有对应关系的两组样本73

10.7蒙特卡罗检验74

第三部分 统计模式识别的生成式方法76

第11章 通过生成模型估计的模式识别76

11.1模式识别的公式化76

11.2统计模式识别77

11.3分类器训练的准则79

11.3.1最大后验概率规则79

11.3.2最小错误分类率准则79

11.3.3贝叶斯决策规则80

11.3.4讨论81

11.4生成式方法和判别式方法81

第12章 极大似然估计83

12.1定义83

12.2高斯模型84

12.3类-后验概率的计算86

12.4Fisher线性判别分析88

12.5手写数字识别90

12.5.1预备知识90

12.5.2线性判别分析的实现90

12.5.3多分类器方法91

第13章 极大似然估计的性质93

13.1一致性93

13.2渐近无偏性93

13.3渐近有效性94

13.3.1一维的情况94

13.3.2多维的情况94

13.4渐近正态性95

13.5总结97

第14章 极大似然估计的模型选择98

14.1模型选择98

14.2KL散度99

14.3AIC信息论准则100

14.4交叉检验102

14.5讨论103

第15章 高斯混合模型的极大似然估计104

15.1高斯混合模型104

15.2极大似然估计105

15.3梯度上升算法107

15.4EM算法108

第16章 非参数估计112

16.1直方图方法112

16.2问题描述113

16.3核密度估计115

16.3.1Parzen窗法115

16.3.2利用核的平滑116

16.3.3带宽的选择117

16.4最近邻密度估计118

16.4.1最近邻距离118

16.4.2最近邻分类器118

第17章 贝叶斯推理123

17.1贝叶斯预测分布123

17.1.1定义123

17.1.2与极大似然估计的比较124

17.1.3计算问题124

17.2共轭先验125

17.3最大后验估计126

17.4贝叶斯模型选择128

第18章 边缘相似的解析近似131

18.1拉普拉斯近似131

18.1.1高斯密度估计131

18.1.2例证132

18.1.3应用于边际似然逼近133

18.1.4贝叶斯信息准则133

18.2变分近似134

18.2.1变分贝叶斯最大期望算法134

18.2.2与一般最大期望法的关系135

第19章 预测分布的数值近似137

19.1蒙特卡罗积分137

19.2重要性采样138

19.3采样算法139

19.3.1逆变换采样139

19.3.2拒绝采样141

19.3.3马尔可夫链蒙特卡罗方法142

第20章 贝叶斯混合模型147

20.1高斯混合模型147

20.1.1贝叶斯公式化147

20.1.2变分推断148

20.1.3吉布斯采样151

20.2隐狄利克雷分配模型154

20.2.1主题模型154

20.2.2贝叶斯公式化154

20.2.3吉布斯采样155

第四部分 统计机器学习的判别式方法158

第21章 学习模型158

21.1线性参数模型158

21.2核模型159

21.3层次模型161

第22章 最小二乘回归163

22.1最小二乘法163

22.2线性参数模型的解决方案163

22.3最小二乘法的特性166

22.4大规模数据的学习算法167

22.5层次模型的学习算法168

第23章 具有约束的最小二乘回归171

23.1子空间约束的最小二乘171

23.2l2约束的最小二乘172

23.3模型选择175

第24章 稀疏回归178

24.1l1约束的最小二乘178

24.2解决l1约束的最小二乘179

24.3稀疏学习的特征选择181

24.4若干扩展181

24.4.1广义l1约束最小二乘182

24.4.2lp约束最小二乘182

24.4.3l1＋l2约束最小二乘183

24.4.4l1，2约束最小二乘184

24.4.5迹范数约束最小二乘184

第25章 稳健回归186

25.1l2损失最小化的非稳健性186

25.2l1损失最小化187

25.3Huber损失最小化187

25.3.1定义188

25.3.2随机梯度算法188

25.3.3迭代加权最小二乘188

25.3.4l1约束Huber损失最小化190

25.4Tukey损失最小化193

第26章 最小二乘分类器195

26.1基于最小二乘回归的分类器195

26.2 0/1损失和间隔196

26.3多类分类器198

第27章 支持向量分类200

27.1最大间隔分类200

27.1.1硬间隔支持向量分类200

27.1.2软间隔支持向量分类201

27.2支持向量分类的对偶最优化问题201

27.3对偶解的稀疏性203

27.4使用核技巧的非线性模型204

27.5多类扩展206

27.6损失最小化观点207

27.6.1Hinge损失最小化207

27.6.2平方Hinge损失最小化208

27.6.3Ramp损失最小化210

第28章 概率分类法212

28.1Logistic回归212

28.1.1Logistic模型与极大似然估计212

28.1.2损失最小化的观点214

28.2最小二乘概率分类214

第29章 结构化分类217

29.1序列分类器217

29.2序列的概率分类217

29.2.1条件随机场218

29.2.2极大似然估计219

29.2.3递归计算219

29.2.4新样本预测221

29.3序列的确定性分类222

第五部分 高级主题226

第30章 集成学习226

30.1决策树桩分类器226

30.2bagging算法227

30.3boosting算法228

30.3.1adaboost算法228

30.3.2损失最小化观点230

30.4泛化集成学习233

第31章 在线学习234

31.1随机梯度下降法234

31.2被动攻击学习235

31.2.1分类235

31.2.2回归237

31.3加权向量的自适应正则化238

31.3.1参数的不确定性238

31.3.2分类239

31.3.3回归240

第32章 预测的置信度241

32.1l2正则化最小二乘的预测方差241

32.2bootstrap法置信区间估计243

32.3应用244

32.3.1时间序列预测244

32.3.2调整参数的优化245

第33章 半监督学习248

33.1流形正则化248

33.1.1输入样本的流形结构248

33.1.2计算解决方案249

33.2协变量移位的适应251

33.2.1重要度加权学习251

33.2.2相对重要度加权学习252

33.2.3重要度加权交叉检验253

33.2.4重要度估计253

33.3类别平衡变化下的适应255

33.3.1类别平衡加权学习256

33.3.2类别平衡估计256

第34章 多任务学习259

34.1任务相似度正则化259

34.1.1公式化259

34.1.2解析解260

34.1.3多任务的有效计算方法260

34.2多维函数学习261

34.2.1公式化261

34.2.2有效的分析解决方案263

34.3矩阵正则化263

34.3.1参数矩阵正则化264

34.3.2迹范数正则化的梯度法265

第35章 线性降维268

35.1维度灾难268

35.2无监督降维法269

35.2.1主成分分析270

35.2.2局部保留投影271

35.3分类的线性判别分析272

35.3.1Fisher判别分析法273

35.3.2局部Fisher判别分析法274

35.3.3半监督局部Fisher判别分析法276

35.4回归问题的充分降维277

35.4.1信息论公式化278

35.4.2直接导数估计279

35.5矩阵插补282

第36章 非线性降维285

36.1利用核技巧的降维285

36.1.1核主成分分析285

36.1.2拉普拉斯特征映射288

36.2通过神经网络的监督降维法289

36.3通过自编码器的非监督降维法290

36.3.1自编码器290

36.3.2通过梯度下降法的训练290

36.3.3稀疏自编码器292

36.4通过受限玻尔兹曼机的非监督降维法292

36.4.1模型293

36.4.2通过梯度下降法的训练293

36.5深度学习296

第37章 聚类297

37.1k均值聚类297

37.2核k均值聚类299

37.3谱聚类299

37.4调谐参数的选择299

第38章 异常检测304

38.1密度估计和局部异常因子304

38.2支持向量数据描述305

38.3基于正常值的异常检测308

第39章 变化检测312

39.1基于分布模型的变化检测312

39.1.1KL散度312

39.1.2Pearson散度313

39.1.3L2距离313

39.1.4L1距离315

39.1.5最大均值差异317

39.1.6能量距离317

39.1.7时序变化检测的应用317

39.2基于结构模型的变化检测318

39.2.1稀疏极大似然估计319

39.2.2稀疏密度比估计321

参考文献324

索引329