Python数据处理2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Python数据处理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 python简介1

1.1 为什么选择python4

1.2 开始使用python4

1.2.1 python版本选择5

1.2.2 安装python6

1.2.3 测试python9

1.2.4 安装pip11

1.2.5 安装代码编辑器12

1.2.6 安装ipython（可选）13

1.3 小结13

第2章 python基础14

2.1 基本数据类型15

2.1.1 字符串15

2.1.2 整数和浮点数15

2.2 数据容器18

2.2.1 变量18

2.2.2 列表21

2.2.3 字典22

2.3 各种数据类型的用途23

2.3.1 字符串方法：字符串能做什么24

2.3.2 数值方法：数字能做什么25

2.3.3 列表方法：列表能做什么26

2.3.4 字典方法：字典能做什么27

2.4 有用的工具：type、dir和help28

2.4.1 type28

2.4.2 dir28

2.4.3 help30

2.5 综合运用31

2.6 代码的含义32

2.7 小结33

第3章 供机器读取的数据34

3.1 csv数据35

3.1.1 如何导入csv数据36

3.1.2 将代码保存到文件中并在命令行中运行39

3.2 json数据41

3.3 xml数据44

3.4 小结56

第4章 处理excel文件58

4.1 安装python包58

4.2 解析excel文件59

4.3 开始解析60

4.4 小结71

第5章 处理pdf文件，以及用python解决问题73

5.1 尽量不要用pdf73

5.2 解析pdf的编程方法74

5.2.1 利用slate库打开并读取pdf75

5.2.2 将pdf转换成文本77

5.3 利用pdfminer解析pdf78

5.4 学习解决问题的方法92

5.4.1 练习：使用表格提取，换用另一个库94

5.4.2 练习：手动清洗数据98

5.4.3 练习：试用另一种工具98

5.5 不常见的文件类型101

5.6 小结101

第6章 数据获取与存储103

6.1 并非所有数据生而平等103

6.2 真实性核查104

6.3 数据可读性、数据清洁度和数据寿命105

6.4 寻找数据105

6.4.1 打电话105

6.4.2 美国政府数据106

6.4.3 全球政府和城市开放数据107

6.4.4 组织数据和非政府组织数据109

6.4.5 教育数据和大学数据109

6.4.6 医学数据和科学数据109

6.4.7 众包数据和api110

6.5 案例研究：数据调查实例111

6.5.1 埃博拉病毒危机111

6.5.2 列车安全111

6.5.3 足球运动员的薪水112

6.5.4 童工112

6.6 数据存储113

6.7 数据库简介113

6.7.1 关系型数据库：mysql和postgresql114

6.7.2 非关系型数据库：nosql116

6.7.3 用python创建本地数据库117

6.8 使用简单文件118

6.8.1 云存储和python118

6.8.2 本地存储和python119

6.9 其他数据存储方式119

6.10 小结119

第7章 数据清洗：研究、匹配与格式化121

7.1 为什么要清洗数据121

7.2 数据清洗基础知识122

7.2.1 找出需要清洗的数据123

7.2.2 数据格式化131

7.2.3 找出离群值和不良数据135

7.2.4 找出重复值140

7.2.5 模糊匹配143

7.2.6 正则表达式匹配146

7.2.7 如何处理重复记录150

7.3 小结151

第8章 数据清洗：标准化和脚本化153

8.1 数据归一化和标准化153

8.2 数据存储154

8.3 找到适合项目的数据清洗方法156

8.4 数据清洗脚本化157

8.5 用新数据测试170

8.6 小结172

第9章 数据探索和分析173

9.1 探索数据173

9.1.1 导入数据174

9.1.2 探索表函数179

9.1.3 联结多个数据集182

9.1.4 识别相关性186

9.1.5 找出离群值187

9.1.6 创建分组189

9.1.7 深入探索192

9.2 分析数据193

9.2.1 分离和聚焦数据194

9.2.2 你的数据在讲什么196

9.2.3 描述结论196

9.2.4 将结论写成文档197

9.3 小结197

第10章 展示数据199

10.1 避免讲故事陷阱199

10.1.1 怎样讲故事200

10.1.2 了解听众200

10.2 可视化数据201

10.2.1 图表201

10.2.2 时间相关数据207

10.2.3 地图208

10.2.4 交互式元素211

10.2.5 文字212

10.2.6 图片、视频和插画212

10.3 展示工具213

10.4 发布数据213

10.4.1 使用可用站点213

10.4.2 开源平台：创建一个新网站215

10.4.3 jupyter（曾名ipython notebook）216

10.5 小结219

第11章 网页抓取：获取并存储网络数据221

11.1 抓取什么和如何抓取221

11.2 分析网页223

11.2.1 检视：标记结构224

11.2.2 网络／时间线：页面是如何加载的230

11.2.3 控制台：同javascript交互232

11.2.4 页面的深入分析236

11.3 得到页面：如何通过互联网发出请求237

11.4 使用beautiful soup读取网页238

11.5 使用lxml读取网页241

11.6 小结249

第12章 高级网页抓取：屏幕抓取器与爬虫251

12.1 基于浏览器的解析251

12.1.1 使用selenium进行屏幕读取252

12.1.2 使用ghost.py进行屏幕读取260

12.2 爬取网页266

12.2.1 使用scrapy创建一个爬虫266

12.2.2 使用scrapy爬取整个网站273

12.3 网络：互联网的工作原理，以及为什么它会让脚本崩溃281

12.4 变化的互联网（或脚本为什么崩溃）283

12.5 几句忠告284

12.6 小结284

第13章 应用编程接口286

13.1 api特性287

13.1.1 rest api与流式api287

13.1.2 频率限制287

13.1.3 分级数据卷288

13.1.4 api key和token289

13.2 一次简单的twitter rest api数据拉取290

13.3 使用twitter rest api进行高级数据收集292

13.4 使用twitter流式api进行高级数据收集295

13.5 小结297

第14章 自动化和规模化298

14.1 为什么要自动化298

14.2 自动化步骤299

14.3 什么会出错301

14.4 在哪里自动化302

14.5 自动化的特殊工具303

14.5.1 使用本地文件、参数及配置文件303

14.5.2 在数据处理中使用云308

14.5.3 使用并行处理310

14.5.4 使用分布式处理312

14.6 简单的自动化313

14.6.1 cronjobs314

14.6.2 web接口316

14.6.3 jupyter notebook316

14.7 大规模自动化317

14.7.1 celery：基于队列的自动化317

14.7.2 ansible：操作自动化318

14.8 监控自动化程序319

14.8.1 python日志320

14.8.2 添加自动化信息322

14.8.3 上传和其他报告326

14.8.4 日志和监控服务327

14.9 没有万无一失的系统328

14.10 小结328

第15章 结论330

15.1 数据处理者的职责330

15.2 数据处理之上331

15.2.1 成为一名更优秀的数据分析师331

15.2.2 成为一名更优秀的开发者331

15.2.3 成为一名更优秀的视觉化讲故事者332

15.2.4 成为一名更优秀的系统架构师332

15.3 下一步做什么332

附录a 编程语言对比334

附录b 初学者的python学习资源336

附录c 学习命令行338

附录d 高级python设置349

附录e python陷阱361

附录f ipython指南370

附录g 使用亚马逊网络服务374

关于作者378

关于封面378