数据采集技术 Python网络爬虫项目化教程2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

数据采集技术 Python网络爬虫项目化教程PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

项目1 爬取学生信息1

1.1 爬虫程序开发环境2

1.1.1 爬虫程序简介2

1.1.2 Python开发环境搭建2

1.2 Flask Web网站3

1.2.1 Flask简介3

1.2.2 Urllib程序包访问Web网站6

1.3 GET方法访问网站7

1.3.1 客户端GET方式发送数据7

1.3.2 服务器获取GET发送的数据7

1.4 POST方法向网站发送数据9

1.4.1 客户端POST发送数据9

1.4.2 服务器获取POST的数据10

1.4.3 GET与POST的混合使用10

1.5 Web下载文件12

1.5.1 服务器程序12

1.5.2 客户端程序13

1.6 Web上传文件14

1.6.1 上传二进制数据15

1.6.2 服务器程序15

1.6.3 客户端程序16

1.7 Web学生管理程序17

1.7.1 定义通讯协议17

1.7.2 服务器程序17

1.7.3 客户端程序20

1.8 正则表达式24

1.8.1 正则表达式规则24

1.8.2 查找匹配字符串28

1.9 实践项目——爬取学生信息29

1.9.1 项目简介29

1.9.2 服务器程序30

1.9.3 客户端程序31

练习一35

项目2 爬取天气预报数据37

2.1 HTML文档结构与文档树38

2.1.1 HTML文档结构38

2.1.2 HTML文档树39

2.2 BeautifulSoup装载HTML文档39

2.2.1 BeautifulSoup的安装39

2.2.2 BeautifulSoup装载HTML文档39

2.3 BeautifulSoup查找文档元素43

2.3.1 查找HTML元素43

2.3.2 获取元素的属性值47

2.3.3 获取元素包含的文本值47

2.3.4 高级查找49

2.4 BeautifulSoup遍历文档元素51

2.4.1 获取元素结点的父结点51

2.4.2 获取元素结点的直接子元素结点52

2.4.3 获取元素结点的所有子孙元素结点53

2.4.4 获取元素结点的兄弟结点53

2.5 BeautifulSoup使用CSS语法查找元素54

2.5.1 使用CSS语法54

2.5.2 属性的语法规则56

2.5.3 Select查找子孙结点56

2.5.4 Select查找直接子结点57

2.5.5 Select查找兄弟结点57

2.6 实践项目——爬取天气预报数据58

2.6.1 项目简介58

2.6.2 HTML代码分析59

2.6.3 爬取天气预报数据62

2.6.4 爬取与存储天气预报数据63

练习二66

项目3 爬取网站图像文件69

3.1 网站树的爬取路径70

3.1.1 Web服务器网站70

3.1.2 递归程序爬取数据72

3.1.3 深度优先爬取数据73

3.1.4 广度优先爬取数据75

3.2 网站图的爬取路径76

3.2.1 复杂的Web网站76

3.2.2 改进深度优先客户端程序77

3.2.3 改进广度优先客户端程序80

3.3 Python实现多线程81

3.3.1 Python的前后台线程82

3.3.2 线程的等待84

3.3.3 多线程与资源85

3.4 爬取网站复杂数据88

3.4.1 Web服务器网站88

3.4.2 爬取网站的复杂数据89

3.4.3 爬取程序的改进91

3.5 实践项目——爬取网站的图像文件94

3.5.1 项目简介94

3.5.2 单线程爬取图像的程序94

3.5.3 多线程爬取图像的程序96

练习三98

项目4 爬取网站图书数据99

4.1 Scrapy框架爬虫简介100

4.1.1 安装Scrapy框架100

4.1.2 建立Scrapy项目100

4.1.3 入口函数与入口地址103

4.1.4 Python的yield语句103

4.2 Scrapy中查找HTML元素104

4.2.1 Scrapy的Xpath简介104

4.2.2 Xpath查找HTML元素106

4.3 Scrapy爬取与存储数据117

4.3.1 建立Web网站117

4.3.2 编写数据项目类118

4.3.3 编写爬虫程序MySpider119

4.3.4 编写数据管道处理类120

4.3.5 设置Scrapy的配置文件121

4.4 Scrapy爬取网站数据121

4.4.1 建立Web网站121

4.4.2 编写Scrapy爬虫程序123

4.5 实践项目——爬取当当网站图书数据125

4.5.1 网站图书数据分析125

4.5.2 网站图书数据提取128

4.5.3 网站图书数据爬取131

练习四135

结语138

参考文献139