虫术 Python绝技2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

虫术 Python绝技PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 爬虫初步1

1.1 爬虫与大数据1

1.1.1 大数据架构1

1.1.2 爬虫的作用与地位3

1.1.3 Python与爬虫5

1.1.4 Python的网络爬虫框架6

1.1.5 虫术技术路线图9

1.2 实例：简单的爬虫10

1.3 内容分析进阶13

1.3.1 选择器15

1.3.2 深入BeautifulSoup16

1.3.3 元素的搜寻18

1.3.4 乱码与中文编码22

1.4 新闻供稿的爬取实例31

1.5 小结39

第2章 Scrapy基础知识40

2.1 Scrapy架构41

2.2 Scrapy快速入手43

2.3 数据模型Item47

2.4 蜘蛛——Spiders51

2.5 管道——Item Pipeline54

2.6 Scrapy的运行与配置60

2.7 新闻供稿爬虫的Scrapy实现63

2.8 小结65

第3章 Scrapy的工程管理66

3.1 Scrapyd67

3.2 scrapyd-client及部署77

3.3 搭建爬虫服务器81

第4章 中阶虫术87

4.1 蜘蛛的演化88

4.1.1 蜘蛛的本质——深入Spider88

4.1.2 通用蜘蛛93

4.1.3 蜘蛛中间件117

4.2 爬虫系统的测试与调试128

4.2.1 开发期调试128

4.2.2 蜘蛛的测试131

4.2.3 蜘蛛的运行期调试133

4.2.4 调试内存溢出139

4.3 处理HTTP请求144

4.3.1 HTTP请求145

4.3.2 Scrapy的Request对象156

4.3.3 表单处理162

4.3.4 下载器中间件164

4.4 处理HTTP响应177

4.4.1 HTTP响应178

4.4.2 Scrapy的响应对象182

4.4.3 深入选择器184

4.4.4 非结构化数据的提取196

4.4.5 黑夜中的眼睛217

4.5 处理JavaScript229

4.5.1 示例：电商产品爬虫230

4.5.2 Selenium和PhantomJS235

4.5.3 Scrapy与Splash259

4.6 数据存储与后处理292

4.6.1 图片的下载与存储293

4.6.2 示例：产品图片采集298

4.6.3 导出到数据文件299

4.6.4 导出到数据库302

4.6.5 示例：基于阿里云的存储后端308

第5章 高阶虫术324

5.1 增量式爬网325

5.1.1 推演路由326

5.1.2 时机的重要性328

5.1.3 去重处理329

5.1.4 布隆过滤器331

5.1.5 基于Redis的布隆过滤器336

5.2 突破封印340

5.2.1 封禁浅析343

5.2.2 客户端仿真346

5.2.3 化身万千——蜘蛛世界的易容术356

5.2.4 反跟踪377

5.2.5 绕开蜜罐380

5.3 虫海385

5.3.1 分布式爬虫架构385

5.3.2 认识scrapy-redis386

5.3.3 示例：分布式电商爬虫390

5.4 可视化爬虫393

5.4.1 示例：某点评网爬虫397

5.4.2 解读Portia爬虫代码402

5.4.3 数据项加载器——Item Loaders410

5.4.4 最后的工作413