电子书
内容简介
本书共5章，介绍了爬虫的基本结构及工作流程、抓包工具、模拟网络请求、网页解析、去重策略、常见反爬措施，以及大型商业爬虫框架Scrapy的应用，最后介绍了数据分析及可视化的相关基础知识。
章节目录
- 第1章静态网页爬虫
- 1.1 爬虫的基本概念和工作原理
- 1.1.1 什么是网络爬虫
- 1.1.2 爬虫的结构与工作流程
- 1.2 爬虫抓包分析
- 1.2.1 使用Chrome 浏览器进行抓包分析
- 1.2.2 使用Fiddler 进行抓包分析
- 1.3 Requests 库的基本使用方法
- 1.3.1 安装Requests 库
- 1.3.2 通过Requests 发送GET 请求
- 1.3.3 在GET 请求中添加参数
- 1.3.4 发送POST 请求
- 1.3.5 获取请求的状态码
- 1.3.6 指定请求时使用的headers 及动态更新headers
- 1.3.7 指定Cookies 和动态更新Cookies
- 1.3.8 使用session 对象保持会话状态
- 1.4 网页解析利器XPath、CSS-Selector 和正则表达式语法
- 1.4.1 XPath 的基本语法及使用
- 1.4.2 常见相对路径引用
- 1.4.3 XPath 进阶应用
- 1.4.4 CSS-Selector 的基本语法及使用
- 1.4.5 正则表达式的基本语法及使用
- 1.5 常见爬虫爬取策略
- 1.5.1 宽度优先搜索策略
- 1.5.2 深度优先搜索策略
- 1.6 常见网页URL 和内容去重策略
- 1.6.1 去重策略的使用场景
- 1.6.2 常见爬虫去重策略
- 1.6.3 BloomFilter 算法
- 1.6.4 内容去重策略的实现
- 1.7 实战：编写一个基于静态网页的爬虫
- 第2章常见反爬措施及解决方案
- 2.1 常见反爬手段——身份验证
- 2.1.1 使用登录的Cookies 获取数据
- 2.1.2 模拟登录请求
- 2.1.3 使用Selenium 模拟登录
- 2.2 常见反爬手段——验证码
- 2.2.1 验证码反爬原理
- 2.2.2 常见验证码类型
- 2.2.3 常见验证码处理方式
- 2.3 常见反爬手段——速度、数量限制
- 2.3.1 服务器对速度、数量限制反爬的原理和手段
- 2.3.2 针对反爬限速、频次限制的突破手段
- 2.4 自己动手搭建IP 代理池
- 2.4.1 创建IP 代理池的基本要求
- 2.4.2 IP 代理池基本架构
- 2.4.3 相关组件的安装
- 2.4.4 同步I/O 和异步I/O 的概念和区别
- 2.4.5 在Python 中如何实现异步I/O
- 2.5 常见反爬手段——异步动态请求
- 2.6 常见反爬手段——JS 加密请求参数
- 第3章自己动手编写一个简单的爬虫框架
- 3.1 简单爬虫框架的结构
- 3.2 编写URL 管理器
- 3.3 编写资源下载器
- 3.4 编写HTML 解析器
- 3.5 编写资源存储器
- 3.6 编写爬虫调度器
- 第4章Scrapy框架应用
- 4.1 Scrapy 的相关概念与原理
- 4.2 安装Scrapy 框架
- 4.2.1 在Windows 中安装Scrapy
- 4.2.2 在Linux 中安装Scrapy
- 4.2.3 在MacOS 中安装Scrapy
- 4.3 创建第一个Scrapy 项目
- 4.3.1 创建Scrapy 项目
- 4.3.2 Scrapy 项目的结构
- 4.3.3 定义爬虫文件
- 4.4 在PyCharm 中运行和调试Scrapy 项目
- 4.4.1 在PyCharm 中运行Scrapy 项目
- 4.4.2 在PyCharm 中调试Scrapy 项目
- 4.5 使用Scrapy 进行请求间数据传递
- 4.6 Scrapy 命令行用法详解
- 4.7 常用Scrapy 组件的用法
- 4.7.1 定义数据Item
- 4.7.2 利用Item Pipeline 将数据持久化
- 4.7.3 编写Item Pipeline
- 4.7.4 中间件的用法
- 4.8 Scrapy 中对同一项目不同的Spider 启用不同的配置
- 4.9 Scrapy 分布式爬虫的运行原理
- 4.9.1 实现多机分布式爬取的关键
- 4.9.2 源码解读之connection.py
- 4.9.3 源码解读之dupefilter.py
- 4.9.4 源码解读之pipelines.py
- 4.9.5 源码解读之queue.py
- 4.9.6 源码解读之scheduler.py
- 4.9.7 源码解读之spider.py
- 4.10 利用Scrapy+Redis 进行分布式爬虫实践
- 4.10.1 运行环境准备
- 4.10.2 修改Scrapy 项目配置及相关源码
- 4.10.3 部署到不同的从机中
- 4.10.4 其他可选配置参数
- 第5章爬虫数据分析及可视化
- 5.1 安装Jupyter Notebook 和Highcharts 库
- 5.1.1 Jupyter Notebook
- 5.1.2 使用Jupyter Notebook 的原因
- 5.1.3 Jupyter Notebook 的安装和配置
- 5.1.4 安装过程中可能遇到的错误
- 5.1.5 Jupyter Notebook 的常用设置
- 5.1.6 Highcharts 库的安装和配置
- 5.2 熟悉Jupyter Notebook 的基本用法
- 5.2.1 创建一个新的Notebook 文件
- 5.2.2 在Jupyter Notebook 中运行代码
- 5.2.3 在Jupyter Notebook 中编写Markdown 格式文档
- 5.3 熟悉Highcharts 库的基本用法
- 5.3.1 Highcharts 的基本组成
- 5.3.2 Python charts 库的基本使用
- 5.3.3 charts 的option 属性设置
- 5.4 利用Jupyter Notebook 和Highcharts 实现数据分析和展示
- 5.4.1 数据分析的流程
- 5.4.2 数据分析实践
- 5.5 利用词云实现可视化效果
- 5.5.1 jieba 分词器
- 5.5.2 jieba 分词器的特点及安装方法
- 5.5.3 wordcloud 词云组件
- 5.5.4 利用蜗牛笔记数据生成词云
- 参考文献
展开全部
Python爬虫开发实战教程（微课版）是2020年由人民邮电出版社出版,作者蜗牛学院 卿淳俊 邓强。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Python爬虫开发实战教程（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
