本书以主流的Scrapy爬虫框架为例，运用了大量案例和实践，介绍了Python网络爬虫的组成、爬虫框架的使用以及分布式爬虫等内容。
电子书
内容简介
本书以Windows为主要平台，系统、全面地讲解Python网络爬虫的相关知识。本书的主要内容包括认识网络爬虫、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、提升网络爬虫速度、存储数据、文本混淆与验证码识别、初识网络爬虫框架Scrapy、Scrapy核心组件与CrawlSpider类、分布式网络爬虫Scrapy-Redis。
章节目录
- 第1章认识网络爬虫
- 1.1 什么是网络爬虫
- 1.2 网络爬虫的应用场景
- 1.3 网络爬虫合法性探究
- 1.3.1 Robots 协议
- 1.3.2 防爬虫应对策略
- 1.4 网络爬虫的工作原理和流程
- 1.4.1 网络爬虫的工作原理
- 1.4.2 网络爬虫抓取网页的流程
- 1.5 网络爬虫实现技术探究
- 1.5.1 网络爬虫的实现技术
- 1.5.2 Python 实现网络爬虫的流程
- 1.6 本章小结
- 1.7 习题
- 第2章网页请求原理
- 2.1 浏览器加载网页的过程
- 2.2 HTTP 基础
- 2.2.1 URL 简介
- 2.2.2 HTTP 和HTTPS
- 2.2.3 HTTP 请求格式
- 2.2.4 HTTP 响应格式
- 2.3 网页基础
- 2.3.1 网页开发技术
- 2.3.2 网页的结构
- 2.3.3 网页的分类
- 2.3.4 网页数据的格式
- 2.4 HTTP 抓包工具——Fiddler
- 2.4.1 Fiddler 的工作原理
- 2.4.2 Fiddler 的下载与安装
- 2.4.3 Fiddler 界面详解
- 2.4.4 Fiddler 捕获HTTPS 页面的设置
- 2.4.5 Fiddler 的基本使用
- 2.5 本章小结
- 2.6 习题
- 第3章抓取静态网页数据
- 3.1 抓取静态网页的技术
- 3.2 发送基本请求
- 3.2.1 发送GET 请求
- 3.2.2 发送POST 请求
- 3.2.3 处理响应
- 3.3 处理复杂请求
- 3.3.1 定制请求头
- 3.3.2 验证Cookie
- 3.3.3 保持会话
- 3.3.4 SSL 证书验证
- 3.4 设置代理服务器
- 3.4.1 代理服务器简介
- 3.4.2 设置代理服务器
- 3.4.3 检测代理IP 的有效性
- 3.5 处理异常
- 3.6 实践项目：抓取黑马程序员论坛的数据
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 3.7 本章小结
- 3.8 习题
- 第4章解析网页数据
- 4.1 解析网页数据的技术
- 4.2 正则表达式与re 模块
- 4.2.1 正则表达式的语法
- 4.2.2 re 模块的使用
- 4.3 XPath 与lxml 库
- 4.3.1 XPath 简介
- 4.3.2 XPath 语法
- 4.3.3 XPath 开发工具
- 4.3.4 lxml 库简介
- 4.4 Beautiful Soup 库
- 4.4.1 Beautiful Soup 简介
- 4.4.2 创建BeautifulSoup 类的对象
- 4.4.3 通过查找方法选取节点
- 4.4.4 通过CSS 选择器选取节点
- 4.5 JSONPath 与jsonpath 模块
- 4.5.1 JSONPath 语法
- 4.5.2 jsonpath 模块的使用
- 4.6 实践项目：采集黑马程序员论坛的帖子
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 4.7 本章小结
- 4.8 习题
- 第5章抓取动态网页数据
- 5.1 抓取动态网页的技术
- 5.2 Selenium 和WebDriver 的安装与配置
- 5.3 Selenium 的基本使用
- 5.3.1 WebDriver 类的常用属性和方法
- 5.3.2 定位元素
- 5.3.3 鼠标操作
- 5.3.4 下拉列表框操作
- 5.3.5 弹出框处理
- 5.3.6 页面切换
- 5.3.7 页面等待
- 5.4 实践项目：采集集信达平台的短信服务日志信息
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 5.5 本章小结
- 5.6 习题
- 第6章提升网络爬虫速度
- 6.1 网络爬虫速度提升方案
- 6.2 多线程爬虫
- 6.2.1 多线程爬虫流程分析
- 6.2.2 多线程爬虫实现技术
- 6.2.3 多线程爬虫基本示例
- 6.2.4 多线程爬虫性能分析
- 6.3 协程爬虫
- 6.3.1 协程爬虫流程分析
- 6.3.2 协程爬虫实现技术
- 6.3.3 协程爬虫基本示例
- 6.3.4 协程爬虫性能分析
- 6.4 实践项目：采集黑马头条的评论列表
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 6.5 本章小结
- 6.6 习题
- 第7章存储数据
- 7.1 数据存储的方式
- 7.2 存储至MongoDB 数据库
- 7.2.1 下载与安装MongoDB
- 7.2.2 使用Python 操作MongoDB
- 7.3 存储至Redis 数据库
- 7.3.1 下载与安装Redis
- 7.3.2 使用Python 操作Redis
- 7.3.3 Redis 桌面管理工具
- 7.4 实践项目：采集小兔鲜儿网的商品信息
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 7.5 本章小结
- 7.6 习题
- 第8章验证码识别
- 8.1 验证码识别
- 8.1.1 字符验证码的识别
- 8.1.2 滑动拼图验证码的识别
- 8.1.3 点选验证码的识别
- 8.2 实践项目：登录黑马头条后台管理系统
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 8.3 本章小结
- 8.4 习题
- 第9章初识网络爬虫框架Scrapy
- 9.1 Scrapy 框架简介
- 9.2 Scrapy 框架架构
- 9.3 Scrapy 框架运作流程
- 9.4 Scrapy 框架安装
- 9.5 Scrapy 框架基本操作
- 9.5.1 新建Scrapy 项目
- 9.5.2 明确采集目标
- 9.5.3 制作爬虫
- 9.5.4 永久存储数据
- 9.6 实践项目：采集黑马程序员视频库的视频信息
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 9.7 本章小结
- 9.8 习题
- 第10章Scrapy 核心组件与CrawlSpider 类
- 10.1 Spiders 组件
- 10.2 Item Pipeline 组件
- 10.3 Downloader Middlewares 组件
- 10.3.1 内置下载中间件
- 10.3.2 自定义下载中间件
- 10.3.3 激活下载中间件
- 10.5 CrawlSpider 类
- 10.5.1 CrawlSpider 类简介
- 10.5.2 CrawlSpider 类的工作原理
- 10.5.3 通过Rule 类决定抓取规则
- 10.5.4 通过LinkExtractor 类提取链接
- 10.6 实践项目：采集畅购商城的华为手表信息
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 10.7 本章小结
- 10.8 习题
- 第11章分布式网络爬虫Scrapy-Redis
- 11.1 分布式网络爬虫简介
- 11.2 Scrapy-Redis 架构
- 11.3 Scrapy-Redis 运作流程
- 11.4 Scrapy-Redis 开发准备
- 11.4.1 安装Scrapy-Redis
- 11.4.2 修改配置文件
- 11.4.3 测试远程连接
- 11.5 Scrapy-Redis 的基本操作
- 11.5.1 新建Scrapy-Redis 项目
- 11.5.2 明确采集目标
- 11.5.3 制作爬虫
- 11.5.4 运行爬虫
- 11.5.5 使用管道存储数据
- 11.6 实践项目：使用RedisCrawlSpider 采集畅购商城的华为手表信息
- 【项目目标】
- 【项目分析】
- 【项目实现】
- 11.7 本章小结
- 11.8 习题
展开全部
Python网络爬虫基础教程是2022年由人民邮电出版社出版,作者黑马程序员 编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Python网络爬虫基础教程》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaSc...
电子书
本书主要介绍如何使用Python语言进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍Python网络爬虫开发的多个方面，涉及HTTP、HTML、正则表达式、J...
电子书
本书共5章，介绍了爬虫的基本结构及工作流程、抓包工具、模拟网络请求、网页解析、去重策略、常见反爬措施，以及大型商业爬虫框架Scrapy的应用，最后介绍了数据分析及可视化的相关基...
电子书
本书分为10章，内容主要包括Python概述、Python语法概述、Python基本数据类型、程序控制结构、函数与模块、组合数据类型、文件操作和数据格式化、面向对象程序设计、异...
电子书
本书注重基础、循序渐进，系统地讲述了Python程序设计开发的相关知识。全书共分8章，涵盖了Python开发环境及工具、编程基础、程序流程控制、函数与模块、面向对象编程、异常处...