本书共5章，介绍了爬虫的基本结构及工作流程、抓包工具、模拟网络请求、网页解析、去重策略、常见反爬措施，以及大型商业爬虫框架Scrapy的应用，最后介绍了数据分析及可视化的相关基础知识。
电子书
内容简介
本书以项目为导向，以任务为驱动，较为全面地介绍了不同场景、不同平台使用Python爬取网络数据的方法，涉及静态网页、动态网页、登录后才能访问的网页、PC客户端、App客户端等。全书共7个项目，项目1介绍爬虫与反爬虫的基本概念，以及Python爬虫环境的配置；项目2介绍爬取过程中涉及的网页基础知识；项目3介绍在静态网页中爬取数据的过程；项目4介绍在动态网页中爬取数据的过程；项目5介绍对登录后才能访问的网页进行模拟登录的方法；项目6介绍爬取PC客户端和App客户端数据的方法；项目7介绍使用Scrapy爬虫框架爬取数据的过程。本书所有项目都包含实训与课后习题，通过练习和操作实战，读者可巩固所学的内容。 本书可以作为“1+X”证书制度试点工作中的大数据应用开发（Python）职业技能等级证书（中级）的参考书，也可以作为高校大数据技术类专业的教材和大数据技术爱好者的自学用书。
章节目录
- 封面
- 扉页
- 版权信息
- 内容提要
- 大数据技术精品系列教材专家委员会
- 序
- 前言
- 项目1 了解爬虫与Python爬虫环境
- 项目背景
- 学习目标
- 思维导图
- 任务1.1 认识爬虫
- 1.1.1 爬虫的概念
- 1.1.2 爬虫的分类
- 1.1.3 爬虫的合法性与robots协议
- 任务1.2 认识反爬虫
- 1.2.1 网站反爬虫的目的与手段
- 1.2.2 爬取策略制定
- 任务1.3 配置Python爬虫环境
- 1.3.1 配置PyCharm
- 1.3.2 Python爬虫相关库介绍与配置
- 1.3.3 配置MySQL
- 1.3.4 配置MongoDB
- 小结
- 实训
- 实训 Python爬虫环境配置
- 思考题
- 课后习题
- 项目2 爬虫基础知识准备
- 项目背景
- 学习目标
- 思维导图
- 任务2.1 了解网页基础
- 2.1.1 了解网页开发技术
- 2.1.2 了解网页的结构
- 2.1.3 了解网页的分类
- 2.1.4 了解网页的数据结构
- 任务2.2 认识HTTP
- 2.2.1 熟悉HTTP请求方法与过程
- 2.2.2 熟悉常见的HTTP状态码
- 2.2.3 熟悉HTTP头部信息
- 2.2.4 熟悉Cookie
- 小结
- 实训
- 实训1 创建一个简单的网页文件
- 实训2 访问网站并查看请求信息和响应信息
- 思考题
- 课后习题
- 项目3 简单静态网页爬取——获取某企业官网基本信息
- 项目背景
- 学习目标
- 思维导图
- 任务3.1 实现HTTP请求
- 3.1.1 使用Chrome开发者工具查看网页
- 3.1.2 使用urllib 3库实现HTTP请求
- 3.1.3 使用Requests库实现HTTP请求
- 任务3.2 解析网页
- 3.2.1 使用Xpath解析网页
- 3.2.2 使用Beautiful Soup库解析网页
- 3.2.3 使用正则表达式解析网页
- 任务3.3 存储数据
- 3.3.1 将数据存储为JSON文件
- 3.3.2 将数据存储到MySQL数据库
- 小结
- 实训
- 实训1 生成GET请求并获取指定网页内容
- 实训2 搜索目标节点并提取文本内容
- 实训3 在数据库中建立新表并导入数据
- 思考题
- 课后习题
- 项目4 爬取动态网页——获取图书基本信息
- 项目背景
- 学习目标
- 思维导图
- 任务4.1 使用逆向分析爬取动态网页
- 4.1.1 判别网页类型
- 4.1.2 获取动态网页信息
- 任务4.2 使用Selenium库爬取动态网页
- 4.2.1 下载浏览器驱动
- 4.2.2 打开浏览器并访问页面
- 4.2.3 元素选取
- 4.2.4 元素交互
- 4.2.5 页面操作
- 4.2.6 页面等待
- 任务4.3 存储数据至MongoDB数据库
- 4.3.1 MongoDB数据库和MySQL数据库的区别
- 4.3.2 将数据存储到MongoDB数据库
- 小结
- 实训
- 实训1 生成GET请求并获取指定网页内容
- 实训2 搜索目标节点并提取文本内容
- 思考题
- 课后习题
- 项目5 模拟登录——登录某企业官网
- 项目背景
- 学习目标
- 思维导图
- 任务5.1 使用表单登录方法实现模拟登录
- 5.1.1 查找提交入口
- 5.1.2 查找并获取需要提交的表单数据
- 5.1.3 使用POST请求方法登录
- 任务5.2 使用Cookie登录方法实现模拟登录
- 5.2.1 使用浏览器Cookie登录
- 5.2.2 基于表单登录的Cookie登录
- 小结
- 实训
- 实训1 使用表单登录方法模拟登录古诗文网
- 实训2 使用浏览器Cookie模拟登录古诗文网
- 实训3 基于表单登录后的Cookie模拟登录古诗文网
- 思考题
- 课后习题
- 项目6 终端协议分析——爬取某音乐PC客户端和App客户端数据
- 项目背景
- 学习目标
- 思维导图
- 任务6.1 分析PC客户端抓包
- 6.1.1 了解HTTP Analyzer工具
- 6.1.2 爬取酷我音乐PC客户端数据
- 任务6.2 分析App客户端抓包
- 6.2.1 了解Fiddler工具
- 6.2.2 分析酷我音乐App客户端
- 小结
- 实训
- 实训1 获取酷我音乐PC客户端的推荐歌曲信息
- 实训2 分析学习通App客户端
- 思考题
- 课后习题
- 项目7 使用Scrapy爬虫——爬取某企业官网新闻动态
- 项目背景
- 学习目标
- 思维导图
- 任务7.1 认识Scrapy
- 7.1.1 了解Scrapy爬虫框架
- 7.1.2 熟悉Scrapy常用命令
- 任务7.2 通过Scrapy爬取文本信息
- 7.2.1 创建Scrapy爬虫项目
- 7.2.2 修改items/pipelines脚本
- 7.2.3 编写spider脚本
- 7.2.4 修改settings脚本
- 任务7.3 定制中间件
- 7.3.1 定制下载器中间件
- 7.3.2 定制Spider中间件
- 小结
- 实训
- 实训1 爬取某企业官网的所有新闻动态
- 实训2 定制BdRaceNews爬虫项目的中间件
- 实训3 爬取猫眼电影网站的影片信息
- 实训4 配置Maoyan100爬虫项目的设置文件
- 思考题
- 课后习题
展开全部
Python网络爬虫技术（第2版）（微课版）是2023年由人民邮电出版社出版,作者张良均 主编。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Python网络爬虫技术（第2版）（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书主要介绍如何使用Python语言进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍Python网络爬虫开发的多个方面，涉及HTTP、HTML、正则表达式、JavaScript、自然语言处理、数据处理与科学计算等不同领域的内容。全书共12章，包括基础篇、进阶篇、提高篇和实战篇4个部分。基础篇包括第1、2、3章，分别为Python基础及网络爬虫、静态网页抓取、数据存储。进阶篇包括第
电子书
本书以主流的Scrapy爬虫框架为例，运用了大量案例和实践，介绍了Python网络爬虫的组成、爬虫框架的使用以及分布式爬虫等内容。
电子书
本书以Windows为主要平台，系统、全面地讲解Python网络爬虫的相关知识。本书的主要内容包括认识网络爬虫、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、提升网络爬虫速度、存储数据、文本混淆与验证码识别、初识网络爬虫框架Scrapy、Scrapy核心组件与CrawlSpider类、分布式网络爬虫Scrapy-Redis。
电子书
本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等不同领域的内容。全书共分为15章，包括了Python基础知识、网站分析、网页解析、Python文件读写、Python与数据库、AJAX技术、模拟登录、文本与数据分析、网站测试、S
电子书
本书以任务为导向，系统介绍Python编程基础及其相关知识的应用，讲解如何利用Python的知识解决部分实际问题。全书共9章，第1章介绍学习Python的准备工作，包括Python的由来、Python环境搭建、编辑器介绍与安装等。第2～8章主要介绍Python的基础知识、数据结构、程序流程控制语句、函数、面向对象编程、文件基础和常用的内置模块等内容。第9章介绍综合案例：学生测试程序设计。除第9章外
电子书
本书共分为6个项目，包括认识计算机网络及网络设备、构建办公局域网络、局域网冗余技术、网络间路由互联、网络安全配置与管理、广域网接入配置等内容。
电子书
本书围绕网络安全的定义、标准、模型，以及常见的网络安全威胁进行系统介绍和分析，从网络管理与安全防护入手，详细讲述和分析入侵检测、数据加密、身份验证、防火墙，以及无线网安全等多方面的理论与技术，同时结合现场工程应用，将网络安全管理技术与主流系统软硬件结合，强调对实践能力的培养。本书适合作为高职高专院校计算机网络技术、信息安全技术、计算机应用技术等专业的教材，也可作为广大网络管理人员及技术人员学习网络
