本书注重培养读者通过计算思维的方式解决实际问题的能力，基于Python语言对计算机程序设计的相关知识进行了系统而全面的介绍，精心提供了大量实用且有趣的程序实例，非常适合新手入门...
电子书
内容简介
本书主要介绍如何使用Python语言进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍Python网络爬虫开发的多个方面，涉及HTTP、HTML、正则表达式、JavaScript、自然语言处理、数据处理与科学计算等不同领域的内容。全书共12章，包括基础篇、进阶篇、提高篇和实战篇4个部分。基础篇包括第1、2、3章，分别为Python基础及网络爬虫、静态网页抓取、数据存储。进阶篇包括第4、5、6章，分别为JavaScript与动态内容、模拟登录与验证码、爬虫数据的分析与处理。提高篇包括第7、8、9章，分别为爬虫的灵活性和多样性、Selenium模拟浏览器与网站测试、爬虫框架Scrapy与反爬虫。实战篇提供了3个实战项目供读者学习参考。本书内容覆盖网络数据抓取与爬虫编程中的主要知识和前沿技术。同时，本书在重视理论基础的前提下，从实用性和丰富度出发，结合实例演示爬虫程序编写的核心流程，将理论与实践结合，力求提高读者的网络爬虫实操技能。 本书可作为高等院校数据科学、统计学、计算机科学、软件工程等相关专业课程的教材，也可作为Python语言初学者、网络爬虫技术爱好者的参考书。
章节目录
- 封面
- 扉页
- 版权信息
- 内容提要
- 前言
- 基础篇
- 第1章 Python基础及网络爬虫
- 1.1 了解Python语言
- 1.1.1 Python是什么
- 1.1.2 Python的应用现状
- 1.2 配置安装Python开发环境
- 1.2.1 在Windows上安装
- 1.2.2 在Ubuntu和macOS上安装
- 1.2.3 IDE的使用：以PyCharm为例
- 1.2.4 Jupyter Notebook简介
- 1.3 Python基础知识
- 1.3.1 “Hello,World!”与数据类型
- 1.3.2 逻辑语句
- 1.3.3 Python中的函数与类
- 1.3.4 更深入了解Python
- 1.4 互联网、HTTP与HTML
- 1.4.1 互联网与HTTP
- 1.4.2 HTML
- 1.5 Hello Spider
- 1.5.1 编写第一个爬虫程序
- 1.5.2 对爬虫的思考
- 1.6 分析网站
- 1.6.1 robots.txt与Sitemap简介
- 1.6.2 网站技术分析
- 1.6.3 网站所有者信息分析
- 1.6.4 使用开发者工具检查目标网页
- 章节实训：Python环境的配置与爬虫的运行
- 思考与练习
- 第2章 静态网页抓取
- 2.1 从抓取开始
- 2.2 正则表达式
- 2.2.1 什么是正则表达式
- 2.2.2 正则表达式的简单使用
- 2.3 BeautifulSoup爬虫
- 2.3.1 安装BeautifulSoup
- 2.3.2 BeautifulSoup的基本用法
- 2.4 XPath与lxml
- 2.4.1 XPath
- 2.4.2 lxml与XPath的使用
- 2.5 遍历页面
- 2.5.1 抓取下一个页面
- 2.5.2 完成爬虫
- 2.6 使用API
- 2.6.1 API简介
- 2.6.2 API使用示例
- 章节实训：哔哩哔哩直播间信息抓取练习
- 思考与练习
- 第3章 数据存储
- 3.1 Python中的文件
- 3.1.1 Python中的文件读写
- 3.1.2 对象序列化
- 3.2 Python中的字符串
- 3.3 Python中的图片
- 3.3.1 PIL与Pillow模块
- 3.3.2 Python与OpenCV简介
- 3.4 CSV文件
- 3.4.1 CSV简介
- 3.4.2 CSV的读写
- 3.5 数据库的使用
- 3.5.1 MySQL的使用
- 3.5.2 SQLite 3的使用
- 3.5.3 SQLAlchemy的使用
- 3.5.4 Redis的使用
- 3.5.5 MongoDB的使用
- 3.6 其他类型的文档
- 章节实训：使用Python 3读写SQLite 3数据库
- 思考与练习
- 进阶篇
- 第4章 JavaScript与动态内容
- 4.1 JavaScript与AJAX技术
- 4.1.1 JavaScript语言
- 4.1.2 AJAX
- 4.2 抓取AJAX数据
- 4.2.1 分析数据
- 4.2.2 数据提取
- 4.3 抓取动态内容
- 4.3.1 动态渲染页面
- 4.3.2 使用Selenium
- 4.3.3 PyV8与Splash
- 章节实训：抓取人民邮电出版社热销图书信息
- 思考与练习
- 第5章 模拟登录与验证码
- 5.1 表单
- 5.1.1 表单与POST
- 5.1.2 POST发送表单数据
- 5.2 Cookie
- 5.2.1 Cookie简介
- 5.2.2 在Python中Cookie的使用
- 5.3 模拟登录网站
- 5.3.1 分析网站
- 5.3.2 Cookie方法的模拟登录
- 5.4 验证码
- 5.4.1 图片验证码
- 5.4.2 滑动验证
- 章节实训：通过Selenium模拟登录Gitee并保存Cookie
- 思考与练习
- 第6章 爬虫数据的分析与处理
- 6.1 Python与文本分析
- 6.1.1 文本分析简介
- 6.1.2 jieba与SnowNLP
- 6.1.3 NLTK
- 6.1.4 文本分类与聚类
- 6.2 数据处理与科学计算
- 6.2.1 从MATLAB到Python
- 6.2.2 NumPy
- 6.2.3 Pandas
- 6.2.4 Matplotlib
- 6.2.5 Scipy与SymPy
- 章节实训：美国新冠疫情每日新增人数的可视化
- 思考与练习
- 提高篇
- 第7章 爬虫的灵活性和多样性
- 7.1 爬虫的灵活性——以微信数据抓取为例
- 7.1.1 用Selenium抓取网页版微信数据
- 7.1.2 基于Python的微信API工具
- 7.2 爬虫的多样性
- 7.2.1 在BeautifulSoup和XPath之外
- 7.2.2 在线爬虫应用平台
- 7.2.3 使用urllib
- 7.3 爬虫的部署和管理
- 7.3.1 使用服务器部署爬虫
- 7.3.2 本地爬虫程序的编写
- 7.3.3 爬虫的部署
- 7.3.4 实时查看运行结果
- 7.3.5 使用框架管理爬虫
- 章节实训：基于PyQuery抓取菜鸟教程
- 思考与练习
- 第8章 Selenium模拟浏览器与网站测试
- 8.1 测试
- 8.1.1 什么是测试
- 8.1.2 什么是TDD
- 8.2 Python的单元测试
- 8.2.1 使用unittest
- 8.2.2 其他方法
- 8.3 使用Python网络爬虫测试网站
- 8.4 使用Selenium测试
- 8.4.1 使用Selenium测试常用的网站交互
- 8.4.2 结合Selenium进行单元测试
- 章节实训：使用Selenium抓取百度搜索引擎中关于“爬虫”的结果
- 思考与练习
- 第9章 爬虫框架Scrapy与反爬虫
- 9.1 爬虫框架
- 9.1.1 Scrapy简介
- 9.1.2 安装与学习Scrapy
- 9.1.3 Scrapy爬虫编写
- 9.1.4 其他爬虫框架介绍
- 9.2 网站反爬虫
- 9.2.1 反爬虫策略简介
- 9.2.2 伪装headers
- 9.2.3 代理IP的使用
- 9.2.4 控制访问频率
- 章节实训：使用“反反爬虫”策略抓取某日报网头版的标题内容
- 思考与练习
- 实战篇
- 第10章 实战：保存感兴趣的图片
- 10.1 豆瓣网分析与爬虫设计
- 10.1.1 从需求出发
- 10.1.2 处理登录问题
- 10.2 编写爬虫程序
- 10.2.1 爬虫脚本
- 10.2.2 程序分析
- 10.2.3 运行并查看结果
- 第11章 实战：抓取二手房数据并绘制热力图
- 11.1 数据抓取
- 11.1.1 网页分析
- 11.1.2 代码编写
- 11.1.3 运行并查看结果
- 11.2 绘制热力图
- 第12章 实战：北京大兴国际机场航班出发时间数据抓取
- 12.1 程序设计
- 12.1.1 网页分析
- 12.1.2 将数据保存到数据库
- 12.2 爬虫编写
- 12.2.1 前置准备
- 12.2.2 代码编写
- 12.2.3 运行并查看结果
- 参考文献
展开全部
Python网络爬虫：从入门到精通（附微课）是2023年由人民邮电出版社出版,作者吕云翔。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Python网络爬虫：从入门到精通（附微课）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书注重培养读者通过计算思维的方式解决实际问题的能力，基于Python语言对计算机程序设计的相关知识进行了系统而全面的介绍，精心提供了大量实用且有趣的程序实例，非常适合新手入门...
电子书
本书循序渐进、深入讲解了Python语言的核心开发技术，并通过具体实例的实现过程演练了各个知识点的具体使用流程。分别讲解了选择IDE开发工具，列表、元组和字典，核心语法实战演练...
电子书
本书以Python3为基础，循序渐进地讲解了Python从入门到进阶的知识。全书共15章。首先从Python的起源及功能特点开始讲述，介绍Python3的安装、配置，并详细讲解...
电子书
本书以主流的Scrapy爬虫框架为例，运用了大量案例和实践，介绍了Python网络爬虫的组成、爬虫框架的使用以及分布式爬虫等内容。
电子书
本书循序渐进的讲解了PythonWeb开发的核心框架技术，并通过具体实例的实现过程演练了各个知识点的具体使用流程。分别讲解了TornadoWeb开发基础，实现动态，高效的Tor...
电子书
《Python项目实战从入门到精通》全面讲述了Python的基础知识和相关开发技术。全书分为三部分，共10章。第壹部分为基础篇（第1~5章），介绍Python的起源和发展、开发...