《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、WebAPI和异步数据抓取技术、Selenium和ChromeDriver的用法，以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例，以巩固前面所学的知识。《大数据采集与爬虫》适合作为高等职
电子书
内容简介
本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等不同领域的内容。全书共分为15章，包括了Python基础知识、网站分析、网页解析、Python文件读写、Python与数据库、AJAX技术、模拟登录、文本与数据分析、网站测试、Scrapy爬虫框架、爬虫性能等多个主题。内容覆盖网络抓取与爬虫编程中的主要知识和技术，在重视理论基础的前提下，从实用性和丰富度出发，结合实例演示了爬虫编写的核心流程。
本书适合Python语言初学者、网络爬虫技术爱好者、数据分析从业人士以及高等院校计算机科学、软件工程等相关专业的师生阅读。
章节目录
- 第1 章Python 与网络爬虫
- 1.1 Python 简介
- 1.1.1 什么是Python
- 1.1.2 Python 的应用现状
- 1.2 Python 的安装与开发环境配置
- 1.2.1 在Windows 操作系统上安装
- 1.2.2 在Ubuntu 和macOS 操作系统上安装
- 1.2.3 PyCharm 的使用
- 1.2.4 Jupyter Notebook
- 1.3 Python 基本语法
- 1.3.1 HelloWorld 与数据类型
- 1.3.2 逻辑语句
- 1.3.3 Python 中的函数与类
- 1.3.4 Python 从0 到1
- 1.4 互联网与HTTP、HTML
- 1.4.1 互联网与HTTP
- 1.4.2 HTML
- 1.5 Hello, Spider!
- 1.5.1 第一个爬虫程序
- 1.5.2 思考我们的爬虫
- 1.6 调研网站
- 1.6.1 网站的robots.txt 与Sitemap
- 1.6.2 查看网站所用技术
- 1.6.3 查看网站所有者信息
- 1.6.4 使用开发者工具检查网页
- 1.7 本章小结
- 第2 章数据采集
- 2.1 从抓取开始
- 2.2 正则表达式
- 2.2.1 初见正则表达式
- 2.2.2 正则表达式的简单使用
- 2.3 BeautifulSoup
- 2.3.1 BeautifulSoup 的安装
- 2.3.2 BeautifulSoup 的基本使用方法
- 2.4 XPath 与lxml
- 2.4.1 XPath
- 2.4.2 lxml 与XPath 的使用方法
- 2.5 遍历页面
- 2.5.1 抓取下一个页面
- 2.5.2 完成爬虫
- 2.6 API
- 2.6.1 API 简介
- 2.6.2 API 使用示例
- 2.7 本章小结
- 第3 章文件与数据存储
- 3.1 Python 中的文件
- 3.1.1 基本的文件读写
- 3.1.2 序列化
- 3.2 字符串
- 3.3 Python 与图片
- 3.3.1 PIL 与Pillow
- 3.3.2 OpenCV 简介
- 3.4 CSV 文件
- 3.4.1 CSV 简介
- 3.4.2 CSV 的读写
- 3.5 使用数据库
- 3.5.1 使用MySQL
- 3.5.2 使用SQLite3
- 3.5.3 使用SQLAlchemy
- 3.5.4 使用Redis
- 3.6 其他类型的文档
- 3.7 本章小结
- 第4 章JavaScript 与动态内容
- 4.1 JavaScript 与Ajax 技术
- 4.1.1 JavaScript 简介
- 4.1.2 Ajax 技术
- 4.2 抓取Ajax 数据
- 4.2.1 分析数据
- 4.2.2 提取数据
- 4.3 抓取动态内容
- 4.3.1 动态渲染页面
- 4.3.2 使用Selenium
- 4.3.3 PyV8 与Splash
- 4.4 本章小结
- 第5 章表单与模拟登录
- 5.1 表单
- 5.1.1 表单与POST
- 5.1.2 POST 发送表单数据
- 5.2 Cookie
- 5.2.1 Cookie 简介
- 5.2.2 在Python 中使用Cookie
- 5.3 模拟登录网站
- 5.3.1 分析网站
- 5.3.2 通过Cookie 模拟登录
- 5.4 验证码
- 5.4.1 图片验证码
- 5.4.2 滑动验证
- 5.5 本章小结
- 第6 章数据的进一步处理
- 6.1 Python 与文本分析
- 6.1.1 文本分析简介
- 6.1.2 jieba 与SnowNLP
- 6.1.3 NLTK
- 6.1.4 文本分类与聚类
- 6.2 数据处理与科学计算
- 6.2.1 从MATLAB 到Python
- 6.2.2 NumPy
- 6.2.3 pandas
- 6.2.4 Matplotlib
- 6.2.5 SciPy 与SymPy
- 6.3 本章小结
- 第7 章更灵活的爬虫
- 7.1 更灵活的爬虫——以微信数据抓取为例
- 7.1.1 用Selenium 抓取Web 微信信息
- 7.1.2 基于Python 的微信API 工具
- 7.2 多样的爬虫
- 7.2.1 在BeautifulSoup 和XPath 之外
- 7.2.2 在线爬虫应用平台
- 7.2.3 使用urllib
- 7.3 爬虫的部署和管理
- 7.3.1 配置远程主机
- 7.3.2 编写本地爬虫
- 7.3.3 部署爬虫
- 7.3.4 查看运行结果
- 7.3.5 使用爬虫管理框架
- 7.4 本章小结
- 第8 章模拟浏览器与网站测试
- 8.1 关于测试
- 8.1.1 测试简介
- 8.1.2 TDD
- 8.2 Python 的单元测试
- 8.2.1 使用unittest
- 8.2.2 其他方法
- 8.3 使用Python 爬虫测试网站
- 8.4 使用Selenium 测试
- 8.4.1 Selenium 测试常用的网站交互
- 8.4.2 结合Selenium 进行单元测试
- 8.5 本章小结
- 第9 章更强大的爬虫
- 9.1 爬虫框架
- 9.1.1 Scrapy 简介
- 9.1.2 Scrapy 安装与入门
- 9.1.3 编写Scrapy 爬虫
- 9.1.4 其他爬虫框架
- 9.2 网站反爬虫
- 9.2.1 反爬虫的策略
- 9.2.2 伪装headers
- 9.2.3 使用代理IP 地址
- 9.2.4 修改访问频率
- 9.3 多进程与分布式
- 9.3.1 多进程编程与爬虫抓取
- 9.3.2 分布式爬虫
- 9.4 本章小结
- 第10 章实战：购物网站评论抓取
- 10.1 查看网络数据
- 10.2 编写爬虫
- 10.3 本章小结
- 第11 章实战：爬虫数据的深入分析与数据处理
- 11.1 明确目标与数据准备
- 11.1.1 明确目标
- 11.1.2 数据准备
- 11.1.3 工具选择
- 11.2 初步分析
- 11.2.1 用户角度分析
- 11.2.2 电影角度分析
- 11.3 电影推荐
- 11.4 本章小结
- 第12 章实战：抓取商品价格信息
- 12.1 抓取商品历史价格
- 12.1.1 网页分析
- 12.1.2 编写爬虫
- 12.1.3 运行结果
- 12.2 本章小结
- 第13 章实战：模拟登录爬虫
- 13.1 模拟登录POJ 提交代码并抓取评测结果
- 13.1.1 网页请求分类
- 13.1.2 网页分析
- 13.1.3 编写爬虫
- 13.1.4 运行结果
- 13.2 本章小结
- 第14 章实战：音乐评论内容的抓取与分析
- 14.1 jieba 库
- 14.2 wordcloud 库
- 14.3 抓取音乐的评论内容
- 14.3.1 网页分析
- 14.3.2 编写爬虫
- 14.3.3 运行结果
- 14.4 本章小结
- 第15 章实战：异步爬虫程序实践
- 15.1 项目分析
- 15.2 数据存储
- 15.3 页面下载器
- 15.3.1 网络请求
- 15.3.2 页面解码
- 15.4 生产者—消费者模型
- 15.4.1 调度器
- 15.4.2 消费者
- 15.4.3 生产者
- 15.5 客户端界面设计
- 15.5.1 首页
- 15.5.2 搜索结果页
- 15.5.3 新闻详情页
- 15.5.4 主窗口和运行效果
- 15.6 本章小结
展开全部
Python网络爬虫与数据采集是2021年由人民邮电出版社出版,作者主编。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Python网络爬虫与数据采集》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书以主流的Scrapy爬虫框架为例，运用了大量案例和实践，介绍了Python网络爬虫的组成、爬虫框架的使用以及分布式爬虫等内容。
电子书
本书以Windows为主要平台，系统、全面地讲解Python网络爬虫的相关知识。本书的主要内容包括认识网络爬虫、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、提升网络爬虫速度、存储数据、文本混淆与验证码识别、初识网络爬虫框架Scrapy、Scrapy核心组件与CrawlSpider类、分布式网络爬虫Scrapy-Redis。
电子书
本书知识框架可分为三部分。第一部分（第1章）阐述Python开发环境的搭建与使用；第二部分（第2章～第7章）阐述Python程序设计的基础知识，包括内置类型、运算符与内置函数，程序控制结构，列表与元组，字典与集合，字符串，函数；第三部分（第8章～第10章）阐述不同场景下Python数据采集的方法与应用，包括基于文件和设备的数据采集、基于SQLite数据库的数据采集、基于网页的数据采集。本书通过大量
电子书
本书以项目为导向，以任务为驱动，较为全面地介绍了不同场景、不同平台使用Python爬取网络数据的方法，涉及静态网页、动态网页、登录后才能访问的网页、PC客户端、App客户端等。全书共7个项目，项目1介绍爬虫与反爬虫的基本概念，以及Python爬虫环境的配置；项目2介绍爬取过程中涉及的网页基础知识；项目3介绍在静态网页中爬取数据的过程；项目4介绍在动态网页中爬取数据的过程；项目5介绍对登录后才能访问
电子书
本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术，以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。本书内容实用，可操作性强，语言精练、通俗易懂，可作为高等院校计算机
电子书
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。
电子书
适读人群 ：本书既适合需要储备反爬虫知识的前端工程师和后端工程师阅读，也适合需要储备绕过知识的爬虫工程师、爬虫爱好者以及Python程序员阅读。
【人气推荐】《Python 3 网络爬虫开发实战》作者、微软小冰工程师崔庆才作序，腾讯、马蜂窝工程师倾力推荐。
【干货满满】爬虫工程师不可错过的“”，内容包括但不限于Cookie 反爬虫、WebSocket 反爬虫、字体反爬虫、WebDriver反爬虫、App 反爬虫、验证码反爬虫。
【反爬虫原理 爬虫实战】从实战出发，印证国内互联网企业内部加密原理，侧重讲解反爬虫的原理以及绕过方法。
【21个反爬虫示例】结合练习平台 Steamboat，帮助读者随时复现书中的 21个爬虫示例，巩固所学知识。
