内容简介
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法，以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例，以巩固前面所学的知识。 《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材，也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。
展开全文
- 封面
- 书名页
- 版权页
- 前言
- 目录
- 任务1 Python环境搭建
- 1.1 任务描述
- 1.2 Python概述
- 1.3 Python编程环境搭建
- 1.3.1 在Windows操作系统下安装Python
- 1.3.2 在Linux操作系统下安装Python
- 1.3.3 在Mac OS操作系统下安装Python
- 1.4 安装集成开发环境PyCharm
- 1.4.1 PyCharm概述
- 1.4.2 PyCharm的安装和运行
- 1.5 Python的数据类型
- 1.5.1 整型
- 1.5.2 浮点型
- 1.5.3 字符串类型
- 1.5.4 列表类型
- 1.5.5 集合类型
- 1.5.6 字典类型
- 1.5.7 元组类型
- 1.6 Python语句与函数
- 1.6.1 条件判断语句
- 1.6.2 循环语句
- 1.6.3 自定义函数
- 1.7 任务实现
- 1.8 小结
- 1.9 习题
- 任务2 实现简单数据采集
- 2.1 任务描述
- 2.2 网络爬虫基础知识
- 2.2.1 网络爬虫概述
- 2.2.2 使用网络爬虫的风险
- 2.2.3 Python爬虫的工作过程
- 2.3 网络基础知识
- 2.3.1 HTML
- 2.3.2 URI和URL
- 2.3.3 HTTP
- 2.3.4 Request和Response
- 2.4 requests库的安装及使用
- 2.4.1 requests库概述
- 2.4.2 requests库的安装
- 2.4.3 requests库的基本用法
- 2.5 lxml库和BeautifulSoup库的安装及使用
- 2.5.1 lxml库概述
- 2.5.2 BeautifulSoup库概述
- 2.5.3 lxml库和BeautifulSoup库的安装
- 2.5.4 lxml库和BeautifulSoup库的基本用法
- 2.6 任务实现
- 2.7 小结
- 2.8 习题
- 任务3 存储数据
- 3.1 任务描述
- 3.2 MySQL的安装及使用
- 3.2.1 MySQL概述
- 3.2.2 MySQL的安装
- 3.2.3 MySQL的操作
- 3.3 PyMySQL的使用
- 3.4 CSV和JSON格式
- 3.4.1 CSV格式概述
- 3.4.2 输出CSV文件头部
- 3.4.3 使用Python读取CSV文件数据
- 3.4.4 使用Python向CSV文件写入数据
- 3.4.5 JSON格式概述
- 3.4.6 使用Python读取JSON文件数据
- 3.4.7 使用Python向JSON文件写入数据
- 3.5 任务实现
- 3.6 小结
- 3.7 习题
- 任务4 使用Web API采集数据
- 4.1 任务描述
- 4.2 GitHub
- 4.2.1 GitHub概述
- 4.2.2 GitHub的基本用法
- 4.3 Web API
- 4.3.1 Web API概述
- 4.3.2 GitHub开放API的数据特点
- 4.3.3 GitHub的API请求数据
- 4.3.4 获取API的响应数据
- 4.3.5 处理API的响应数据
- 4.4 任务实现
- 4.5 小结
- 4.6 习题
- 任务5 使用AJAX采集数据
- 5.1 任务描述
- 5.2 AJAX
- 5.2.1 AJAX的起源
- 5.2.2 AJAX概述
- 5.2.3 AJAX的特点
- 5.2.4 静态数据
- 5.2.5 动态数据
- 5.2.6 分析AJAX采集的数据
- 5.2.7 提取AJAX采集的数据
- 5.3 任务实现
- 5.4 小结
- 5.5 习题
- 任务6 主流验证码解析
- 6.1 验证码概述
- 6.2 自定义图形验证码解析
- 6.2.1 任务描述
- 6.2.2 图形验证码概述
- 6.2.3 tesserocr库概述
- 6.2.4 tesserocr库的安装
- 6.2.5 自定义图形验证码的生成
- 6.2.6 使用tesserocr库解析自定义图形验证码
- 6.2.7 任务实现
- 6.3 滑动验证码解析
- 6.3.1 任务描述
- 6.3.2 滑动验证码概述
- 6.3.3 ChromeDriver概述
- 6.3.4 ChromeDriver的安装
- 6.3.5 Selenium概述
- 6.3.6 Selenium的安装
- 6.3.7 Selenium和ChromeDriver的基本用法
- 6.3.8 任务实现
- 6.4 点击式验证码解析
- 6.4.1 任务描述
- 6.4.2 点击式验证码概述
- 6.4.3 聚合数据平台接口概述
- 6.4.4 任务实现
- 6.5 小结
- 6.6 习题
- 任务7 模拟登录
- 7.1 使用Selenium和ChromeDriver实现模拟登录
- 7.1.1 任务描述
- 7.1.2 GET概述
- 7.1.3 GET的基本用法
- 7.1.4 POST概述
- 7.1.5 POST的基本用法
- 7.1.6 GET和POST的区别
- 7.1.7 任务实现
- 7.2 使用Cookie实现模拟登录
- 7.2.1 任务描述
- 7.2.2 Cookie概述
- 7.2.3 Session概述
- 7.2.4 Cookie和Session的区别
- 7.2.5 任务实现——使用Cookie模拟登录
- 7.2.6 任务实现——使用requests库实现用Cookie和Session模拟登录
- 7.3 小结
- 7.4 习题
- 任务8 使用Scrapy爬虫框架采集数据
- 8.1 任务描述
- 8.2 Scrapy
- 8.2.1 Scrapy概述
- 8.2.2 Scrapy的工作原理
- 8.3 Scrapy的安装
- 8.3.1 在Windows操作系统下安装Scrapy
- 8.3.2 在Linux操作系统下安装Scrapy
- 8.4 Scrapy各组件的用法
- 8.4.1 Selector类
- 8.4.2 Spider类
- 8.4.3 下载器中间件
- 8.4.4 条目管道
- 8.4.5 网络爬虫中间件
- 8.5 任务实现
- 8.6 小结
- 8.7 习题
- 任务9 综合案例
- 9.1 任务描述
- 9.2 页面分析
- 9.3 模拟登录
- 9.4 获取静态数据
- 9.5 获取动态数据
- 9.6 数据持久化保存
- 9.7 小结
- 封底
展开全部
版权信息
出版社：机械工业出版社
出版时间：2020
作者：主 编 李俊翰 付雯副主编 王正霞 胡心雷
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据采集与爬虫》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2020
作者：主 编 李俊翰 付雯副主编 王正霞 胡心雷
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据采集与爬虫》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
大数据采集与爬虫
免费读 (VIP)