本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaSc...
电子书
内容简介
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法，以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例，以巩固前面所学的知识。 《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材，也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。
章节目录
- 封面
- 书名页
- 版权页
- 前言
- 目录
- 任务1 Python环境搭建
- 1.1 任务描述
- 1.2 Python概述
- 1.3 Python编程环境搭建
- 1.3.1 在Windows操作系统下安装Python
- 1.3.2 在Linux操作系统下安装Python
- 1.3.3 在Mac OS操作系统下安装Python
- 1.4 安装集成开发环境PyCharm
- 1.4.1 PyCharm概述
- 1.4.2 PyCharm的安装和运行
- 1.5 Python的数据类型
- 1.5.1 整型
- 1.5.2 浮点型
- 1.5.3 字符串类型
- 1.5.4 列表类型
- 1.5.5 集合类型
- 1.5.6 字典类型
- 1.5.7 元组类型
- 1.6 Python语句与函数
- 1.6.1 条件判断语句
- 1.6.2 循环语句
- 1.6.3 自定义函数
- 1.7 任务实现
- 1.8 小结
- 1.9 习题
- 任务2 实现简单数据采集
- 2.1 任务描述
- 2.2 网络爬虫基础知识
- 2.2.1 网络爬虫概述
- 2.2.2 使用网络爬虫的风险
- 2.2.3 Python爬虫的工作过程
- 2.3 网络基础知识
- 2.3.1 HTML
- 2.3.2 URI和URL
- 2.3.3 HTTP
- 2.3.4 Request和Response
- 2.4 requests库的安装及使用
- 2.4.1 requests库概述
- 2.4.2 requests库的安装
- 2.4.3 requests库的基本用法
- 2.5 lxml库和BeautifulSoup库的安装及使用
- 2.5.1 lxml库概述
- 2.5.2 BeautifulSoup库概述
- 2.5.3 lxml库和BeautifulSoup库的安装
- 2.5.4 lxml库和BeautifulSoup库的基本用法
- 2.6 任务实现
- 2.7 小结
- 2.8 习题
- 任务3 存储数据
- 3.1 任务描述
- 3.2 MySQL的安装及使用
- 3.2.1 MySQL概述
- 3.2.2 MySQL的安装
- 3.2.3 MySQL的操作
- 3.3 PyMySQL的使用
- 3.4 CSV和JSON格式
- 3.4.1 CSV格式概述
- 3.4.2 输出CSV文件头部
- 3.4.3 使用Python读取CSV文件数据
- 3.4.4 使用Python向CSV文件写入数据
- 3.4.5 JSON格式概述
- 3.4.6 使用Python读取JSON文件数据
- 3.4.7 使用Python向JSON文件写入数据
- 3.5 任务实现
- 3.6 小结
- 3.7 习题
- 任务4 使用Web API采集数据
- 4.1 任务描述
- 4.2 GitHub
- 4.2.1 GitHub概述
- 4.2.2 GitHub的基本用法
- 4.3 Web API
- 4.3.1 Web API概述
- 4.3.2 GitHub开放API的数据特点
- 4.3.3 GitHub的API请求数据
- 4.3.4 获取API的响应数据
- 4.3.5 处理API的响应数据
- 4.4 任务实现
- 4.5 小结
- 4.6 习题
- 任务5 使用AJAX采集数据
- 5.1 任务描述
- 5.2 AJAX
- 5.2.1 AJAX的起源
- 5.2.2 AJAX概述
- 5.2.3 AJAX的特点
- 5.2.4 静态数据
- 5.2.5 动态数据
- 5.2.6 分析AJAX采集的数据
- 5.2.7 提取AJAX采集的数据
- 5.3 任务实现
- 5.4 小结
- 5.5 习题
- 任务6 主流验证码解析
- 6.1 验证码概述
- 6.2 自定义图形验证码解析
- 6.2.1 任务描述
- 6.2.2 图形验证码概述
- 6.2.3 tesserocr库概述
- 6.2.4 tesserocr库的安装
- 6.2.5 自定义图形验证码的生成
- 6.2.6 使用tesserocr库解析自定义图形验证码
- 6.2.7 任务实现
- 6.3 滑动验证码解析
- 6.3.1 任务描述
- 6.3.2 滑动验证码概述
- 6.3.3 ChromeDriver概述
- 6.3.4 ChromeDriver的安装
- 6.3.5 Selenium概述
- 6.3.6 Selenium的安装
- 6.3.7 Selenium和ChromeDriver的基本用法
- 6.3.8 任务实现
- 6.4 点击式验证码解析
- 6.4.1 任务描述
- 6.4.2 点击式验证码概述
- 6.4.3 聚合数据平台接口概述
- 6.4.4 任务实现
- 6.5 小结
- 6.6 习题
- 任务7 模拟登录
- 7.1 使用Selenium和ChromeDriver实现模拟登录
- 7.1.1 任务描述
- 7.1.2 GET概述
- 7.1.3 GET的基本用法
- 7.1.4 POST概述
- 7.1.5 POST的基本用法
- 7.1.6 GET和POST的区别
- 7.1.7 任务实现
- 7.2 使用Cookie实现模拟登录
- 7.2.1 任务描述
- 7.2.2 Cookie概述
- 7.2.3 Session概述
- 7.2.4 Cookie和Session的区别
- 7.2.5 任务实现——使用Cookie模拟登录
- 7.2.6 任务实现——使用requests库实现用Cookie和Session模拟登录
- 7.3 小结
- 7.4 习题
- 任务8 使用Scrapy爬虫框架采集数据
- 8.1 任务描述
- 8.2 Scrapy
- 8.2.1 Scrapy概述
- 8.2.2 Scrapy的工作原理
- 8.3 Scrapy的安装
- 8.3.1 在Windows操作系统下安装Scrapy
- 8.3.2 在Linux操作系统下安装Scrapy
- 8.4 Scrapy各组件的用法
- 8.4.1 Selector类
- 8.4.2 Spider类
- 8.4.3 下载器中间件
- 8.4.4 条目管道
- 8.4.5 网络爬虫中间件
- 8.5 任务实现
- 8.6 小结
- 8.7 习题
- 任务9 综合案例
- 9.1 任务描述
- 9.2 页面分析
- 9.3 模拟登录
- 9.4 获取静态数据
- 9.5 获取动态数据
- 9.6 数据持久化保存
- 9.7 小结
- 封底
展开全部
大数据采集与爬虫是2020年由机械工业出版社出版,作者主 编 李俊翰 付雯副主编 王正霞 胡心雷。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《大数据采集与爬虫》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaSc...
电子书
本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、P...
电子书
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行...
电子书
本书知识框架可分为三部分。第一部分（第1章）阐述Python开发环境的搭建与使用；第二部分（第2章～第7章）阐述Python程序设计的基础知识，包括内置类型、运算符与内置函数，...
电子书
本书从工程角度出发，阐述了运用大数据技术进行软件测试的方法和实现过程。全书共11章，介绍了大数据测试思维、手机联网数据的收集方法、数据格式的转换方法、大数据的处理方法、软件缺陷...
电子书
为了适应数字经济时代的新发展趋势，培养新时代大数据专业人才，编者通过总结多年的教学经验，借鉴国内外相关领域的教学优势，详细剖析大数据采集、预处理与可视化的基础理论、关键技术、相...