本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等不同领域的内容。全书共分为15章，包括了Python基础知识、网站分析、网页解析、Python文件读写、Python与数据库、AJAX技术、模拟登录、文本与数据分析、网站测试、S
电子书
内容简介
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法，以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例，以巩固前面所学的知识。 《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材，也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。
章节目录
- 封面
- 书名页
- 版权页
- 前言
- 目录
- 任务1 Python环境搭建
- 1.1 任务描述
- 1.2 Python概述
- 1.3 Python编程环境搭建
- 1.3.1 在Windows操作系统下安装Python
- 1.3.2 在Linux操作系统下安装Python
- 1.3.3 在Mac OS操作系统下安装Python
- 1.4 安装集成开发环境PyCharm
- 1.4.1 PyCharm概述
- 1.4.2 PyCharm的安装和运行
- 1.5 Python的数据类型
- 1.5.1 整型
- 1.5.2 浮点型
- 1.5.3 字符串类型
- 1.5.4 列表类型
- 1.5.5 集合类型
- 1.5.6 字典类型
- 1.5.7 元组类型
- 1.6 Python语句与函数
- 1.6.1 条件判断语句
- 1.6.2 循环语句
- 1.6.3 自定义函数
- 1.7 任务实现
- 1.8 小结
- 1.9 习题
- 任务2 实现简单数据采集
- 2.1 任务描述
- 2.2 网络爬虫基础知识
- 2.2.1 网络爬虫概述
- 2.2.2 使用网络爬虫的风险
- 2.2.3 Python爬虫的工作过程
- 2.3 网络基础知识
- 2.3.1 HTML
- 2.3.2 URI和URL
- 2.3.3 HTTP
- 2.3.4 Request和Response
- 2.4 requests库的安装及使用
- 2.4.1 requests库概述
- 2.4.2 requests库的安装
- 2.4.3 requests库的基本用法
- 2.5 lxml库和BeautifulSoup库的安装及使用
- 2.5.1 lxml库概述
- 2.5.2 BeautifulSoup库概述
- 2.5.3 lxml库和BeautifulSoup库的安装
- 2.5.4 lxml库和BeautifulSoup库的基本用法
- 2.6 任务实现
- 2.7 小结
- 2.8 习题
- 任务3 存储数据
- 3.1 任务描述
- 3.2 MySQL的安装及使用
- 3.2.1 MySQL概述
- 3.2.2 MySQL的安装
- 3.2.3 MySQL的操作
- 3.3 PyMySQL的使用
- 3.4 CSV和JSON格式
- 3.4.1 CSV格式概述
- 3.4.2 输出CSV文件头部
- 3.4.3 使用Python读取CSV文件数据
- 3.4.4 使用Python向CSV文件写入数据
- 3.4.5 JSON格式概述
- 3.4.6 使用Python读取JSON文件数据
- 3.4.7 使用Python向JSON文件写入数据
- 3.5 任务实现
- 3.6 小结
- 3.7 习题
- 任务4 使用Web API采集数据
- 4.1 任务描述
- 4.2 GitHub
- 4.2.1 GitHub概述
- 4.2.2 GitHub的基本用法
- 4.3 Web API
- 4.3.1 Web API概述
- 4.3.2 GitHub开放API的数据特点
- 4.3.3 GitHub的API请求数据
- 4.3.4 获取API的响应数据
- 4.3.5 处理API的响应数据
- 4.4 任务实现
- 4.5 小结
- 4.6 习题
- 任务5 使用AJAX采集数据
- 5.1 任务描述
- 5.2 AJAX
- 5.2.1 AJAX的起源
- 5.2.2 AJAX概述
- 5.2.3 AJAX的特点
- 5.2.4 静态数据
- 5.2.5 动态数据
- 5.2.6 分析AJAX采集的数据
- 5.2.7 提取AJAX采集的数据
- 5.3 任务实现
- 5.4 小结
- 5.5 习题
- 任务6 主流验证码解析
- 6.1 验证码概述
- 6.2 自定义图形验证码解析
- 6.2.1 任务描述
- 6.2.2 图形验证码概述
- 6.2.3 tesserocr库概述
- 6.2.4 tesserocr库的安装
- 6.2.5 自定义图形验证码的生成
- 6.2.6 使用tesserocr库解析自定义图形验证码
- 6.2.7 任务实现
- 6.3 滑动验证码解析
- 6.3.1 任务描述
- 6.3.2 滑动验证码概述
- 6.3.3 ChromeDriver概述
- 6.3.4 ChromeDriver的安装
- 6.3.5 Selenium概述
- 6.3.6 Selenium的安装
- 6.3.7 Selenium和ChromeDriver的基本用法
- 6.3.8 任务实现
- 6.4 点击式验证码解析
- 6.4.1 任务描述
- 6.4.2 点击式验证码概述
- 6.4.3 聚合数据平台接口概述
- 6.4.4 任务实现
- 6.5 小结
- 6.6 习题
- 任务7 模拟登录
- 7.1 使用Selenium和ChromeDriver实现模拟登录
- 7.1.1 任务描述
- 7.1.2 GET概述
- 7.1.3 GET的基本用法
- 7.1.4 POST概述
- 7.1.5 POST的基本用法
- 7.1.6 GET和POST的区别
- 7.1.7 任务实现
- 7.2 使用Cookie实现模拟登录
- 7.2.1 任务描述
- 7.2.2 Cookie概述
- 7.2.3 Session概述
- 7.2.4 Cookie和Session的区别
- 7.2.5 任务实现——使用Cookie模拟登录
- 7.2.6 任务实现——使用requests库实现用Cookie和Session模拟登录
- 7.3 小结
- 7.4 习题
- 任务8 使用Scrapy爬虫框架采集数据
- 8.1 任务描述
- 8.2 Scrapy
- 8.2.1 Scrapy概述
- 8.2.2 Scrapy的工作原理
- 8.3 Scrapy的安装
- 8.3.1 在Windows操作系统下安装Scrapy
- 8.3.2 在Linux操作系统下安装Scrapy
- 8.4 Scrapy各组件的用法
- 8.4.1 Selector类
- 8.4.2 Spider类
- 8.4.3 下载器中间件
- 8.4.4 条目管道
- 8.4.5 网络爬虫中间件
- 8.5 任务实现
- 8.6 小结
- 8.7 习题
- 任务9 综合案例
- 9.1 任务描述
- 9.2 页面分析
- 9.3 模拟登录
- 9.4 获取静态数据
- 9.5 获取动态数据
- 9.6 数据持久化保存
- 9.7 小结
- 封底
展开全部
大数据采集与爬虫是2020年由机械工业出版社出版,作者主 编 李俊翰 付雯副主编 王正霞 胡心雷。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据采集与爬虫》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
《Python编程基础》是Python编程的基础教程，基于当前Python的*新版本3.7。本书基础知识翔实，包含丰富的、循序渐进的实践项目。首先，介绍了简单的HelloWorld程序任务，让读者认识Python，并介绍编程环境的安装与配置，以及如何实现HelloWorld程序。接着介绍Python的基础知识—值、变量、数据类型、表达式和运算，以及程序流程控制—if语句、循环语句，同时给出了丰富的
电子书
适读人群 ：本书既适合需要储备反爬虫知识的前端工程师和后端工程师阅读，也适合需要储备绕过知识的爬虫工程师、爬虫爱好者以及Python程序员阅读。
【人气推荐】《Python 3 网络爬虫开发实战》作者、微软小冰工程师崔庆才作序，腾讯、马蜂窝工程师倾力推荐。
【干货满满】爬虫工程师不可错过的“”，内容包括但不限于Cookie 反爬虫、WebSocket 反爬虫、字体反爬虫、WebDriver反爬虫、App 反爬虫、验证码反爬虫。
【反爬虫原理 爬虫实战】从实战出发，印证国内互联网企业内部加密原理，侧重讲解反爬虫的原理以及绕过方法。
【21个反爬虫示例】结合练习平台 Steamboat，帮助读者随时复现书中的 21个爬虫示例，巩固所学知识。
电子书
本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术，以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。本书内容实用，可操作性强，语言精练、通俗易懂，可作为高等院校计算机
电子书
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。
电子书
本书从高职和中职院校学生学习的实际出发，按从基础至高级的顺序进行编排，并对每章内容进行梳理。全书分为10个章节，分别介绍了AutoCAD2016基础知识、AutoCAD2016基本操作、基本二维图形绘制、基本图形修改、绘制三视图及零件图、图样尺寸和技术要求的标注、绘制二维工程图与轴测图、绘制装配图、三维图形设计基础和参数化图形等进行工程设计所必需的各种功能和用法。本书深入浅出，实例引导，讲解翔实，
电子书
本书主要介绍如何利用Kettle和Python这两个具有代表性的工具进行数据预处理的相关技术与方法，包括数据抽取、数据清洗、数据集成、数据变换等。全书有9章，内容涉及数据采集、环境部署、Kettle安装及应用、pandas应用，以及数据可视化的基础内容。本书采用任务式编写形式，将大数据预处理技术的理论和实现分解到一个个任务中，融入到一个个典型案例中，让读者在完成各任务的同时掌握和理解相关内容。本书
电子书
《书籍设计与印刷工艺》（第2版）是“十二五”职业教育国家规划教材建设项目成果。本教材集实用性、艺术性、欣赏性、创新性于一体，从内容选材、学习方法、实验和实训配套等方面突出了高等院校艺术设计教育的特点。教材以书籍出版的策划、设计和成型的实际需求为依据，以书籍整体设计为线索，以项目任务为载体，以学生实验性项目作品和书籍设计作品为案例，系统讲述并详尽点评书籍设计、印刷、工艺各个环节的设计方法和技术要点，
