电子书
内容简介
本书分为4部分：第1部分主要介绍数据的采集，从数据采集的意义和基本概念开始，介绍依次介绍Python工具库、Scrapy第三方框架、如何采集数据，以及如何通过Selenium采集动态页面和手机APP数据采集；第2部主要介绍4种常用的数据分析方法；第3部分主要通过3种可视化工具介绍数据可视化；第4部分介绍一个完整的实战训练项目，帮助读者系统地梳理数据采集、分析、可视化的整体过程，巩固理论知识，增加实战经验。
章节目录
- a-fy
- 56365-bq
- c-bw
- d-x
- e-qy
- 本书资源下载
- f-ml
- 01
- 互联网信息采集
- 任务1.1 了解数据采集基础知识
- 1.1.1 数据采集的目的和分类
- 1.1.2 数据采集需要注意的问题
- 1．数据采集计划
- 2．确认数据来源
- 3．做好数据存储
- 1.1.3 数据采集要点
- 1．全面性
- 2．多维性
- 3．高效性
- 4．时效性
- 1.1.4 企业进行数据采集的原因
- 任务1.2 理解数据采集基本术语的概念
- 1.2.1 网络爬取
- 1.2.2 HTTP的概念
- 1．HTTP简介
- 2．HTTP工作原理
- 3．HTTP请求方法
- 4．HTTP请求报文及HTTP响应报文的组成
- 5．HTTP常用报文属性
- 6．使用浏览器开发者工具查看HTTP报文信息
- 1.2.3 HTTPS的概念
- 1.2.4 URL的概念
- 1．URL的组成
- 2．URL 语法剖析
- 1.2.5 HTML的概念
- 1．使用Chrome浏览器查看、修改HTML页面
- 2．常用的HTML元素
- 1.2.6 JSON的概念
- 1．JSON数据类型
- 2．JSON数据结构
- 3．对象数据结构示例
- 4．数组数据结构示例
- 任务1.3 使用Python工具库实现数据采集
- 1.3.1 urllib3
- 1．安装
- 2．访问网页
- 3．重要设置
- 1.3.2 Requests
- 1．安装
- 2．访问网页
- 3．Response响应属性
- 4．重要设置
- 5．cookie和session
- 1.3.3 Python工具库数据采集实训
- 1．简答题
- 2．编程题
- 02
- Scrapy采集框架
- 任务2.1 掌握Scrapy技术架构
- 2.1.1 什么是Scrapy
- 2.1.2 为什么选用Scrapy
- 2.1.3 Scrapy整体架构
- 2.1.4 Scrapy的安装方式
- 任务2.2 采集图书明细数据
- 2.2.1 Scrapy常用命令
- 1．全局命令
- 2．项目命令
- 2.2.2 创建并启动爬虫项目
- 1．创建爬虫项目
- 2．创建爬虫文件
- 3．启动爬虫项目
- 2.2.3 实训案例：使用Scrapy实现图书信息采集
- 1．关键步骤
- 2．具体实现
- 任务2.3 使用Scrapy Shell解析博客网页
- 2.3.1 使用Scrapy Shell
- 2.3.2 实训案例：解析某博客文章网页的内容
- 1．获取爬取到的URL
- 2．获取请求返回的状态码
- 3．通过settings获取设置的值
- 4．在浏览器中打开当前 view(response)页面
- 5．解析另一个URL
- 6．Scrapy Shell能方便快速定位页面元素
- 1．简答题
- 2．编程题
- 03
- Scrapy采集框架进阶
- 任务3.1 采集前程无忧网站招聘职位信息
- 3.1.1 Scrapy中的Response对象
- 1．Response
- 2．Response 属性、方法
- 3．Response主要子类
- 3.1.2 Scrapy中的Request对象
- 1．Request常用参数
- 2．Request回调函数
- 3.1.3 XPath选择器
- 3.1.4 网页翻页爬取
- 3.1.5 不同页面数据采集
- 3.1.6 Item封装数据
- 3.1.7 Request与Response之间传递参数的方法
- 3.1.8 Item Pipeline
- 1．Item Pipeline的作用
- 2．Item Pipeline的核心方法
- 3．启动Item Pipeline
- 3.1.9 实训案例：采集前程无忧网站招聘职位信息
- 1．关键步骤
- 2．具体实现
- 任务3.2 采集中国人民大学出版社图书列表
- 3.2.1 JSON结构
- 1．对象结构
- 2．数组结构
- 3.2.2 实训案例：采集中国人民大学出版社图书列表
- 1．关键步骤
- 2．具体实现
- 1．简答题
- 2．编程题
- 04
- 使用“Selenium+ ChromeDriver”采集动态页面
- 使用“Selenium+ChromeDriver”采集我爱我家网
- 房源信息
- 4.1.1 动态页面工作流程以及常用动态页面采集方式
- 4.1.2 Selenium工具及其安装
- 4.1.3 安装ChromeDriver
- 4.1.4 Selenium WebDriver概念及其工作流程
- 4.1.5 Selenium WebDriver常用操作
- 4.1.6 Selenium WebDriver常用定位元素的方法
- 4.1.7 Selenium WebDriver鼠标事件
- 4.1.8 Chrome无界面模式
- 4.1.9 Selenium延时等待的方式
- 1．强制等待
- 2．隐式等待
- 3．显式等待
- 4.1.10 实训案例：采集我爱我家网“房山”的房源信息
- 1．关键步骤
- 2．具体实现
- 使用“Scrapy+Selenium+ChromeDriver”采集链
- 家网房源信息
- 4.2.1 Scrapy框架与Selenium工具结合使用采集动态页面的过程
- 4.2.2 实训案例：采集链家网房源信息
- 1．简答题
- 2．编程题
- 任务4.1
- 任务4.2
- 05
- App数据采集
- 用Scrapy框架采集柠檬兼职App首页热门推荐兼职
- 信息
- 5.1.1 App数据爬取
- 1．App数据爬取简介
- 2．App与服务端的通信过程
- 5.1.2 用Charles工具监听网络请求
- 1．什么是Charles抓包工具
- 2．安装与配置Charles工具
- 5.1.3 用Charles工具监听App
- 5.1.4 用Scrapy框架采集App数据
- 5.1.5 实训案例：采集柠檬兼职App首页热门推荐兼职信息
- 1．关键步骤
- 2．具体实现
- 任务5.2 用Scrapy框架采集中华英才网App的企业库信息
- 5.2.1 HTTPS工作流程
- 5.2.2 用Charles工具监听HTTPS网络请求
- 5.2.3 客户端、Charles、服务器之间的HTTPS请求流程
- 5.2.4 用Scrapy框架爬取使用HTTPS通信协议的App数据
- 5.2.5 实训案例：采集中华英才网App的企业库信息
- 1．关键步骤
- 2．具体实现
- 1．简答题
- 2．编程题
- 任务5.1
- 06
- 使用Python进行数据分析
- 任务6.1 了解数据分析的目的
- 6.1.1 数据分析概述
- 6.1.2 数据分析的目的
- 任务6.2 使用方差分析方法分析不同药物对某病毒是否有影响
- 6.2.1 方差分析方法基本概念、术语、假定
- 1．基本概念
- 2．基本术语
- 3．基本假定
- 6.2.2 单因素方差分析
- 6.2.3 多因素方差分析
- 使用回归分析方法分析某病毒是否与温度、湿度呈
- 线性关系
- 6.3.1 回归分析方法基本概念、作用
- 1．基本概念
- 2．回归分析方法的作用
- 6.3.2 线性回归分析方法
- 6.3.3 逻辑回归分析方法
- 使用判别分析方法预测某病毒在一定的温度、湿度下
- 是否可以存活
- 6.4.1 判别分析方法基本概念
- 6.4.2 Fisher判别法
- 6.4.3 贝叶斯判别法
- 任务6.5 使用聚类分析方法分析某病毒与温度、湿度的关系
- 6.5.1 聚类分析方法基本概念
- 6.5.2 k均值聚类算法
- 6.5.3 层次聚类算法
- 1．简答题
- 2．编程题
- 任务6.3
- 任务6.4
- 07
- Matplotlib数据可视化
- 任务7.1 使用Matplotlib绘制招聘职位数量关系的线图与散点图
- 7.1.1 进行可视化的原因
- 1．可视化使数据更直观
- 2．可视化可以降低学习成本
- 3．可视化便于记忆
- 7.1.2 Matplotlib的安装方式
- 7.1.3 Matplotlib的核心原理
- 7.1.4 使用Matplotlib绘制招聘职位数量关系的线图
- 1．直接通过给定数据绘制线图
- 2．通过pandas读取数据绘制折线图
- 7.1.5 使用Matplotlib绘制房价与房屋面积关系的散点图
- 1．直接通过给定数据绘制散点图
- 2．通过pandas读取数据绘制散点图
- 使用Matplotlib绘制不同季度不同产品销售额关系的
- 柱状图与饼状图
- 7.2.1 使用Matplotlib绘制不同季度不同产品销售额关系的柱状图
- 7.2.2 使用Matplotlib绘制不同季度单个产品销售额关系的饼状图
- 1．简答题
- 2．编程题
- 任务7.2
- 08
- PyEcharts数据可视化
- 任务8.1 使用PyEcharts绘制某疾病确诊人数分布图
- 8.1.1 PyEcharts可视化工具及其安装方式
- 8.1.2 PyEcharts可视化工具常用基础知识
- 1．全局配置项
- 2．系列配置项
- 8.1.3 使用PyEcharts绘制某疾病确诊人数分布柱状图
- 8.1.4 使用PyEcharts绘制某疾病确诊人数比例饼状图
- 8.1.5 使用PyEcharts绘制某疾病确诊人数所占比例关系柱状图和线图
- 8.1.6 使用PyEcharts绘制某疾病确诊人数分布地图
- 任务8.2 使用PyEcharts绘制需求关系图
- 8.2.1 使用PyEcharts中的词云表示招聘网站中招聘方对岗位需求的关注点
- 1．结巴分词
- 2．利用词云表示招聘网站中招聘方对岗位需求的关注点
- 8.2.2 使用PyEcharts绘制对求职者不同能力需求程度的雷达图
- 1．简答题
- 2．编程题
- 09
- Bokeh数据可视化
- 任务9.1 使用Bokeh可视化工具以折线图的方式展示信息
- 9.1.1 Bokeh可视化工具及其安装方式
- 9.1.2 使用Bokeh可视化工具绘图的步骤
- 9.1.3 Bokeh可视化工具的常用基础知识
- 1．Bokeh常用基本词条
- 2．Bokeh常用功能接口
- 3．Bokeh颜色及图形属性
- 4．Bokeh数据类型及转换
- 5．Bokeh常用图形显示布局方法
- 6．图形存储
- 9.1.4 实训案例：绘制2013年～2020年全国司法案件数量变化折线图
- 1．关键步骤
- 2．具体实现
- 任务9.2 使用Bokeh可视化工具以分组柱状图的方式展示信息
- 9.2.1 Bokeh可视化工具数据交互的方式
- 1．使用工具条进行数据交互（套索关联）
- 2．使用悬浮工具控件进行数据交互
- 3．使用表格控件进行数据交互
- 9.2.2 Bokeh可视化工具中的基础柱状图
- 9.2.3 实训案例：绘制2017年～2020年全国司法案件数量分布的柱状图
- 1．关键步骤
- 2．具体实现
- 任务9.3 使用Bokeh可视化工具以饼状图的方式展示信息
- 9.3.1 使用Bokeh可视化工具中的面板及选项卡工具进行数据交互的方法
- 9.3.2 实训案例：绘制2019年及2020年全国各类司法案件分布饼状图
- 1．关键步骤
- 2．具体实现
- 1．简答题
- 2．编程题
- 10
- 项目实战——房多多网站数据获取与可视化
- 任务10.1 采集房多多网站信息
- 任务10.2 通过数据分析方法分析网站源数据
- 10.2.1 通过方差分析方法分析朝向、区域是否对上海房价有显著影响
- 10.2.2 通过回归分析方法分析上海房价与房屋面积的关系
- 任务10.3 使用Bokeh工具进行网站源数据可视化
- 10.3.1 绘制2020年上海市二手房每日房源新增数量变化的折线图
- 10.3.2 绘制2020年上海市房源发布数量大于100的地区分布柱状图
- 10.3.3 绘制2020年及2019年上海市各地区二手房房源发布数据分布情况的饼状图
展开全部
Python数据分析——从获取到可视化是2021年由人民邮电出版社出版,作者编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Python数据分析——从获取到可视化》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
电子书
电子书