编辑推荐
统地阐述大数据分析处理工作流程中的重要步骤。
内容简介
本书共13个单元，第1单元介绍了大数据分析处理的概念；第2、3单元介绍了大数据分析中科学计算与统计分析的相关知识；第4-7单元介绍了使用Pandas实现数据预处理的方法；第8单元介绍了使用Scikit-learn实现简单的机器学习的方法；第9单元介绍了使用Matplotlib、Seaborn绘制图表的方法；第10-13单元分别介绍了4个大数据分析处理的综合案例。
单元1-9中，每个单元都包含了相关知识部分和任务实现部分，任务实现部分一般包含多个任务的具体实现过程，每个任务后面都有课堂实践，通过完成实践操作，读者可以进一步巩固所学知识。
展开全文
- a-fy
- 62827-bq
- c-qy
- d-ml
- 01
- /单元 ●1 大数据分析概述
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. 大数据分析的概念
- 2. 大数据分析的发展过程
- 3. 大数据分析的应用场景
- 4. 大数据分析流程
- 5. 传统的统计分析软件
- 6. 大数据分析编程语言
- 7. 大数据可视化分析工具
- /任务实现
- 任务1.1 根据业务需求选择合适的大数据分析技术
- 1.1.1 业务需求分析
- 1.1.2 选择大数据分析技术
- 任务1.2 使用pip和PyCharm完成Python库的管理
- 1.2.1 了解Python常用库
- 1.2.2 使用pip命令安装、卸载Python库
- 1.2.3 使用PyCharm平台安装、卸载Python库
- /素养拓展
- /单元小结
- /课后习题
- 02
- /单元 ●2 numpy科学计算基础
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. numpy与ndarray对象
- 2. 创建ndarray数组的函数
- 3. numpy支持的数据类型
- 4. 数组的矢量化运算
- 5. 广播机制
- 6. 数组与标量的算术运算
- 7. numpy通用函数
- 8. numpy数组的统计与排序方法
- 9. numpy的numpy.linalg模块
- /任务实现
- 任务2.1 保存考试成绩——创建一个数组
- 2.1.1 使用函数创建数组
- 2.1.2 掌握随机数模块的使用
- 任务2.2 查看考试成绩数据类型——查看数组元素的数据类型
- 2.2.1 查看数据类型
- 2.2.2 实现数据类型转换
- 任务2.3 对两门课成绩进行相加——实现数组运算
- 2.3.1 实现矢量化运算
- 2.3.2 实现数组广播
- 2.3.3 实现数组与标量的算术运算
- 任务2.4 对考试成绩进行计算——使用numpy通用函数实现数组计算
- 2.4.1 一元通用函数的使用
- 2.4.2 二元通用函数的使用
- 任务2.5 对考试成绩进行统计与排序——利用numpy数组进行数据处理
- 2.5.1 变换数组的形状
- 2.5.2 实现数组统计
- 2.5.3 实现数组排序
- 任务2.6 对多门课成绩进行计算——使用numpy的线性代数模块 处理矩阵
- 2.6.1 计算对角线元素和
- 2.6.2 实现矩阵乘法
- /素养拓展
- /单元小结
- /课后习题
- 03
- /单元 ●3 pandas统计分析基础
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. pandas与pandas的数据结构
- 2. 创建Series和DataFrame的函数
- 3. 索引与切片
- 4. 排序算法与实现排序的方法
- 5. 统计学与统计方法
- /任务实现
- 任务3.1 用不同方式创建Series对象
- 3.1.1 创建一个空的Series对象
- 3.1.2 使用ndarray对象创建一个Series对象
- 3.1.3 使用字典创建一个Series对象
- 3.1.4 使用标量创建一个Series对象
- 任务3.2 用不同方式创建DataFrame
- 3.2.1 使用字典创建DataFrame
- 3.2.2 使用CSV文件创建DataFrame
- 3.2.3 在DataFrame中插入列和行
- 任务3.3 访问和提取随机数据—— 使用DataFrame进行索引与切片
- 3.3.1 使用索引访问数据
- 3.3.2 使用切片提取部分数据
- 任务3.4 对学生数据进行排序—— 实现数据排序
- 3.4.1 使用sort函数、sort_index方法、sort_values方法实现数据排序
- 3.4.2 控制排序顺序
- 3.4.3 设置排序算法
- 任务3.5 进行随机数据统计—— 实现数据统计
- 3.5.1 使用pandas的统计方法进行统计
- 3.5.2 使用describe方法描述数据
- /素养拓展
- /单元小结
- /课后习题
- 04
- /单元 ●4 数据读取与写入
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. 常用的数据文件类型
- 2. 文本文件读取与写入
- 3. Excel文件读取与写入
- 4. 数据库文件读取与写入
- /任务实现
- 任务4.1 读取并存储城市经纬度数据—— TXT文件读写
- 4.1.1 读取TXT文件中数据
- 4.1.2 将数据写入TXT文件
- 任务4.2 读取并存储招聘数据—— CSV文件的读写
- 4.2.1 读取CSV文件数据
- 4.2.2 将数据写入CSV文件
- 任务4.3 读取并存储用户数据—— Excel文件的读写
- 4.3.1 读取Excel文件工作表数据
- 4.3.2 将数据写入Excel文件的工作表
- 任务4.4 读取商品类别数据并存储账户数据—— MySQL读写
- 4.4.1 连接MySQL
- 4.4.2 从MySQL读取数据
- 4.4.3 写入数据到MySQL
- /素养拓展
- /单元小结
- /课后习题
- 05
- /单元 ●5 数据质量与数据清洗
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. 企业数据管理现状
- 2. 数据标准
- 3. 数据质量的定义
- 4. 常用的数据质量检测手段
- 5. 数据质量管理的必要性
- 6. 缺失值
- 7. 重复值
- 8. 异常值
- /任务实现
- 任务5.1 医药销售数据遗漏检查—— 缺失值处理
- 5.1.1 发现缺失值
- 5.1.2 处理缺失值
- 任务5.2 医药销售数据去重校验—— 重复值处理
- 5.2.1 判断和查看重复值
- 5.2.2 处理记录重复
- 5.2.3 处理特征重复
- 任务5.3 医药销售数据异常值排除—— 异常值处理
- 5.3.1 识别异常值
- 5.3.2 处理异常值
- /素养拓展
- /单元小结
- /课后习题
- 06
- /单元 ●6 数据合并与数据转换
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. concat函数
- 2. append方法
- 3. merge函数
- 4. join方法
- 5. combine_first方法
- 6. map方法
- 7. cut函数
- 8. qcut函数
- / 任务实现
- 任务6.1 堆叠学生信息和考试成绩数据—— 实现数据堆叠
- 6.1.1 实现数据横向堆叠
- 6.1.2 实现数据纵向堆叠
- 任务6.2 连接学生信息和考试成绩数据—— 实现数据连接
- 6.2.1 使用merge函数实现数据连接
- 6.2.2 使用join方法实现数据连接
- 6.2.3 使用combine_first方法重叠合并数据
- 任务6.3 对学生考试成绩进行等级转换—— 实现数据映射转换
- 6.3.1 使用自定义函数映射转换数据
- 6.3.2 使用字典映射转换数据
- 6.3.3 使用lambda表达式映射转换数据
- 任务6.4 对学生考试成绩进行离散化—— 实现数据离散化
- 6.4.1 实现数据等宽离散化
- 6.4.2 实现数据等频离散化
- /素养拓展
- /单元小结
- /课后习题
- 07
- /单元 ●7 数据分组与数据聚合
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. 数据分组的概念
- 2. groupby方法
- 3. 数据分组的原则和依据
- 4. 数据分组的方法
- 5. 数据聚合的概念
- 6. agg方法和aggregate方法
- 7. apply方法
- 8. transform方法
- /任务实现
- 任务7.1 简单数据表处理—— 数据分组
- 7.1.1 实现数据分组的方法
- 7.1.2 实现pandas数据分组
- 任务7.2 人员得分表处理—— 数据聚合
- 7.2.1 实现agg聚合
- 7.2.2 实现apply聚合
- 7.2.3 实现transform聚合
- /素养拓展
- /单元小结
- /课后习题
- 08
- /单元 ●8 scikit-learn机器学习
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. 机器学习的概念
- 2. 机器学习的分类
- 3. 假设空间
- 4. 归纳偏好
- 5. sklearn
- 6. 划分数据集函数
- 7. preprocessing模块
- 8. 标准化和归一化
- 9. 降维
- 10. 线性回归模型
- 11. 逻辑斯谛回归模型
- 12. K-means算法
- 13. 朴素贝叶斯分类
- 14. 支持向量机算法
- /任务实现
- 任务8.1 使用sklearn处理iris数据集—— 使用sklearn处理数据
- 8.1.1 导入数据集
- 8.1.2 划分训练集和测试集
- 任务8.2 boston数据集预处理和降维—— 数据预处理
- 8.2.1 实现数据标准化
- 8.2.2 实现数据归一化
- 8.2.3 实现PCA降维
- 任务8.3 使用boston数据集构建回归模型—— 回归模型分析与预测
- 8.3.1 实现线性回归模型
- 8.3.2 实现支持向量回归模型
- 任务8.4 使用iris数据集构建分类模型—— 分类模型分析与预测
- 8.4.1 实现逻辑斯谛回归分类
- 8.4.2 实现朴素贝叶斯算法
- 任务8.5 使用iris数据集构建聚类模型—— 聚类模型分析与评价
- 8.5.1 实现K-means算法
- 8.5.2 评价K-means算法
- /素养拓展
- /单元小结
- /课后习题
- 09
- /单元 ●9 使用统计图表展示数据
- /学习目标
- 【知识目标】
- 【能力目标】
- 【素养目标】
- /相关知识
- 1. 数据可视化的概念
- 2. 数据可视化的设计过程
- 3. 基本图表类型及使用场景
- 4. pyplot基础语法
- 5. rc参数
- 6. 绘制线图的函数plot
- 7. 绘制柱状图的函数bar
- 8. 绘制直方图的函数hist
- 9. 绘制饼图的函数pie
- 10. 绘制散点图的函数scatter
- 11. 子图的概念
- 12. seaborn
- /任务实现
- 任务9.1 使用线图展示水果销量变化曲线—— 掌握matplotlib基础语法
- 9.1.1 掌握pyplot基础语法
- 9.1.2 设置pyplot的rc参数
- 任务9.2 使用常用图表展示各品牌汽车销售额—— 绘制常见图表
- 9.2.1 绘制线图
- 9.2.2 绘制柱状图
- 9.2.3 绘制直方图
- 9.2.4 绘制饼图
- 9.2.5 绘制散点图
- 任务9.3 使用子图展示就业率数据—— 创建子图
- 9.3.1 数据分析与子图设计
- 9.3.2 实现子图的创建
- 任务9.4 使用seaborn展示汽车数据的分布与相关性——使用seaborn 绘制图表
- 9.4.1 使用seaborn绘制直方图
- 9.4.2 使用seaborn绘制热力图
- /素养拓展
- /单元小结
- /课后习题
- 10
- ///单元●10 某地区电力公司用户付费行为预测
- /项目目标
- //相关背景知识
- /任务实现
- 任务10.1 数据采集和数据描述
- 任务10.2 电力数据预处理
- 10.2.1 按账户和日期排序
- 10.2.2 统计每个账户每个月各种账户活动发生的数量
- 10.2.3 计算当月月底的账户余额
- 10.2.4 计算下月10日前的账户余额
- 10.2.5 计算每个账户每个月的用电量和缴费量
- 10.2.6 合并整理新的用户缴费明细和用电量明细表
- 10.2.7 数据中空值的处理
- 任务10.3 模型建立与评估
- 10.3.1 数据特征的转换
- 10.3.2 逻辑斯谛回归模型建立与评估
- 10.3.3 支持向量机模型建立与评估
- /项目总结
- /项目实践
- 11
- ///单元●11 《你好，旧时光》文本挖掘分析
- /项目目标
- //相关背景知识
- / /任务实现
- 任务11.1 项目准备
- 任务11.2 文本数据准备与处理
- 11.2.1 读入数据
- 11.2.2 创建停用词
- 11.2.3 找出每章的头部索引和尾部索引
- 11.2.4 绘制各章段数与字数折线图
- 任务11.3 文本分词与词云图绘制
- 11.3.1 全文分词
- 11.3.2 统计词频与长度
- 11.3.3 绘制高频词柱状图
- 11.3.4 词云图绘制
- 任务11.4 关系网络探索
- 11.4.1 计算段落权重
- 11.4.2 绘制人物关系图
- 任务11.5 聚类分析
- 11.5.1 计算TF-IDF得到词向量矩阵
- 11.5.2 获得所有特征项
- 11.5.3 K-means聚类
- 11.5.4 聚类结果可视化
- 11.5.5 层次聚类
- /项目总结
- /项目实践
- 12
- ///单元●12 基于大数据可视化的城市通勤特征分析研究
- /项目目标
- //相关背景知识
- / /任务实现
- 任务12.1 原始数据预处理
- 12.1.1 数据的载入
- 12.1.2 站点信息处理
- 12.1.3 地铁刷卡记录处理
- 12.1.4 合并通勤记录
- 12.1.5 虚拟换乘站点数据合并
- 任务12.2 词云图的绘制
- 12.2.1 载入数据
- 12.2.2 设置词云图各项参数
- 12.2.3 绘制词云图
- 任务12.3 绘制起止点分布连线图
- 12.3.1 载入数据
- 12.3.2 统计频数并筛选
- 12.3.3 完成绘图
- 任务12.4 绘制早高峰地铁刷卡进出站分布图
- 12.4.1 载入数据
- 12.4.2 统计进出站的频次
- 12.4.3 设置图形选项参数并画图
- 任务12.5 职住地识别与分析
- 12.5.1 载入数据
- 12.5.2 统计居住地和工作地的进出站频次
- 12.5.3 进行区域中心分析
- /项目总结
- /项目实践
- 13
- ///单元●13 上市公司新闻情感与股票
- 价格的关系
- /项目目标
- //相关背景知识
- / /任务实现
- 任务13.1 网络数据爬取
- 13.1.1 查看要爬取的网页结构
- 13.1.2 提取网页中的新闻标题
- 任务13.2 中文文本处理
- 13.2.1 中文分词
- 13.2.2 将分词后得到的词组转换为向量
- 任务13.3 使用机器学习算法进行情感分析
- 13.3.1 样本拆分
- 13.3.2 模型训练与评估
- 任务13.4 绘制词云图
- 13.4.1 载入数据
- 13.4.2 分词
- 13.4.3 绘制新闻文本词云图
- /项目总结
- /项目实践
展开全部
版权信息
出版社：人民邮电出版社
出版时间：2024
作者：郭永洪 主编
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据分析处理（慕课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2024
作者：郭永洪 主编
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据分析处理（慕课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
大数据分析处理（慕课版）
免费读 (VIP)