本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、P...
电子书
内容简介
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。
章节目录
- 第1章概述
- 1.1 数据
- 1.1.1 数据的概念
- 1.1.2 数据类型
- 1.1.3 数据的组织形式
- 1.1.4 数据的价值
- 1.1.5 数据爆炸
- 1.2 数据分析过程
- 1.3 数据采集与预处理的任务
- 1.4 数据采集
- 1.4.1 数据采集的概念
- 1.4.2 数据采集的三大要点
- 1.4.3 数据采集的数据源
- 1.4.4 数据采集方法
- 1.5 数据清洗
- 1.5.1 数据清洗的应用领域
- 1.5.2 数据清洗的实现方式
- 1.5.3 数据清洗的内容
- 1.5.4 数据清洗的注意事项
- 1.5.5 数据清洗的基本流程
- 1.5.6 数据清洗的评价标准
- 1.6 数据集成
- 1.7 数据转换
- 1.7.1 数据转换策略
- 1.7.2 平滑处理
- 1.7.3 规范化处理
- 1.8 数据脱敏
- 1.8.1 数据脱敏原则
- 1.8.2 数据脱敏方法
- 1.9 本章小结
- 1.10 习题
- 第2章大数据实验环境搭建
- 2.1 Python 的安装和使用
- 2.1.1 Python简介
- 2.1.2 Python的安装
- 2.1.3 Python的基本使用方法
- 2.1.4 Python基础语法知识
- 2.1.5 Python第三方模块的安装
- 2.2 JDK的安装
- 2.3 MySQL 数据库的安装和使用
- 2.3.1 关系数据库
- 2.3.2 关系数据库标准语言SQL
- 2.3.3 安装 MySQL
- 2.3.4 MySQL数据库的使用方法
- 2.3.5 使用 Python操作 MySQL数据库
- 2.4 Hadoop的安装和使用
- 2.4.1 Hadoop简介
- 2.4.2 分布式文件系统 HDFS
- 2.4.3 Hadoop的安装
- 2.4.4 HDFS的基本使用方法
- 2.5 本章小结
- 2.6 习题
- 实验1 熟悉 MySQL和 HDFS操作
- 第3章网络数据采集
- 3.1 网络爬虫概述
- 3.1.1 什么是网络爬虫
- 3.1.2 网络爬虫的类型
- 3.1.3 反爬机制
- 3.2 网页基础知识
- 3.2.1 超文本和 HTML
- 3.2.2 HTTP
- 3.3 用 Python 实现 HTTP请求
- 3.3.1 urllib模块
- 3.3.2 urllib3模块
- 3.3.3 requests模块
- 3.4 定制 requests
- 3.4.1 传递 URL 参数
- 3.4.2 定制请求头
- 3.4.3 网络超时
- 3.5 解析网页
- 3.5.1 BeautifulSoup简介
- 3.5.2 BeautifulSoup四大对象
- 3.5.3 遍历文档树
- 3.5.4 搜索文档树
- 3.5.5 CSS选择器
- 3.6 综合实例
- 3.6.1 实例 1：采集网页数据保存到文本文件
- 3.6.2 实例 2：采集网页数据保存到MySQL 数据库
- 3.7 Scrapy框架
- 3.7.1 Scrapy框架概述
- 3.7.2 XPath语言
- 3.7.3 Scrapy框架应用实例
- 3.8 本章小结
- 3.9 习题
- 实验2 网络爬虫初级实践
- 第4章分布式消息系统Kafka
- 4.1 Kafka简介
- 4.1.1 Kafka的特性
- 4.1.2 Kafka的应用场景
- 4.1.3 Kafka的消息传递模式
- 4.2 Kafka 在大数据生态系统中的作用
- 4.3 Kafka 与 Flume 的区别与联系
- 4.4 Kafka相关概念
- 4.5 Kafka 的安装和使用
- 4.5.1 安装 Kafka
- 4.5.2 使用 Kafka
- 4.6 使用 Python操作 Kafka
- 4.7 Kafka 与 MySQL 的组合使用
- 4.8 本章小结
- 4.9 习题
- 实验3 熟悉 Kafka 的基本使用方法
- 第5章日志采集系统Flume
- 5.1 Flume简介
- 5.2 Flume 的安装和使用
- 5.2.1 Flume的安装
- 5.2.2 Flume的使用
- 5.3 Flume和 Kafka的组合使用
- 5.4 采集日志文件到 HDFS
- 5.4.1 采集目录到HDFS
- 5.4.2 采集文件到HDFS
- 5.5 采集MySQL 数据到 HDFS
- 5.5.1 准备工作
- 5.5.2 创建 MySQL数据库
- 5.5.3 配置和启动Flume
- 5.6 本章小结
- 5.7 习题
- 实验4 熟悉 Flume 的基本使用方法
- 第6章数据仓库中的数据集成
- 6.1 数据仓库的概念
- 6.1.1 传统的数据仓库
- 6.1.2 实时主动数据仓库
- 6.2 数据集成
- 6.2.1 数据集成方式
- 6.2.2 数据分发方式
- 6.2.3 数据集成技术
- 6.3 ETL
- 6.3.1 ETL简介
- 6.3.2 ETL基本模块
- 6.3.3 ETL模式
- 6.3.4 ETL工具
- 6.4 CDC
- 6.4.1 CDC的特性
- 6.4.2 CDC的组成
- 6.4.3 CDC的具体应用场景
- 6.4.4 CDC需要考虑的问题
- 6.5 本章小结
- 6.6 习题
- 第7章ETL工具Kettle
- 7.1 Kettle 的基本概念
- 7.2 Kettle 的基本功能
- 7.3 安装 Kettle
- 7.4 数据抽取
- 7.4.1 把文本文件导入Excel文件
- 7.4.2 把文本文件导入 MySQL数据库
- 7.4.3 把 Excel文件导入 MySQL数据库
- 7.5 数据清洗与转换
- 7.5.1 使用 Kettle实现数据排序
- 7.5.2 在 Kettle中用正则表达式清洗数据
- 7.5.3 使用 Kettle去除缺失值
- 7.5.4 使用 Kettle转化 MySQL数据库中的数据
- 7.6 数据加载
- 7.6.1 把本地文件加载到 HDFS中
- 7.6.2 把 HDFS文件加载到MySQL 数据库中
- 7.7 本章小结
- 7.8 习题
- 实验5 熟悉 Kettle 的基本使用方法
- 第8章使用pandas进行数据清洗
- 8.1 NumPy 的基本使用方法
- 8.1.1 数组创建
- 8.1.2 数组索引和切片
- 8.1.3 数组运算
- 8.2 pandas的数据结构
- 8.2.1 Series
- 8.2.2 DataFrame
- 8.2.3 索引对象
- 8.3 pandas的基本功能
- 8.3.1 重新索引
- 8.3.2 丢弃指定轴上的项
- 8.3.3 索引、选取和过滤
- 8.3.4 算术运算
- 8.3.5 DataFrame和 Series之间的运算
- 8.3.6 函数应用和映射
- 8.3.7 排序和排名
- 8.3.8 分组
- 8.3.9 shape()函数
- 8.3.10 info()函数
- 8.3.11 cut()函数
- 8.4 汇总和描述统计
- 8.4.1 与描述统计相关的函数
- 8.4.2 唯一值、值计数以及成员资格
- 8.5 处理缺失数据
- 8.5.1 检查缺失值
- 8.5.2 清理 /填充缺失值
- 8.5.3 排除缺少的值
- 8.6 综合实例
- 8.6.1 Matplotlib的使用方法
- 8.6.2 实例 1：对一个数据集进行基本操作
- 8.6.3 实例 2：百度搜索指数分析
- 8.6.4 实例 3：电影评分数据分析
- 8.6.5 实例 4：App行为数据预处理
- 8.7 本章小结
- 8.8 习题
- 实验6 pandas 数据清洗初级实践
- 参考文献
展开全部
数据采集与预处理是2022年由人民邮电出版社出版,作者林子雨 编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《数据采集与预处理》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
为了适应数字经济时代的新发展趋势，培养新时代大数据专业人才，编者通过总结多年的教学经验，借鉴国内外相关领域的教学优势，详细剖析大数据采集、预处理与可视化的基础理论、关键技术、相...
电子书
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持...
电子书
全书共8章，其中第1章介绍数据预处理的入门知识；第2-6章介绍科学计算库numpy和数据分析库pandas，以及通过pandas库实现数据获取、数据清理、数据集成、数据变换和数...
电子书
本书的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python爬虫开发的各个方面，涉及包括HTTP、HTML、JavaSc...
电子书
本书知识框架可分为三部分。第一部分（第1章）阐述Python开发环境的搭建与使用；第二部分（第2章～第7章）阐述Python程序设计的基础知识，包括内置类型、运算符与内置函数，...