本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、P...
电子书
内容简介
为了适应数字经济时代的新发展趋势，培养新时代大数据专业人才，编者通过总结多年的教学经验，借鉴国内外相关领域的教学优势，详细剖析大数据采集、预处理与可视化的基础理论、关键技术、相关工具和应用案例，进而编成本书。 本书是集理论与实践于一体的应用型教材。全书共7章，包括大数据概述、Python程序设计、大数据采集、大数据预处理技术、Excel数据获取与预处理、Python数据预处理、数据可视化技术。本书在编写中着重介绍基本原理，同时突出工程应用，并以清晰、容易理解的方式展现大数据采集、预处理与可视化的基础知识、基本任务、常用方法、实用场景和主要流程，力图做到基本概念准确、阐述条理清晰、主体内容精练、重点难点突出、理论联系实际。此外，本书还将反映相关领域新技术的发展情况。 本书可作为计算机、人工智能、大数据、电子商务、电气、电子、统计学、会计学等相关专业的大数据技术类课程的教材，也可供相关领域的科技人员参考使用，还可作为数据分析及应用类认证培训课程用书。
章节目录
- A-fy
- 61435-bq
- C-tjx
- D-qy
- ( 时代背景
- ( 本书特点
- 1．知识讲解宜读易懂，语言表述顺畅自然
- 2．系统构建知识体系，培养读者的大数据思维
- 3．理论与实践相结合，注重培养实战型人才
- ( 本书内容
- ( 配套资源
- ( 编者团队
- ( 编者致谢
- E-ml
- 01
- 第1章 大数据概述
- 1.1 大数据时代
- 1.2 大数据的相关概念及特征
- 1.2.1 大数据的概念
- 1．大数据重新定义了数据的价值
- 2．大数据为智能化社会奠定了基础
- 3．大数据促进了社会资源的数据化进程
- 1.2.2 大数据的发展历程
- 1．萌芽期（20世纪90年代至21世纪初）
- 2．成熟期（21世纪初至2010年）
- 3．应用期（2011年至今）
- 1.2.3 大数据的特征
- 1．数据总量大
- 2．数据类型多
- 3．数据处理速度快
- 4．价值性
- 5．真实性
- 1.2.4 大数据的作用
- 1．大数据代表了一条新的产业链
- 2．大数据开辟出新的价值空间
- 3．大数据促进了行业领域的创新发展
- 1.2.5 大数据的应用领域
- 1.2.6 大数据的关键技术
- 1．大数据采集技术
- 2．大数据预处理技术
- 3．大数据存储与管理技术
- 4．大数据计算模式
- 5．大数据分析与挖掘技术
- 6．大数据展示与可视化技术
- 7．大数据安全技术
- 1.3 大数据系统简介
- 1.3.1 Hadoop生态系统
- 1．HDFS
- 2．YARN
- 3．MapReduce
- 4．HBase
- 5．Tez
- 6．Hive
- 7．Pig
- 8．Mahout
- 9．Oozie
- 10．ZooKeeper
- 11．Flume
- 12．Sqoop
- 13．Ambari
- 1.3.2 Spark生态系统
- 1．部署模式
- 2．数据存储
- 3．Spark核心
- 4．四大组件
- 1.4 大数据思维
- 1.4.1 传统思维方式
- 1．中国的传统思维方式
- 2．西方的传统思维方式
- 1.4.2 大数据思维方式
- 1．数据价值原理
- 2．全数据样本原理
- 3．关注效率原理
- 4．数据驱动的方法
- 1.5 大数据伦理
- 1.5.1 大数据伦理的由来
- 1.5.2 大数据的伦理问题
- 1．数字身份问题
- 2．隐私泄露问题
- 3．信息安全问题
- 4．数字鸿沟问题
- 1.5.3 大数据的伦理原则
- 1．无害性原则
- 2．权责统一原则
- 3．尊重自主原则
- 4．参与原则
- 5．隐私原则
- 6．诚信原则
- 1.6 大数据安全
- 1.6.1 数据全生命周期安全
- 1．数据采集安全
- 2．数据存储安全
- 3．数据传输安全
- 4．数据使用安全
- 5．数据加工安全
- 6．数据提供安全
- 7．数据公开安全
- 8．数据销毁安全
- 1.6.2 大数据安全防护技术
- 1．大数据资产梳理技术
- 2．大数据安全审计技术
- 3．大数据脱敏技术
- 4．大数据脆弱性检测技术
- 5．大数据应用访问控制
- 1.7 本章小结
- 1.8 习题
- 02
- 第2章 Python程序设计
- 2.1 Python的安装与运行
- 2.1.1 Python的特点
- 2.1.2 Python的下载与安装
- 2.1.3 Python程序的运行
- 1．交互式启动和运行方法
- 2．文件式启动和运行方法
- 2.1.4 第三方软件包的安装
- 1．pip常用命令
- 2．第三方软件包资源网站
- 3．离线安装软件包
- 4．软件包安装实例
- 2.1.5 Python编程规范
- 1．行长度
- 2．长语句续行
- 3．空格
- 4．空行
- 5．引号
- 6．一行多条语句
- 7．Python程序入口
- 8．代码缩进
- 9．其他
- 2.2 数据类型与运算符
- 2.2.1 数字和字符串
- 1．数字
- 2．字符串
- 2.2.2 列表和元组
- 1．列表
- 2．元组
- 2.2.3 字典和集合
- 1．字典
- 2．集合
- 2.2.4 运算符
- 1．算术运算符
- 2．逻辑运算符
- 3．关系运算符
- 4．位运算符
- 5．赋值运算符
- 6．成员运算符
- 7．身份运算符
- 8．运算符的优先级
- 2.3 程序控制结构
- 2.3.1 程序流程图
- 2.3.2 顺序结构
- 2.3.3 选择结构
- 1．单分支结构
- 2．二分支结构
- 3．多分支结构
- 2.3.4 循环结构
- 1．遍历循环：for语句
- 2．无限循环：while语句
- 3．break和continue
- 2.4 函数与模块
- 2.4.1 函数的使用
- 2.4.2 函数的参数传递
- 1．位置参数
- 2．关键字参数
- 3．默认值参数
- 4．可变长度参数
- 5．只接收关键字参数的函数
- 6．解包操作符
- 2.4.3 全局变量与局部变量
- 2.4.4 匿名函数
- 2.4.5 模块
- 2.5 文件
- 2.5.1 文件的打开与关闭
- 1．文件的打开
- 2．文件的关闭
- 2.5.2 文件的读取与写入
- 1．文件的读取
- 2．文件的写入
- 2.5.3 文件的定位
- 2.6 本章小结
- 2.7 习题
- 03
- 第3章 大数据采集
- 3.1 大数据采集概述
- 3.1.1 大数据采集的概念
- 1．结构化数据
- 2．非结构化数据
- 3．半结构化数据
- 3.1.2 大数据采集的数据源
- 1．传统商业数据
- 2．日志数据
- 3．社交网络数据
- 4．物联网数据
- 3.1.3 大数据采集方法
- 1．系统日志采集
- 2．网络爬虫
- 3．ETL工具
- 3.1.4 大数据采集平台
- 1．Flume
- 2．Fluentd
- 3．Logstash
- 4．Chukwa
- 3.2 网络爬虫技术
- 3.2.1 网络爬虫概述
- 3.2.2 常用网络爬虫方法
- 1．通用网络爬虫
- 2．主题网络爬虫
- 3．增量式网络爬虫
- 4．深度网络爬虫
- 3.2.3 网页数据采集的实现
- 1．urllib库
- 2．requests库
- 3．BeautifulSoup库
- 3.2.4 常用网络爬虫工具
- 1．Googlebot
- 2．百度蜘蛛
- 3．Apache Nutch
- 4．火车采集器
- 5．八爪鱼采集器
- 3.2.5 电影评论爬取
- 3.3 数据抽取技术
- 3.3.1 数据抽取概述
- 1．数据抽取的含义
- 2．数据抽取流程
- 3.3.2 Kettle简介与其安装
- 1．Kettle软件简介
- 2．Kettle的安装
- 3.3.3 文本数据抽取
- 3.3.4 网页数据抽取
- 3.4 案例：网络租房信息采集
- 3.4.1 网络爬虫采集数据
- 3.4.2 抽取租房信息
- 3.5 本章小结
- 3.6 习题
- 04
- 第4章 大数据预处理技术
- 4.1 数据预处理概述
- 4.1.1 数据质量
- 1．数据的正确性、完整性和一致性影响数据质量
- 2．数据的相关性和时效性影响数据质量
- 3．数据的可信性与可解释性影响数据质量
- 4.1.2 数据预处理的主要任务
- 4.2 数据清洗
- 4.2.1 缺失值处理方法
- 1．删除缺失值
- 2．人工填补
- 3．均值/中位数/众数填充法
- 4.2.2 噪声数据处理方法
- 1．分箱法
- 2．3σ原则
- 3．箱形图法
- 4.2.3 冗余数据处理方法
- 1．重复过滤
- 2．条件过滤
- 4.2.4 数据格式与内容处理方法
- 1．时间、日期、数值、全半角等显示格式不一致
- 2．内容中有不该存在的字符
- 3．内容与该字段应有内容不符
- 4.3 数据集成
- 4.3.1 实体识别问题
- 4.3.2 冗余问题
- 1．标称数据的 检验
- 2．数值数据的相关系数
- 3．数值数据中的协方差
- 4.3.3 数据值冲突的检测与处理
- 4.4 数据变换
- 4.4.1 数据规范化
- 4.4.2 通过离散化变换数据
- 4.5 数据归约
- 4.5.1 过滤法
- 1．方差选择法
- 2．相关系数法
- 3．卡方检验法
- 4.5.2 包装法
- 4.5.3 嵌入法
- 1．基于惩罚项的特征选择法
- 2．基于树模型的特征选择法
- 4.6 数据脱敏
- 4.6.1 数据脱敏类型
- 4.6.2 数据脱敏方法
- 1．仿真
- 2．数据替换
- 3．对称加密
- 4．数据截取
- 5．数据混淆
- 6．平均化
- 4.7 案例：汽车行驶工况数据预处理
- 4.7.1 案例背景
- 4.7.2 数据描述
- 4.7.3 数据预处理
- 4.8 本章小结
- 4.9 习题
- 05
- 第5章 Excel数据获取与预处理
- 5.1 Excel数据获取
- 5.1.1 获取文本数据
- 5.1.2 获取网站数据
- 5.1.3 获取数据库中的数据
- 5.2 Excel数据清洗与转换
- 5.2.1 常用数据分析函数
- 1．IS类函数
- 2．统计计算类函数
- 5.2.2 删除重复行
- 1．选择不重复的记录
- 2．删除重复值
- 3．删除空格和非输出字符
- 5.2.3 文本查找与替换
- 1．FIND/FINDB函数
- 2．SEARCH/SEARCHB函数
- 3．REPLACE/REPLACEB函数
- 4．SUBSTITUTE函数
- 5.2.4 字符串截取
- 1．LEFT/LEFTB函数
- 2．RIGHT/RIGHTB函数
- 3．MID/MIDB函数
- 4．LEN/LENB函数
- 5.2.5 数据的转置
- 5.2.6 数据的查询和引用
- 1．OFFSET函数
- 2．LOOKUP函数（向量形式）
- 3．LOOKUP函数（数组形式）
- 4．HLOOKUP函数
- 5．VLOOKUP函数
- 5.2.7 字母与数字的转换
- 1．LOWER函数
- 2．PROPER函数
- 3．UPPER函数
- 4．DOLLAR函数或RMB函数
- 5．TEXT函数
- 5.3 Excel数据抽取与合并
- 5.3.1 值的抽取
- 1．MATCH函数
- 2．INDEX函数
- 3．INDEX与MATCH函数的联合应用
- 5.3.2 数据合并
- 5.3.3 字段合并
- 1．连接符“&”
- 2．CONCATENATE函数
- 5.4 案例：房价行情的对比分析
- 5.4.1 数据获取
- 5.4.2 数据预处理与分析
- 1．ISBLANK查找是否存在空值
- 2．SUMIF按条件求和
- 3．COUNTIF按条件计数
- 4．RANK排序
- 5．LOOKUP条件查找
- 5.5 本章小结
- 5.6 习题
- 06
- 第6章 Python数据预处理
- 6.1 Python数据预处理基础
- 6.1.1 科学计算库NumPy
- 1．一维数组的创建
- 2．多维数组的创建
- 3．NumPy的数据类型
- 4．NumPy数组的运算
- 5．NumPy数组的索引
- 6．整数数组索引
- 7．布尔数组索引
- 6.1.2 数据分析库pandas
- 1．创建Series对象
- 2．查看和操作Series对象
- 3．创建DataFrame对象
- 4．DataFrame对象的操作
- 5．DataFrame对象的常用数据筛选方法
- 6．DataFrame对象的常用数据预处理方法
- 6.2 数据的分组、分割、合并和变形
- 6.2.1 数据分组
- 1．groupby()函数的应用
- 2．过滤和转换
- 6.2.2 数据分割
- 6.2.3 数据合并
- 1．NumPy数组的合并
- 2．pandas数组的合并
- 6.2.4 数据变形
- 1．重塑层次化索引
- 2．轴向转换
- 6.3 缺失值、异常值和重复值处理
- 6.3.1 缺失值处理
- 1．None型缺失值
- 2．NaN型缺失值
- 3．NaT型缺失值
- 4．缺失值的处理方法
- 6.3.2 异常值处理
- 1．基于箱形图分析、检测异常值
- 2．使用均值和标准差进行异常值判断
- 3．异常值的处理方法
- 6.3.3 重复值处理
- 6.4 时间序列数据处理
- 6.4.1 时间序列的基本操作
- 6.4.2 固定频率的时间序列
- 6.4.3 时间周期及其计算
- 6.5 文本数据分析
- 6.5.1 字符串处理方法
- 6.5.2 文本数据分析工具
- 1．自然语言处理工具包NLTK
- 2．中文分词组件jieba
- 3．机器学习模型库sklearn
- 4．自然语言处理工具库gensim
- 6.5.3 正则表达式
- 6.5.4 文本预处理
- 6.6 案例：IMDb5000电影数据预处理
- 6.6.1 数据分析及代码实现
- 1．读取IMDb5000电影数据
- 2．查看数据中是否存在缺失值
- 3．删除数据中的缺失值
- 4．查看数据中是否存在重复值
- 5．查看数据的时间格式是否统一
- 6．文本数据分词处理
- 6.6.2 完整代码
- 6.7 本章小结
- 6.8 习题
- 07
- 第7章 数据可视化技术
- 7.1 数据可视化概述
- 7.1.1 数据可视化的定义
- 7.1.2 数据可视化的发展历程
- 1．1600—1699年：物理测量与早期探索
- 2．1700—1799年：图形符号与可视化萌芽期
- 3．1800—1899年：数据图形黄金发展期
- 4．1900—1949年：成熟休眠期
- 5．1950—1974年：现代复苏期
- 6．1975—2011年：交互式数据可视化
- 7．2012年至今：大数据可视化时代
- 7.1.3 数据可视化的作用
- 7.2 数据可视化的理论基础
- 7.2.1 数据可视化的流程
- 7.2.2 数据可视化的设计要素
- 1．设计组件
- 2．设计原则
- 3．图表排布
- 7.2.3 数据可视化的基础图表
- 1．折线图
- 2．条形图
- 3．散点图
- 4．饼图
- 5．图表类型的选择
- 7.2.4 数据可视化的常见工具
- 1．面向商业智能的可视化工具
- 2．基于编程语言的可视化工具
- 3．基于Web的可视化工具
- 4．其他类别的可视化工具
- 7.3 Python数据可视化方法
- 7.3.1 Matplotlib绘制基础图表
- 1．Matplotlib概述
- 2．Matplotlib绘制图形详解
- 3．Matplotlib多图绘制详解
- 7.3.2 seaborn绘制统计图
- 1．seaborn绘图风格和颜色的设置
- 2．seaborn常见的图形类型
- 3．单变量分布可视化
- 4．多变量分布可视化
- 5．双变量关系可视化
- 6．回归分析可视化
- 7．矩阵图可视化
- 8．分类数据可视化
- 7.3.3 wordcloud绘制词云图
- 1．词云图的概念
- 2．词云图的绘制
- 7.3.4 NetworkX绘制网络图
- 1．NetworkX的概念
- 2．绘制网络图
- 3．绘制《西游记》人物关系网络图
- 7.3.5 案例：重庆公开庭审数据可视化
- 1．公开庭审的案由类型比例可视化展示
- 2．高关注度的庭审直播可视化展示
- 3．公开庭审的词云图的绘制
- 4．公开庭审的网络图的绘制
- 7.4 pyecharts数据可视化方法
- 7.4.1 pyecharts简介
- 7.4.2 pyecharts应用
- 1．基础函数
- 2．数据格式
- 3．主题样式
- 7.4.3 案例：2020年东京奥运会奖牌看板
- 1．确定可视化内容
- 2．可视化模块的实现过程
- 3．可视化看板的组合
- 7.5 本章小结
- 7.6 习题
- 08-ck
- 参考文献
展开全部
大数据采集、预处理与可视化（微课版）是2023年由人民邮电出版社出版,作者葛继科。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《大数据采集、预处理与可视化（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、P...
电子书
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行...
电子书
本书知识框架可分为三部分。第一部分（第1章）阐述Python开发环境的搭建与使用；第二部分（第2章～第7章）阐述Python程序设计的基础知识，包括内置类型、运算符与内置函数，...
电子书
本书共12章，主要内容包括第1章介绍数据可视化的基础知识，第2章介绍Python数据可视化库及其参数配置，第3章介绍时序数据的可视化，并通过实际案例讲解其可视化方法，第4章介绍...
电子书
本书注重基础、循序渐进，系统地讲述了Microsoft推出的智能商业数据分析软件PowerBI的相关基础知识，涵盖了安装PowerBIDesktop、获取数据、查询编辑器、数据...
电子书
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持...