本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术，以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。本书内容实用，可操作性强，语言精练、通俗易懂，可作为高等院校计算机
电子书
内容简介
为了适应数字经济时代的新发展趋势，培养新时代大数据专业人才，编者通过总结多年的教学经验，借鉴国内外相关领域的教学优势，详细剖析大数据采集、预处理与可视化的基础理论、关键技术、相关工具和应用案例，进而编成本书。 本书是集理论与实践于一体的应用型教材。全书共7章，包括大数据概述、Python程序设计、大数据采集、大数据预处理技术、Excel数据获取与预处理、Python数据预处理、数据可视化技术。本书在编写中着重介绍基本原理，同时突出工程应用，并以清晰、容易理解的方式展现大数据采集、预处理与可视化的基础知识、基本任务、常用方法、实用场景和主要流程，力图做到基本概念准确、阐述条理清晰、主体内容精练、重点难点突出、理论联系实际。此外，本书还将反映相关领域新技术的发展情况。 本书可作为计算机、人工智能、大数据、电子商务、电气、电子、统计学、会计学等相关专业的大数据技术类课程的教材，也可供相关领域的科技人员参考使用，还可作为数据分析及应用类认证培训课程用书。
章节目录
- A-fy
- 61435-bq
- C-tjx
- D-qy
- ( 时代背景
- ( 本书特点
- 1．知识讲解宜读易懂，语言表述顺畅自然
- 2．系统构建知识体系，培养读者的大数据思维
- 3．理论与实践相结合，注重培养实战型人才
- ( 本书内容
- ( 配套资源
- ( 编者团队
- ( 编者致谢
- E-ml
- 01
- 第1章 大数据概述
- 1.1 大数据时代
- 1.2 大数据的相关概念及特征
- 1.2.1 大数据的概念
- 1．大数据重新定义了数据的价值
- 2．大数据为智能化社会奠定了基础
- 3．大数据促进了社会资源的数据化进程
- 1.2.2 大数据的发展历程
- 1．萌芽期（20世纪90年代至21世纪初）
- 2．成熟期（21世纪初至2010年）
- 3．应用期（2011年至今）
- 1.2.3 大数据的特征
- 1．数据总量大
- 2．数据类型多
- 3．数据处理速度快
- 4．价值性
- 5．真实性
- 1.2.4 大数据的作用
- 1．大数据代表了一条新的产业链
- 2．大数据开辟出新的价值空间
- 3．大数据促进了行业领域的创新发展
- 1.2.5 大数据的应用领域
- 1.2.6 大数据的关键技术
- 1．大数据采集技术
- 2．大数据预处理技术
- 3．大数据存储与管理技术
- 4．大数据计算模式
- 5．大数据分析与挖掘技术
- 6．大数据展示与可视化技术
- 7．大数据安全技术
- 1.3 大数据系统简介
- 1.3.1 Hadoop生态系统
- 1．HDFS
- 2．YARN
- 3．MapReduce
- 4．HBase
- 5．Tez
- 6．Hive
- 7．Pig
- 8．Mahout
- 9．Oozie
- 10．ZooKeeper
- 11．Flume
- 12．Sqoop
- 13．Ambari
- 1.3.2 Spark生态系统
- 1．部署模式
- 2．数据存储
- 3．Spark核心
- 4．四大组件
- 1.4 大数据思维
- 1.4.1 传统思维方式
- 1．中国的传统思维方式
- 2．西方的传统思维方式
- 1.4.2 大数据思维方式
- 1．数据价值原理
- 2．全数据样本原理
- 3．关注效率原理
- 4．数据驱动的方法
- 1.5 大数据伦理
- 1.5.1 大数据伦理的由来
- 1.5.2 大数据的伦理问题
- 1．数字身份问题
- 2．隐私泄露问题
- 3．信息安全问题
- 4．数字鸿沟问题
- 1.5.3 大数据的伦理原则
- 1．无害性原则
- 2．权责统一原则
- 3．尊重自主原则
- 4．参与原则
- 5．隐私原则
- 6．诚信原则
- 1.6 大数据安全
- 1.6.1 数据全生命周期安全
- 1．数据采集安全
- 2．数据存储安全
- 3．数据传输安全
- 4．数据使用安全
- 5．数据加工安全
- 6．数据提供安全
- 7．数据公开安全
- 8．数据销毁安全
- 1.6.2 大数据安全防护技术
- 1．大数据资产梳理技术
- 2．大数据安全审计技术
- 3．大数据脱敏技术
- 4．大数据脆弱性检测技术
- 5．大数据应用访问控制
- 1.7 本章小结
- 1.8 习题
- 02
- 第2章 Python程序设计
- 2.1 Python的安装与运行
- 2.1.1 Python的特点
- 2.1.2 Python的下载与安装
- 2.1.3 Python程序的运行
- 1．交互式启动和运行方法
- 2．文件式启动和运行方法
- 2.1.4 第三方软件包的安装
- 1．pip常用命令
- 2．第三方软件包资源网站
- 3．离线安装软件包
- 4．软件包安装实例
- 2.1.5 Python编程规范
- 1．行长度
- 2．长语句续行
- 3．空格
- 4．空行
- 5．引号
- 6．一行多条语句
- 7．Python程序入口
- 8．代码缩进
- 9．其他
- 2.2 数据类型与运算符
- 2.2.1 数字和字符串
- 1．数字
- 2．字符串
- 2.2.2 列表和元组
- 1．列表
- 2．元组
- 2.2.3 字典和集合
- 1．字典
- 2．集合
- 2.2.4 运算符
- 1．算术运算符
- 2．逻辑运算符
- 3．关系运算符
- 4．位运算符
- 5．赋值运算符
- 6．成员运算符
- 7．身份运算符
- 8．运算符的优先级
- 2.3 程序控制结构
- 2.3.1 程序流程图
- 2.3.2 顺序结构
- 2.3.3 选择结构
- 1．单分支结构
- 2．二分支结构
- 3．多分支结构
- 2.3.4 循环结构
- 1．遍历循环：for语句
- 2．无限循环：while语句
- 3．break和continue
- 2.4 函数与模块
- 2.4.1 函数的使用
- 2.4.2 函数的参数传递
- 1．位置参数
- 2．关键字参数
- 3．默认值参数
- 4．可变长度参数
- 5．只接收关键字参数的函数
- 6．解包操作符
- 2.4.3 全局变量与局部变量
- 2.4.4 匿名函数
- 2.4.5 模块
- 2.5 文件
- 2.5.1 文件的打开与关闭
- 1．文件的打开
- 2．文件的关闭
- 2.5.2 文件的读取与写入
- 1．文件的读取
- 2．文件的写入
- 2.5.3 文件的定位
- 2.6 本章小结
- 2.7 习题
- 03
- 第3章 大数据采集
- 3.1 大数据采集概述
- 3.1.1 大数据采集的概念
- 1．结构化数据
- 2．非结构化数据
- 3．半结构化数据
- 3.1.2 大数据采集的数据源
- 1．传统商业数据
- 2．日志数据
- 3．社交网络数据
- 4．物联网数据
- 3.1.3 大数据采集方法
- 1．系统日志采集
- 2．网络爬虫
- 3．ETL工具
- 3.1.4 大数据采集平台
- 1．Flume
- 2．Fluentd
- 3．Logstash
- 4．Chukwa
- 3.2 网络爬虫技术
- 3.2.1 网络爬虫概述
- 3.2.2 常用网络爬虫方法
- 1．通用网络爬虫
- 2．主题网络爬虫
- 3．增量式网络爬虫
- 4．深度网络爬虫
- 3.2.3 网页数据采集的实现
- 1．urllib库
- 2．requests库
- 3．BeautifulSoup库
- 3.2.4 常用网络爬虫工具
- 1．Googlebot
- 2．百度蜘蛛
- 3．Apache Nutch
- 4．火车采集器
- 5．八爪鱼采集器
- 3.2.5 电影评论爬取
- 3.3 数据抽取技术
- 3.3.1 数据抽取概述
- 1．数据抽取的含义
- 2．数据抽取流程
- 3.3.2 Kettle简介与其安装
- 1．Kettle软件简介
- 2．Kettle的安装
- 3.3.3 文本数据抽取
- 3.3.4 网页数据抽取
- 3.4 案例：网络租房信息采集
- 3.4.1 网络爬虫采集数据
- 3.4.2 抽取租房信息
- 3.5 本章小结
- 3.6 习题
- 04
- 第4章 大数据预处理技术
- 4.1 数据预处理概述
- 4.1.1 数据质量
- 1．数据的正确性、完整性和一致性影响数据质量
- 2．数据的相关性和时效性影响数据质量
- 3．数据的可信性与可解释性影响数据质量
- 4.1.2 数据预处理的主要任务
- 4.2 数据清洗
- 4.2.1 缺失值处理方法
- 1．删除缺失值
- 2．人工填补
- 3．均值/中位数/众数填充法
- 4.2.2 噪声数据处理方法
- 1．分箱法
- 2．3σ原则
- 3．箱形图法
- 4.2.3 冗余数据处理方法
- 1．重复过滤
- 2．条件过滤
- 4.2.4 数据格式与内容处理方法
- 1．时间、日期、数值、全半角等显示格式不一致
- 2．内容中有不该存在的字符
- 3．内容与该字段应有内容不符
- 4.3 数据集成
- 4.3.1 实体识别问题
- 4.3.2 冗余问题
- 1．标称数据的 检验
- 2．数值数据的相关系数
- 3．数值数据中的协方差
- 4.3.3 数据值冲突的检测与处理
- 4.4 数据变换
- 4.4.1 数据规范化
- 4.4.2 通过离散化变换数据
- 4.5 数据归约
- 4.5.1 过滤法
- 1．方差选择法
- 2．相关系数法
- 3．卡方检验法
- 4.5.2 包装法
- 4.5.3 嵌入法
- 1．基于惩罚项的特征选择法
- 2．基于树模型的特征选择法
- 4.6 数据脱敏
- 4.6.1 数据脱敏类型
- 4.6.2 数据脱敏方法
- 1．仿真
- 2．数据替换
- 3．对称加密
- 4．数据截取
- 5．数据混淆
- 6．平均化
- 4.7 案例：汽车行驶工况数据预处理
- 4.7.1 案例背景
- 4.7.2 数据描述
- 4.7.3 数据预处理
- 4.8 本章小结
- 4.9 习题
- 05
- 第5章 Excel数据获取与预处理
- 5.1 Excel数据获取
- 5.1.1 获取文本数据
- 5.1.2 获取网站数据
- 5.1.3 获取数据库中的数据
- 5.2 Excel数据清洗与转换
- 5.2.1 常用数据分析函数
- 1．IS类函数
- 2．统计计算类函数
- 5.2.2 删除重复行
- 1．选择不重复的记录
- 2．删除重复值
- 3．删除空格和非输出字符
- 5.2.3 文本查找与替换
- 1．FIND/FINDB函数
- 2．SEARCH/SEARCHB函数
- 3．REPLACE/REPLACEB函数
- 4．SUBSTITUTE函数
- 5.2.4 字符串截取
- 1．LEFT/LEFTB函数
- 2．RIGHT/RIGHTB函数
- 3．MID/MIDB函数
- 4．LEN/LENB函数
- 5.2.5 数据的转置
- 5.2.6 数据的查询和引用
- 1．OFFSET函数
- 2．LOOKUP函数（向量形式）
- 3．LOOKUP函数（数组形式）
- 4．HLOOKUP函数
- 5．VLOOKUP函数
- 5.2.7 字母与数字的转换
- 1．LOWER函数
- 2．PROPER函数
- 3．UPPER函数
- 4．DOLLAR函数或RMB函数
- 5．TEXT函数
- 5.3 Excel数据抽取与合并
- 5.3.1 值的抽取
- 1．MATCH函数
- 2．INDEX函数
- 3．INDEX与MATCH函数的联合应用
- 5.3.2 数据合并
- 5.3.3 字段合并
- 1．连接符“&”
- 2．CONCATENATE函数
- 5.4 案例：房价行情的对比分析
- 5.4.1 数据获取
- 5.4.2 数据预处理与分析
- 1．ISBLANK查找是否存在空值
- 2．SUMIF按条件求和
- 3．COUNTIF按条件计数
- 4．RANK排序
- 5．LOOKUP条件查找
- 5.5 本章小结
- 5.6 习题
- 06
- 第6章 Python数据预处理
- 6.1 Python数据预处理基础
- 6.1.1 科学计算库NumPy
- 1．一维数组的创建
- 2．多维数组的创建
- 3．NumPy的数据类型
- 4．NumPy数组的运算
- 5．NumPy数组的索引
- 6．整数数组索引
- 7．布尔数组索引
- 6.1.2 数据分析库pandas
- 1．创建Series对象
- 2．查看和操作Series对象
- 3．创建DataFrame对象
- 4．DataFrame对象的操作
- 5．DataFrame对象的常用数据筛选方法
- 6．DataFrame对象的常用数据预处理方法
- 6.2 数据的分组、分割、合并和变形
- 6.2.1 数据分组
- 1．groupby()函数的应用
- 2．过滤和转换
- 6.2.2 数据分割
- 6.2.3 数据合并
- 1．NumPy数组的合并
- 2．pandas数组的合并
- 6.2.4 数据变形
- 1．重塑层次化索引
- 2．轴向转换
- 6.3 缺失值、异常值和重复值处理
- 6.3.1 缺失值处理
- 1．None型缺失值
- 2．NaN型缺失值
- 3．NaT型缺失值
- 4．缺失值的处理方法
- 6.3.2 异常值处理
- 1．基于箱形图分析、检测异常值
- 2．使用均值和标准差进行异常值判断
- 3．异常值的处理方法
- 6.3.3 重复值处理
- 6.4 时间序列数据处理
- 6.4.1 时间序列的基本操作
- 6.4.2 固定频率的时间序列
- 6.4.3 时间周期及其计算
- 6.5 文本数据分析
- 6.5.1 字符串处理方法
- 6.5.2 文本数据分析工具
- 1．自然语言处理工具包NLTK
- 2．中文分词组件jieba
- 3．机器学习模型库sklearn
- 4．自然语言处理工具库gensim
- 6.5.3 正则表达式
- 6.5.4 文本预处理
- 6.6 案例：IMDb5000电影数据预处理
- 6.6.1 数据分析及代码实现
- 1．读取IMDb5000电影数据
- 2．查看数据中是否存在缺失值
- 3．删除数据中的缺失值
- 4．查看数据中是否存在重复值
- 5．查看数据的时间格式是否统一
- 6．文本数据分词处理
- 6.6.2 完整代码
- 6.7 本章小结
- 6.8 习题
- 07
- 第7章 数据可视化技术
- 7.1 数据可视化概述
- 7.1.1 数据可视化的定义
- 7.1.2 数据可视化的发展历程
- 1．1600—1699年：物理测量与早期探索
- 2．1700—1799年：图形符号与可视化萌芽期
- 3．1800—1899年：数据图形黄金发展期
- 4．1900—1949年：成熟休眠期
- 5．1950—1974年：现代复苏期
- 6．1975—2011年：交互式数据可视化
- 7．2012年至今：大数据可视化时代
- 7.1.3 数据可视化的作用
- 7.2 数据可视化的理论基础
- 7.2.1 数据可视化的流程
- 7.2.2 数据可视化的设计要素
- 1．设计组件
- 2．设计原则
- 3．图表排布
- 7.2.3 数据可视化的基础图表
- 1．折线图
- 2．条形图
- 3．散点图
- 4．饼图
- 5．图表类型的选择
- 7.2.4 数据可视化的常见工具
- 1．面向商业智能的可视化工具
- 2．基于编程语言的可视化工具
- 3．基于Web的可视化工具
- 4．其他类别的可视化工具
- 7.3 Python数据可视化方法
- 7.3.1 Matplotlib绘制基础图表
- 1．Matplotlib概述
- 2．Matplotlib绘制图形详解
- 3．Matplotlib多图绘制详解
- 7.3.2 seaborn绘制统计图
- 1．seaborn绘图风格和颜色的设置
- 2．seaborn常见的图形类型
- 3．单变量分布可视化
- 4．多变量分布可视化
- 5．双变量关系可视化
- 6．回归分析可视化
- 7．矩阵图可视化
- 8．分类数据可视化
- 7.3.3 wordcloud绘制词云图
- 1．词云图的概念
- 2．词云图的绘制
- 7.3.4 NetworkX绘制网络图
- 1．NetworkX的概念
- 2．绘制网络图
- 3．绘制《西游记》人物关系网络图
- 7.3.5 案例：重庆公开庭审数据可视化
- 1．公开庭审的案由类型比例可视化展示
- 2．高关注度的庭审直播可视化展示
- 3．公开庭审的词云图的绘制
- 4．公开庭审的网络图的绘制
- 7.4 pyecharts数据可视化方法
- 7.4.1 pyecharts简介
- 7.4.2 pyecharts应用
- 1．基础函数
- 2．数据格式
- 3．主题样式
- 7.4.3 案例：2020年东京奥运会奖牌看板
- 1．确定可视化内容
- 2．可视化模块的实现过程
- 3．可视化看板的组合
- 7.5 本章小结
- 7.6 习题
- 08-ck
- 参考文献
展开全部
大数据采集、预处理与可视化（微课版）是2023年由人民邮电出版社出版,作者葛继科。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据采集、预处理与可视化（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。
电子书
本书以JupyterNotebook为主要开发工具，全面地介绍数据预处理的相关知识。全书共分8章，内容分别为初识Python数据预处理、数据获取与存储、数据清洗、数据集成、数据变换、数据规约、综合实战：家用热水器用户行为分析以及两个综合实战项目。每个章节均配置了丰富的示例或案例，通过本书的学习，读者可以充分理解常用数据预处理方法的精髓、掌握具体技术细节，并在实践中提升实际开发能力，为数据分析和机器
电子书
本书的设计和编写目标是培养读者的数据思维能力和数据预处理能力，内容具有典型性和实用性，系统介绍基于Python的数据预处理的流程和技术。全书共8个单元，单元1介绍数据预处理的基础知识，单元2介绍Python数据预处理的库pandas的用法及主要数据对象的用法，单元3～单元7依次介绍数据预处理流程中数据获取、数据合并、数据清洗、数据变换和数据描述等相关知识和技术。为突出培养读者的动手能力，本书单元2
电子书
本书主要介绍如何利用Kettle和Python这两个具有代表性的工具进行数据预处理的相关技术与方法，包括数据抽取、数据清洗、数据集成、数据变换等。全书有9章，内容涉及数据采集、环境部署、Kettle安装及应用、pandas应用，以及数据可视化的基础内容。本书采用任务式编写形式，将大数据预处理技术的理论和实现分解到一个个任务中，融入到一个个典型案例中，让读者在完成各任务的同时掌握和理解相关内容。本书
电子书
本书知识框架可分为三部分。第一部分（第1章）阐述Python开发环境的搭建与使用；第二部分（第2章～第7章）阐述Python程序设计的基础知识，包括内置类型、运算符与内置函数，程序控制结构，列表与元组，字典与集合，字符串，函数；第三部分（第8章～第10章）阐述不同场景下Python数据采集的方法与应用，包括基于文件和设备的数据采集、基于SQLite数据库的数据采集、基于网页的数据采集。本书通过大量
电子书
本书共12章，主要内容包括第1章介绍数据可视化的基础知识，第2章介绍Python数据可视化库及其参数配置，第3章介绍时序数据的可视化，并通过实际案例讲解其可视化方法，第4章介绍金融数据的可视化，并通过实际案例讲解其可视化方法，第5章介绍空间数据的可视化，并通过实际案例讲解其可视化方法，第6章介绍地理数据的可视化，并通过实际案例讲解其可视化方法，第7章介绍层次数据的可视化，并通过实际案例讲解其可视化
电子书
本书共10章，主要内容包括：Tableau数据可视化概述、Tableau连接数据源、Tableau基础操作、Tableau高级操作、Tableau数据可视化、Tableau仪表板和故事等。
