由华为数据通信数字化信息开发部和数据通信架构与设计部联合编写 基于华为在全球范围的丰富商用交付经验 聚焦新一代网络技术的发展热点 聚集华为数据通信产品线的一线专家和技术人员的研发成果 提供性能高、体验优、组网强、应用很好创新解决方案 针对未来万物高速、实时互联的海量应用场景，为满足大变革时代全新的企业需求痛点，提供充分发挥AI算力的、业界领先的解决方案，介绍如何构建智简、弹性、开放的数据中心网络。
电子书
编辑推荐
2014年天猫双11购物狂欢节成交额创下了571.12亿元的纪录!
交易创建峰值能力达到每秒钟8万笔，支付宝的支付峰值突破了每分钟285万笔。
成功创下这项纪录背后，有ODPS很大的功劳！
阿里巴巴集团副总裁刘振飞表示，云计算在今年双11 起到了非常重要的基础性作用。天猫、淘宝、支付宝的大数据处理，都是基于阿里云计算的大数据处理平台ODPS 完成，ODPS为天猫双十一的商品个性化推荐提供了技术支持，这是自主研发能力的一个很大提升。
ODPS（Open Data Processing Service）是阿里巴巴自主研发的海量数据处理和分析的服务平台，主要应用于数据分析、海量数据统计、数据挖掘、机器学习和商业智能等领域。目前，ODPS不仅在阿里内部得到广泛应用，享有很好的口碑，正逐步走向第三方开放市场
本书是学习和掌握ODPS的专业指南，作者来自阿里ODPS团队。
本书包括以下重要内容：
ODPS概览及其基本知识；
如何高效地使用ODPS SQL；
MapReduce编程和进阶应用；
ODPS机器学习算法；
ODPS权限、资源和数据管理；
深入了解ODPS体系结构和高级机制。
书中所有示例代码都可以通过https://github.com/duckrun/odps_book免费下载。
内容简介
ODPS（Open Data Processing Service）是阿里巴巴自主研发的海量数据处理和分析的服务平台，主要应用于数据分析、海量数据统计、数据挖掘、机器学习和商业智能等领域。目前，ODPS不仅在阿里内部得到广泛应用，享有很好的口碑，正逐步走向第三方开放市场。
本书是学习和掌握ODPS的专业指南，作者来自阿里ODPS团队。全书共13章，主要内容包括：ODPS入门、整体架构、数据通道、MapReduce编程、SQL查询分析、安全，以及基于真实数据的各种场景分析实战。本书基于很多范例解析，通过在各种应用场景下的示例来说明如何通过ODPS完成各种需求，以期引导读者从零开始轻松掌握和使用ODPS。同时，本书不局限于示例分析，也致力于提供更多关于大数据处理的编程思想和经验分享。书中所有示例代码都可以在作者提供的网站上免费下载。
本书适合想要了解和使用ODPS的读者阅读学习，对于从事大数据存储和应用以及分布式计算的专业人士来说，也是很好的参考资料。
章节目录
- 封面
- 扉页
- 推荐序一
- 推荐序二
- 推荐序三
- 作者简介
- 前言
- 第1章 ODPS概述
- 1.1 引言
- 1.2 初识ODPS
- 1.2.1 背景和挑战
- 1.2.2 为什么做ODPS
- 1.2.3 ODPS是什么
- 1.2.4 ODPS做什么
- 1.3 基本概念
- 1.3.1 账号（Account）
- 1.3.2 项目空间（Project）
- 1.3.3 表（Table）
- 1.3.4 分区（Partition）
- 1.3.5 任务（Task）、作业（Job）和作业实例（Instance）
- 1.3.6 资源（Resource）
- 1.4 应用开发模式
- 1.4.1 RESTful API
- 1.4.2 ODPS SDK
- 1.4.3 ODPS CLT
- 1.4.4 管理控制台
- 1.4.5 IDE
- 1.5 一些典型场景
- 1.5.1 阿里金融数据仓库
- 1.5.2 CNZZ数据仓库
- 1.5.3 支付宝账号影响力圈
- 1.5.4 阿里金融水文衍生算法
- 1.5.5 阿里妈妈广告CTR预估
- 1.6 现状和前景
- 1.7 小结
- 第2章 ODPS入门
- 2.1 准备工作
- 2.1.1 创建云账号
- 2.1.2 开通 ODPS 服务
- 2.2 使用管理控制台
- 2.3 配置ODPS客户端
- 2.3.1 下载和配置CLT
- 2.3.2 准备dual表
- 2.3.3 CLT运行模式
- 2.3.4 下载和配置dship
- 2.3.5 通过dship上传下载数据
- 2.4 网站日志分析实例
- 2.4.1 场景和数据说明
- 2.4.2 需求分析
- 2.4.3 数据准备
- 2.4.4 创建表并添加分区
- 2.4.5 数据解析和导入
- 2.4.6 数据加工
- 2.4.7 数据分析
- 2.4.8 自动化运行
- 2.4.9 应用数据集市
- 2.4.10 结果导出
- 2.4.11 结果展现
- 2.4.12 删除数据
- 2.4.13 解决方案：采云间
- 2.5 获取帮助
- 2.6 小结
- 第3章 收集海量数据
- 3.1 dship工具
- 3.2 收集Web日志
- 3.2.1 场景和需求说明
- 3.2.2 问题分析和设计
- 3.2.3 实现说明
- 3.2.4 进一步探讨
- 3.2.5 为什么这么难
- 3.2.6 解决方案：SLS
- 3.3 MySQL数据同步到ODPS
- 3.3.1 场景和需求说明
- 3.3.2 问题分析和实现
- 3.3.3 进一步探讨
- 3.4 下载结果表
- 3.5 小结
- 第4章 使用SQL处理海量数据
- 4.1 ODPS SQL是什么
- 4.2 入门示例
- 4.2.1 场景说明
- 4.2.2 简单的DDL操作
- 4.2.3 生成数据
- 4.2.4 单表查询
- 4.2.5 多表连接JOIN
- 4.2.6 高级查询
- 4.2.7 多表关联UNION ALL
- 4.2.8 多路输出（MULTI-INSERT）
- 4.3 网站日志分析
- 4.3.1 准备数据和表
- 4.3.2 维度表
- 4.3.3 访问路径分析
- 4.3.4 TopK查询
- 4.3.5 IP黑名单
- 4.4 天猫品牌预测
- 4.4.1 主题说明和前期准备
- 4.4.2 理解数据
- 4.4.3 两个简单的实践
- 4.4.4 问题分析和算法设计
- 4.4.5 生成特征
- 4.4.6 抽取正负样本
- 4.4.7 生成模型
- 4.4.8 验证模型
- 4.4.9 预测结果
- 4.4.10 进一步探讨
- 4.5 小结
- 第5章 SQL进阶
- 5.1 UDF是什么
- 5.2 入门示例
- 5.3 实际应用案例
- 5.3.1 URL解码
- 5.3.2 简单的LBS应用
- 5.3.3 网站访问日志UserAgent解析
- 5.4 SQL实现原理
- 5.4.1 词法分析
- 5.4.2 语法分析
- 5.4.3 逻辑分析
- 5.4.4 物理分析
- 5.5 SQL调优
- 5.5.1 数据倾斜
- 5.5.2 一些优化建议
- 5.5.3 一些注意事项
- 5.6 小结
- 第6章 通过Tunnel迁移数据
- 6.1 ODPS Tunnel是什么
- 6.2 入门示例
- 6.2.1 下载和配置
- 6.2.2 准备数据
- 6.2.3 上传数据
- 6.2.4 下载数据
- 6.3 Tunnel原理
- 6.3.1 数据如何传输
- 6.3.2 客户端和服务端如何交互
- 6.3.3 如何实现高并发
- 6.4 从Hadoop迁移到ODPS
- 6.4.1 问题分析
- 6.4.2 客户端实现和分析
- 6.4.3 Mapper实现和分析
- 6.4.4 编译和运行
- 6.4.5 进一步探讨
- 6.5 一些注意点
- 6.6 小结
- 第7章 使用MapReduce处理数据
- 7.1 MapReduce编程模型
- 7.2 MapReduce应用场景
- 7.3 初识ODPS MapReduce
- 7.4 入门示例
- 7.4.1 准备工作
- 7.4.2 问题分析
- 7.4.3 代码实现和分析
- 7.4.4 运行和输出分析
- 7.4.5 扩展：使用Combiner？
- 7.5 TopK查询
- 7.5.1 场景和数据说明
- 7.5.2 问题分析
- 7.5.3 具体实现分析
- 7.5.4 运行和结果输出
- 7.5.5 扩展：忽略Stop Words
- 7.5.6 扩展：数据和任务统计
- 7.5.7 扩展：MR2模型
- 7.6 SQL和MapReduce，用哪个？
- 7.7 小结
- 第8章 MapReduce进阶
- 8.1 再谈Shuffle & Sort
- 8.2 好友推荐
- 8.2.1 场景和数据说明
- 8.2.2 问题定义和分析
- 8.2.3 代码实现
- 8.3 LBS应用探讨：周边定位
- 8.3.1 场景和数据说明
- 8.3.2 问题定义和分析
- 8.3.3 代码实现和分析
- 8.3.4 运行和测试
- 8.4 MapReduce调试
- 8.4.1 带bug的代码
- 8.4.2 通过本地模式调试
- 8.4.3 通过Counter调试
- 8.4.4 通过log调试
- 8.5 一些注意事项
- 8.6 小结
- 第9章 机器学习算法
- 9.1 初识ODPS算法
- 9.2 入门示例
- 9.2.1 通过CLT统计分析
- 9.2.2 通过XLab统计分析
- 9.3 几个经典的算法
- 9.3.1 逻辑回归（Logistic Progression）
- 9.3.2 随机森林（Random Forest）
- 9.4 天猫品牌预测
- 9.4.1 逻辑回归
- 9.4.2 随机森林
- 9.4.3 脚本实现和自动化
- 9.4.4 进一步探讨
- 9.5 小结
- 第10章 使用SDK访问ODPS服务
- 10.1 主要的Package和接口
- 10.1.1 主要的Package
- 10.1.2 核心接口
- 10.2 入门示例
- 10.3 基于Eclipse插件开发
- 10.4 小结
- 第11章 ODPS权限、资源和数据管理
- 11.1 权限管理
- 11.1.1 账号授权
- 11.1.2 角色（Role）授权
- 11.1.3 ACL授权特点
- 11.1.4 简单的Policy授权
- 11.1.5 Role Policy
- 11.1.6 ACL授权和Policy授权小结
- 11.2 资源管理
- 11.2.1 Project内的资源管理
- 11.2.2 跨Project的资源共享
- 11.3 数据管理
- 11.3.1 表生命周期
- 11.3.2 数据归并（Merge）
- 11.3.3 跨Project数据同步
- 11.3.4 跨Project数据保护（Project Protection）
- 11.4 小结
- 第12章 深入了解ODPS
- 12.1 体系架构
- 12.1.1 客户端
- 12.1.2 接入层
- 12.1.3 逻辑层
- 12.1.4 存储/计算层
- 12.2 执行流程
- 12.2.1 提交作业
- 12.2.2 运行作业
- 12.2.3 查询作业状态
- 12.2.4 执行逻辑图
- 12.3 底层数据存储
- 12.3.1 CFILE是什么
- 12.3.2 CFILE逻辑结构
- 12.4 内聚式框架
- 12.4.1 元数据
- 12.4.2 运维管理
- 12.4.3 多控制集群和多计算集群
- 12.5 跨集群复制
- 12.5.1 数据迁移
- 12.5.2 跨集群同步
- 12.6 小结
- 第13章 探索ODPS之美
- 13.1 R语言数据探索
- 13.1.1 安装和配置
- 13.1.2 一些基本操作
- 13.1.3 分析建模
- 13.2 实时流计算
- 13.3 图计算模型
- 13.4 准实时SQL
- 13.5 机器学习平台
- 附录 ODPS消息认证机制
- 后记
- 版权
展开全部
ODPS权威指南——阿里大数据平台应用开发实践是2014年由人民邮电出版社出版,作者李妹芳。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《ODPS权威指南——阿里大数据平台应用开发实践》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
由华为数据通信数字化信息开发部和数据通信架构与设计部联合编写 基于华为在全球范围的丰富商用交付经验 聚焦新一代网络技术的发展热点 聚集华为数据通信产品线的一线专家和技术人员的研发成果 提供性能高、体验优、组网强、应用很好创新解决方案 针对未来万物高速、实时互联的海量应用场景，为满足大变革时代全新的企业需求痛点，提供充分发挥AI算力的、业界领先的解决方案，介绍如何构建智简、弹性、开放的数据中心网络。
电子书
1. 校企合 作典范。 2. 计算机教指委提供指导。 3. 华为公司提供技术支持和案例。 4. 作者水平高，层次高。 5. 是计算机类专业教指委-华为ICT产学合 作项目——大数据系列规划教材
电子书
联袂推荐 暨南大学教授、博士生导师刘建平，暨南大学研究生院副院长、经济学院统计学系副主任、教授、博士生导师陈光慧，天善智能创始人梁勇，IBM技术专家刘咏梅，IBM数据科学家钟云飞，广东省环保厅环境咨询专家委员会专家、广东柯内特环境科技有限公司总经理朱斌 本书特色 内容全面：涉及数据读取、数据处理、数据可视化、统计分析与检验、数据挖掘算法、自动建模、集成与扩展、模型部署、性能优化、数据挖掘方法论等诸多内容； 讲解透彻：既有理论的讲解，又涵盖应用的实践，而且在工具的介绍上，尽可能包括每一个选项的内容和应用形式，力求让读者“吃透”每一章节的内容； 突出实战：集行业经验、项目实践、算法剖析、应用技巧于一身，配套提供数据文件以及数据模型文件，方便读者动手实践。
电子书
在数字经济时代，数据是重要的资源要素；同时，新的数据又在源源不断地产生，企业面临的一个基本问题就是如何管理和利用这些数据，这对传统的数据处理方法与分析框架提出了新的诉求和挑战，也是全球业界与学界为关心的问题。为了满足大数据时代对信息的快速处理的需求，一个分布式的开源计算框架Apache Spark应运而生。经过十年的发展，Spark已经成为目前大数据处理的标杆，在整个业界得到了广泛的使用。对大数据工程师来说，用Spark构建数据管道无疑是很好的选择，而对数据科学家来说，Spark也是高效的数据探索工具。 本书基于Spark发行版2.4.4写作而成，包含大量的实例与一个完整项目，技术理论与实战相结合，层次分明，循序渐进。本书不仅介绍了如何开发Spark应用的基础内容，包括Spark架构、Spark编程、SparkSQL、Spark调优等，还探讨了Structured Streaming、Spark机器学习、Spark图挖掘、Spark深度学习、Alluxio系统等高级主题，同时完整实现了一个企业背景调查系统，借鉴了数据湖与Lambda架构的思想，涵盖了批处理、流处理应用开发，并加入了一些开源组件来满足业务需求。学习该系统可以使读者从实战中巩固所学，并将技术理论与应用实战融会贯通。 本书适合准备学习Spark的开发人员和数据分析师，以及准备将Spark应用到实际项目中的开发人员和管理人员阅读，也适合计算机相关专业的高年级本科生和研究生学习和参考，对于具有一定的Spark使用经验并想进一步提升的数据科学从业者也是很好的参考资料。
电子书
30小时慕课教学视频同步讲解，让学习更高效快捷 80个精彩课堂案例，12个课堂实验，1个综合案例，Java学习从入门到精通 66道习题，300道自测题，5套自测试卷，巩固所学知识 提供免费教学资源，包括精品教学PPT、案例源代码、自测题库、拓展综合案例
电子书
适读人群 ：本书可作为程序员的学习用书，也适合没有太多编程经验但又对数据结构有强烈兴趣的初学者使用，同时也可作为高等院校计算机、数学及相关专业的师生用书，或学科竞赛的辅导用书和培训学校的教材。 （1）完美图解 丰富实例，复杂问题简单化 为基本操作配以图解，用数据结构解决生活中的实际问题，学习过程更加轻松有趣。 （2）原理分析 实战演练，真正地学以致用 通俗化讲解基础知识，在实战中体会数据结构的设计和操作，锻炼独立思考的能力。 （3）配套代码 在线答疑，为学习保驾护航 提供书中的范例程序源代码、练习题以及答案解析，并在博客和QQ群中答疑解惑。