第一篇

大数据基础

本篇内容

本篇介绍大数据（Big Data）的基本概念、影响和应用领域，并阐述大数据、云计算和物联网的相互关系，还介绍了大数据处理架构Hadoop。由于Ha-doop已经成为应用最广泛的大数据技术，因此本书的大数据相关技术主要围绕Hadoop展开，包括Hadoop、MapReduce、HDFS和HBase。本篇内容是学习后续内容的基础。

本篇包括2章。第1章介绍大数据的概念和应用，分析了大数据、云计算和物联网的相互关系；第2章介绍大数据处理架构Hadoop。

知识地图

重点与难点

重点为理解大数据的概念，大数据对科学研究、思维方式和社会发展的影响，以及大数据处理架构Hadoop。难点为掌握Hadoop的安装与使用方法。

第1章

大数据概述

大数据时代悄然来临，带来了信息技术发展的巨大变革，并深刻影响着社会生产和人民生活的方方面面。全球范围内，世界各国政府均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。企业和学术机构纷纷加大技术、资金和人员投入力度，加强对大数据关键技术的研发与应用，以期在“第三次信息化浪潮”中占得先机、引领市场。大数据已经不是“镜中花、水中月”，它的影响力和作用力正迅速触及社会的每个角落，所到之处，或是颠覆，或是提升，都让人们深切感受到了大数据实实在在的威力。

对于一个国家而言，能否紧紧抓住大数据发展机遇，快速形成核心技术和应用参与新一轮的全球化竞争，将直接决定未来若干年世界范围内各国科技力量博弈的格局。大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任，因此，各高等院校非常重视大数据课程的开设，大数据课程已经成为计算机科学与技术专业的重要核心课程。

本章首先介绍了大数据的发展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业发展，并阐述了云计算、物联网的概念及其与大数据之间的紧密关系。

1.1　大数据时代

第三次信息化浪潮涌动，大数据时代全面开启。人类社会信息科技的发展为大数据时代的到来提供了技术支撑，而数据产生方式的变革是促进大数据时代到来至关重要的因素。

1.1.1　第三次信息化浪潮

根据IBM前首席执行官郭士纳的观点，IT领域每隔15年就会迎来一次重大变革（见表1-1）。1980年前后，个人计算机（PC）开始普及，使得计算机走入企业和千家万户，大大提高了社会生产力，也使人类迎来了第一次信息化浪潮，Intel、IBM、苹果、微软、联想等企业是这个时期的标志。随后，在1995年前后，人类开始全面进入互联网时代，互联网的普及把世界变成“地球村”，每个人都可以自由徜徉于信息的海洋，由此，人类迎来了第二次信息化浪潮，这个时期也缔造了雅虎、谷歌、阿里巴巴、百度等互联网巨头。时隔15年，在2010年前后，云计算、大数据、物联网的快速发展，拉开了第三次信息化浪潮的大幕，大数据时代已经到来，也必将涌现出一批新的市场标杆企业。

表1-1　三次信息化浪潮

信息化浪潮发生时间标志解决的问题代表企业

第一次浪潮1980年前后个人计算机信息处理

Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等

第二次浪潮1995年前后互联网信息传输

雅虎、谷歌、阿里巴巴、百度、腾讯等

第三次浪潮2010年前后物联网、云计算和大数据信息爆炸

亚马逊、谷歌、IBM、VM-Ware、Palantir、Hortonw-orks、Cloudera、阿里云等

1.1.2　信息科技为大数据时代提供技术支撑

信息科技需要解决信息存储、信息传输和信息处理3个核心问题，人类社会在信息科技领域的不断进步，为大数据时代的到来提供了技术支撑。

1. 存储设备容量不断增加