第1章

大数据发展面临窘境，区块链技术异军突起

随着大数据行业的飞速发展，行业的技术窘境也日益明显。由于技术的深入，人们发现现有的大数据产业面临着优质可用数据少、信息壁垒严重、数据处理有困境、实践应用障碍多、云管理失误多五大困境。而这些困境是由现有技术手段的不足造成的，因此，必须依靠新技术才能够突破大数据行业的瓶颈。

在大数据的发展面临窘境的同时，区块链技术异军突起，经历了三个发展阶段后成功为各大行业带来了新的曙光。本章将从源头开始分别介绍大数据和区块链技术，并对两者的应用现状进行详细阐述。

1.1 大数据产业发展的三大基石：云计算、物联网、移动互联网技术

大数据从第一次出现，就和移动互联网紧密地联系在一起，可以这么说，正是因为移动互联网的飞速发展带动了互联网数据的海量增长，从而推动了大数据行业的产生和发展。随着大数据的发展，云计算、物联网也随之出现并成为了大数据产业的坚强后盾。在当今“数据为王”的社会中，大数据产业的三大基石都具有举足轻重的作用。

1.1.1 云计算

云计算是指通过从云端来获取所需要的服务内容，所谓“云端”就是指网络资源。一般来说，“云”中的资源是可以无限扩展的，使用者可以随时按需获取和使用这些资源，也可以随时扩展资源内容，然后按照对资源的使用情况付费。由于云计算的这种特性类似于日常生活中的水电资源服务，因此它也被称作IT基础设施。

如果将云计算的概念扩大化，把它扩张到服务领域，那么所有通过网络来满足用户需求并且易扩展的服务都可以称作云计算，这种服务可以是互联网相关的硬件、软件，也可以是存储、下载等其他服务。

云计算的典型应用就是苹果iCloud。在iCloud上，苹果用户不仅可以上传各种资料以节省硬盘空间，还能够同步不同苹果设备中的文件、日程等，如果用户在某一台设备上对云端的资料进行了修改，iCloud还能够帮助用户同步到其他苹果设备并对旧文件进行备份以备用户需要。iCloud为用户提供了免费的5 G云端硬盘空间，如果用户有需求，可以付费扩容并享受更多服务。

从iCloud的使用模式可以看出，云计算服务提供了一种分布式架构——多个智能终端共同同步云端资料，而大数据的应用处理必然无法依靠单独的计算机，必须使用分布式架构，因此云计算刚好能够为大数据处理提供便利条件。

从技术上看，大数据和云计算的关系就像一枚硬币的正反两面一样相辅相成、密不可分。依托云计算的分布式架构和云端存储、虚拟化技术，大数据能够充分发挥它对海量数据的挖掘能力。从整体上看，云计算为大数据处理提供了计算资源的底层架构，是上层数据分析处理软件的基础。

那么，云计算为何能够帮助大数据将庞大的数据信息转化成经济效益呢？这里主要包括以下四个方面的原因，如图1-1所示。

1. 作为提取大数据的前提

在数据量不断增长的信息社会，获得足够多的数据才是企业从大数据中获得利益的前提。而想要提取出大数据，来自于各种云端强大的云计算能力必不可少。云端不仅为提取大数据提供了足够的硬盘空间，还能够以较低的成本提取尽量多的数据资源，这一点在大数据产品普遍偏贵的条件下显得尤为重要。

图1-1　云计算帮助大数据的具体表现

2. 过滤无效数据

在大数据的初次收集中，有接近90%的数据属于无效数据，这是由互联网数据本身的特点决定的。既然无法保证数据全部有效，那么就必须找到一种技术过滤掉无效数据。一般来说需要重点过滤掉的无效数据有两大类，一是大量的临时缓存信息，二是公司防火墙外的网络数据。

由于云计算可以按照需求进行扩展计算和存储资源，所以经过一定的设计后云计算就可用来过滤这些无效数据，常见的公有云就是用于过滤来自公司防火墙外部的无效网络数据的最佳工具。