大数据和区块链区别

区块链和大数据有什么关系？

区块链和大数据都是热门话题。许多人把它们放在一起讨论，并希望与更多的热

点相冲突。大数据早于区块链的发展已经成为一个巨大的行业。尽管区块链处于

行业的早期阶段，但许多技术和商业模式仍在探索之中。

鉴于大数据行业相对成熟，我们以大数据为起点，研究区块链技术如何与大数据?

行业的各个方面进行接口。

大数据核心产业链大致可以分为以下三部分：

产品部分：包括大数据基础软件和大数据应用软件等大数据软件产品相关行业。

数据部分：包括数据源（数据收集，数据提供），数据流通（数据交易，数据共

享）以及与数据直接相关的其他行业。

服务：与大数据基础设施服务（数据存储，数据传输，数据清理，数据脱敏

等），大数据分析服务和大数据应用服务相关的服务。

01产品部分

软件产品和区块链的组合应基于技术。大数据技术和区块链技术有相似之处：它

们是分布式架构。

但它们也有明显的区别：在大数据技术中使用分布式技术是计算资源-利用多台

机器的计算资源，并将不能由单个机器处理的任务分配给多台计算机，每台计算

机。通过处理不同的任务，它集成了多种计算资源，形成强大的数据处理能力。

在区块链中使用分布式技术允许多个实体相互信任。每个大型机都通过自身控制

的计算机参与整个区块链的操作。每台计算机运行基本相同的任务，整个区块链

通过重复的冗余计算，可以实现多个实体之间的互信。

从技术角度来看，大数据技术使用信任来交换计算资源，而区块链技术则使用计

算资源来交换信任。由于这两者之间的差异，在技术上，大数据和区块链很难找

到合适的碰撞点。

02数据部分

在数据部分的各种格式中，区块链可以找到它的位置。

链的意义不大。但是，如果多个实体参与数据收集和数据提供，则区块链可以发

挥其作用。

为了解决多个实体之间的信任问题，每个实体将其自己收集的数据广播给所有消

费者，并将该数据的散列值存储在区块链中。根据区块链上的哈希值，区块链中

的每个主体都可以验证它收到的完整数据是否被篡改。区块链可追溯性和不可否

认性使得多方提供数据更加可信。同时，这种方法也有助于维护大数据的完整

性。

在数据流通行业，区块链可以发挥更大的作用。在大数据流通行业，大数据本身

就是数字资产。数字资产的交易可以通过区块链来实现。此外，区块链上实施的

分散式大数据交易可以减少原始数据联系。在分散交易平台中，只有买卖双方才

能访问原始数据;在集中交易平台上，作为交易中心的数据中介通常会接触到原始

数据，这会增加数据泄漏和资产。损失风险。

03服务部分

在大数据服务中，作为数字资产的服务能力和数据交易中的数据与资产概念相同

并且可以交易。

区块链可以在这类数字资产的交易中发挥重要作用。同时，还有许多不断改变区

块链的新技术，例如同态加密。同态加密是结合区块链和大数据服务的重要技

术。同态加密可以真正将数据服务功能转换为数字资产，而不需要大数据服务提

供商复制服务中的原始数据。风险。

大数据和区块链两者之间有个共同的关键词：分布式，代表了一种从技术权威垄断到去中心化的转变。

分布式存储：HDFSvs.区块

大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层不只是HDFS，还有HBase和Ku等存储架构。

区块链，是比特币的底层技术架构，它在本质上是一种去中心化的分布式账本。区块链技术作为一种持续增长的、按序整理成区块的链式数据结构，通过网络中多个节点共同参与数据的计算和记录，并且互相验证其信息的有效性。从这一点来说，区块链技术也是一种特定的数据库技术。由于去中心化数据库在安全、便捷方面的特性，很多业内人士看好其发展，认为它是对现有互联网技术的升级与补充。

分布式计算：MapRecevs.共识机制

大数据的分析挖掘是数据密集型计算，需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。Google和Hadoop的MapRece是这种分布式计算技术的代表，通过添加服务器节点可线性扩展系统的总处理能力(ScaleOut)，在成本和可扩展性上都有巨大的优势。现在，除了批计算，大数据还包括了流计算、图计算、实时计算、交互查询等计算框架。

区块链的共识机制，就是所有分布式节之间怎么达成共识，通过算法来生成和更新数据，去认定一个记录的有效性，这既是认定的手段，也是防止篡改的手段。区块链主要包括四种不同的共识机制，适用于不同的应用场景，在效率和安全性之间取得平衡。以比特币为例，采用的是“工作量证明”(ProofOfWork，简称POW)，只有在控制了全网超过51%的记账节点的情况下，才有可能伪造出一条不存在的记录。

这个故事还是要从比特币谈起

比特币这个电子现金系统是同时去中介化(个人与个人之间的电子现金无须可信第三方中介的介入)和去中心化(由某个机构负责维护)的(交易双方可以在无须建立信任关系的前提下完成交易)

哈希函数:将任意长的字符串，转变成固定长度的输出(计算过程不能太复杂)，只要输入字符串发生微小变化，哈希函数的输出就会完全不同。

区块链:把大的东西切分成很多个区块进行存储，只要其中有一个东西被篡改，下边的数据都不一样，就会被发现

采用区块链(数据结构哈希函数)，保障账本不能被篡改，采用数字签名技术，保证只有自己才能够使用自己的账户，采用p2p网络和pow共识机制，保证去中心化的运作方式

区块链是利用块链式数据结构来验证与存储数据，利用分布式节点共识算法来生成和更新数据，利用密码学的方式保证数据传输和访问安全的一种全新的分布式基础架构与计算机范式。

三要素:

区块链的本质就是分布式账本，是一种数据库。区块链用哈希算法实现信息不可篡改，用公钥，私钥来标识身份，以去中心化和去中介化的方式，来集体维护一个可靠数据库。

大数据与区块链的区别主要表现在以下几个方面。

(1)数据量。区块链技术是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链处理的数据量小，具有细致的处理方式。而大数据管理的是海量数据，要求广度和数量，处理方式上会更粗糙。

(2)结构化和非结构化。区块链是结构定义严谨的块，通过指针组成的链，是典型的结构化数据，而大数据需要处理的更多的是非结构化数据。

(3)独立和整合。区块链系统为保证安全性，信息是相对独立的，而大数据的重点是信息的整合分析。

(4)直接和间接。区块链是一个分布式账本，本质上就是一个数据库，而大数据指的是对数据深度分析和挖掘，是一种间接的数据。

(5)CAP理论。C(Consistency)是一致性，它是指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的。A(Availability)是可用性，它是指快速获取数据，可以在确定的时间内返回操作结果。P(ToleranceofNetworkPartition)是分区容忍性，它是指当出现网络分区的情况时(即系统中的一部分节点无法和其他节点进行通信)，分离的系统也能够正常运行。CAP理论告诉我们，一个分布式系统不可能同时满足一致性、可用性和分区容忍性这3个需求，最多只能同时满足其中2个，正所谓“鱼和熊掌不可兼得”。大数据通常选择实现AP，区块链则选择实现CP。

(6)基础网络。大数据底层的基础设施通常是计算机集群，而区块链的基础设施通常是P2P网络。

(7)价值来源。对于大数据而言，数据是信息，需要从数据中提炼得到价值。而对于区块链而言，数据是资产，是价值的传承。

(8)计算模式。在大数据的场景中，是把一件事情分给多个人做，比如，在MapRece计算框架中，一个大型任务会被分解成很多个子任务，分配给很多个节点同时去计算。而在区块链的场景中，是让多个人重复做一件事情，比如，P2P网络中的很多个节点同时记录一笔交易。