大數據和區塊鏈區別

區塊鏈和大數據有什麼關系？

區塊鏈和大數據都是熱門話題。許多人把它們放在一起討論，並希望與更多的熱

點相沖突。大數據早於區塊鏈的發展已經成為一個巨大的行業。盡管區塊鏈處於

行業的早期階段，但許多技術和商業模式仍在探索之中。

鑒於大數據行業相對成熟，我們以大數據為起點，研究區塊鏈技術如何與大數據?

行業的各個方面進行介面。

大數據核心產業鏈大致可以分為以下三部分：

產品部分：包括大數據基礎軟體和大數據應用軟體等大數據軟體產品相關行業。

數據部分：包括數據源（數據收集，數據提供），數據流通（數據交易，數據共

享）以及與數據直接相關的其他行業。

服務：與大數據基礎設施服務（數據存儲，數據傳輸，數據清理，數據脫敏

等），大數據分析服務和大數據應用服務相關的服務。

01產品部分

軟體產品和區塊鏈的組合應基於技術。大數據技術和區塊鏈技術有相似之處：它

們是分布式架構。

但它們也有明顯的區別：在大數據技術中使用分布式技術是計算資源-利用多台

機器的計算資源，並將不能由單個機器處理的任務分配給多台計算機，每台計算

機。通過處理不同的任務，它集成了多種計算資源，形成強大的數據處理能力。

在區塊鏈中使用分布式技術允許多個實體相互信任。每個大型機都通過自身控制

的計算機參與整個區塊鏈的操作。每台計算機運行基本相同的任務，整個區塊鏈

通過重復的冗餘計算，可以實現多個實體之間的互信。

從技術角度來看，大數據技術使用信任來交換計算資源，而區塊鏈技術則使用計

算資源來交換信任。由於這兩者之間的差異，在技術上，大數據和區塊鏈很難找

到合適的碰撞點。

02數據部分

在數據部分的各種格式中，區塊鏈可以找到它的位置。

鏈的意義不大。但是，如果多個實體參與數據收集和數據提供，則區塊鏈可以發

揮其作用。

為了解決多個實體之間的信任問題，每個實體將其自己收集的數據廣播給所有消

費者，並將該數據的散列值存儲在區塊鏈中。根據區塊鏈上的哈希值，區塊鏈中

的每個主體都可以驗證它收到的完整數據是否被篡改。區塊鏈可追溯性和不可否

認性使得多方提供數據更加可信。同時，這種方法也有助於維護大數據的完整

性。

在數據流通行業，區塊鏈可以發揮更大的作用。在大數據流通行業，大數據本身

就是數字資產。數字資產的交易可以通過區塊鏈來實現。此外，區塊鏈上實施的

分散式大數據交易可以減少原始數據聯系。在分散交易平台中，只有買賣雙方才

能訪問原始數據;在集中交易平台上，作為交易中心的數據中介通常會接觸到原始

數據，這會增加數據泄漏和資產。損失風險。

03服務部分

在大數據服務中，作為數字資產的服務能力和數據交易中的數據與資產概念相同

並且可以交易。

區塊鏈可以在這類數字資產的交易中發揮重要作用。同時，還有許多不斷改變區

塊鏈的新技術，例如同態加密。同態加密是結合區塊鏈和大數據服務的重要技

術。同態加密可以真正將數據服務功能轉換為數字資產，而不需要大數據服務提

供商復制服務中的原始數據。風險。

大數據和區塊鏈兩者之間有個共同的關鍵詞：分布式，代表了一種從技術權威壟斷到去中心化的轉變。

分布式存儲：HDFSvs.區塊

大數據，需要應對海量化和快增長的存儲，這要求底層硬體架構和文件系統在性價比上要大大高於傳統技術，能夠彈性擴張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數據存儲技術的基礎。另外，大數據對存儲技術提出的另一個挑戰是多種數據格式的適應能力，因此現在大數據底層的存儲層不只是HDFS，還有HBase和Ku等存儲架構。

區塊鏈，是比特幣的底層技術架構，它在本質上是一種去中心化的分布式賬本。區塊鏈技術作為一種持續增長的、按序整理成區塊的鏈式數據結構，通過網路中多個節點共同參與數據的計算和記錄，並且互相驗證其信息的有效性。從這一點來說，區塊鏈技術也是一種特定的資料庫技術。由於去中心化資料庫在安全、便捷方面的特性，很多業內人士看好其發展，認為它是對現有互聯網技術的升級與補充。

分布式計算：MapRecevs.共識機制

大數據的分析挖掘是數據密集型計算，需要巨大的分布式計算能力。節點管理、任務調度、容錯和高可靠性是關鍵技術。Google和Hadoop的MapRece是這種分布式計算技術的代表，通過添加伺服器節點可線性擴展系統的總處理能力(ScaleOut)，在成本和可擴展性上都有巨大的優勢。現在，除了批計算，大數據還包括了流計算、圖計算、實時計算、交互查詢等計算框架。

區塊鏈的共識機制，就是所有分布式節之間怎麼達成共識，通過演算法來生成和更新數據，去認定一個記錄的有效性，這既是認定的手段，也是防止篡改的手段。區塊鏈主要包括四種不同的共識機制，適用於不同的應用場景，在效率和安全性之間取得平衡。以比特幣為例，採用的是「工作量證明」(ProofOfWork，簡稱POW)，只有在控制了全網超過51%的記賬節點的情況下，才有可能偽造出一條不存在的記錄。

這個故事還是要從比特幣談起

比特幣這個電子現金系統是同時去中介化(個人與個人之間的電子現金無須可信第三方中介的介入)和去中心化(由某個機構負責維護)的(交易雙方可以在無須建立信任關系的前提下完成交易)

哈希函數:將任意長的字元串，轉變成固定長度的輸出(計算過程不能太復雜)，只要輸入字元串發生微小變化，哈希函數的輸出就會完全不同。

區塊鏈:把大的東西切分成很多個區塊進行存儲，只要其中有一個東西被篡改，下邊的數據都不一樣，就會被發現

採用區塊鏈(數據結構哈希函數)，保障賬本不能被篡改，採用數字簽名技術，保證只有自己才能夠使用自己的賬戶，採用p2p網路和pow共識機制，保證去中心化的運作方式

區塊鏈是利用塊鏈式數據結構來驗證與存儲數據，利用分布式節點共識演算法來生成和更新數據，利用密碼學的方式保證數據傳輸和訪問安全的一種全新的分布式基礎架構與計算機範式。

三要素:

區塊鏈的本質就是分布式賬本，是一種資料庫。區塊鏈用哈希演算法實現信息不可篡改，用公鑰，私鑰來標識身份，以去中心化和去中介化的方式，來集體維護一個可靠資料庫。

大數據與區塊鏈的區別主要表現在以下幾個方面。

(1)數據量。區塊鏈技術是分布式數據存儲、點對點傳輸、共識機制、加密演算法等計算機技術的新型應用模式。區塊鏈處理的數據量小，具有細致的處理方式。而大數據管理的是海量數據，要求廣度和數量，處理方式上會更粗糙。

(2)結構化和非結構化。區塊鏈是結構定義嚴謹的塊，通過指針組成的鏈，是典型的結構化數據，而大數據需要處理的更多的是非結構化數據。

(3)獨立和整合。區塊鏈系統為保證安全性，信息是相對獨立的，而大數據的重點是信息的整合分析。

(4)直接和間接。區塊鏈是一個分布式賬本，本質上就是一個資料庫，而大數據指的是對數據深度分析和挖掘，是一種間接的數據。

(5)CAP理論。C(Consistency)是一致性，它是指任何一個讀操作總是能夠讀到之前完成的寫操作的結果，也就是在分布式環境中，多點的數據是一致的。A(Availability)是可用性，它是指快速獲取數據，可以在確定的時間內返回操作結果。P(ToleranceofNetworkPartition)是分區容忍性，它是指當出現網路分區的情況時(即系統中的一部分節點無法和其他節點進行通信)，分離的系統也能夠正常運行。CAP理論告訴我們，一個分布式系統不可能同時滿足一致性、可用性和分區容忍性這3個需求，最多隻能同時滿足其中2個，正所謂「魚和熊掌不可兼得」。大數據通常選擇實現AP，區塊鏈則選擇實現CP。

(6)基礎網路。大數據底層的基礎設施通常是計算機集群，而區塊鏈的基礎設施通常是P2P網路。

(7)價值來源。對於大數據而言，數據是信息，需要從數據中提煉得到價值。而對於區塊鏈而言，數據是資產，是價值的傳承。

(8)計算模式。在大數據的場景中，是把一件事情分給多個人做，比如，在MapRece計算框架中，一個大型任務會被分解成很多個子任務，分配給很多個節點同時去計算。而在區塊鏈的場景中，是讓多個人重復做一件事情，比如，P2P網路中的很多個節點同時記錄一筆交易。