大數(shù)據(jù)(big data)，指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

一、大數(shù)據(jù)平臺(tái)

大數(shù)據(jù)在工作中的應(yīng)用有三種：

與業(yè)務(wù)相關(guān)，比如用戶畫(huà)像、風(fēng)險(xiǎn)控制等;

與決策相關(guān)，數(shù)據(jù)科學(xué)的領(lǐng)域，了解統(tǒng)計(jì)學(xué)、算法，這是數(shù)據(jù)科學(xué)家的范疇;

與工程相關(guān)，如何實(shí)施、如何實(shí)現(xiàn)、解決什么業(yè)務(wù)問(wèn)題，這是數(shù)據(jù)工程師的工作。

數(shù)據(jù)工程師在業(yè)務(wù)和數(shù)據(jù)科學(xué)家之間搭建起實(shí)踐的橋梁。本文要分享的大數(shù)據(jù)平臺(tái)架構(gòu)技術(shù)選型及場(chǎng)景運(yùn)用偏向于工程方面。

如圖所示，大數(shù)據(jù)平臺(tái)第一個(gè)要素就是數(shù)據(jù)源，我們要處理的數(shù)據(jù)源往往是在業(yè)務(wù)系統(tǒng)上，數(shù)據(jù)分析的時(shí)候可能不會(huì)直接對(duì)業(yè)務(wù)的數(shù)據(jù)源進(jìn)行處理，而是先經(jīng)過(guò)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)，之后才是數(shù)據(jù)分析和數(shù)據(jù)處理。

從整個(gè)大的生態(tài)圈可以看出，要完成數(shù)據(jù)工程需要大量的資源;數(shù)據(jù)量很大需要集群;要控制和協(xié)調(diào)這些資源需要監(jiān)控和協(xié)調(diào)分派;面對(duì)大規(guī)模的數(shù)據(jù)怎樣部署更方便更容易;還牽扯到日志、安全、還可能要和云端結(jié)合起來(lái)，這些都是大數(shù)據(jù)圈的邊緣，同樣都很重要。

二、數(shù)據(jù)源的特點(diǎn)

數(shù)據(jù)源的特點(diǎn)決定數(shù)據(jù)采集與數(shù)據(jù)存儲(chǔ)的技術(shù)選型，我根據(jù)數(shù)據(jù)源的特點(diǎn)將其分為四大類(lèi)：

第一類(lèi)：從來(lái)源來(lái)看分為內(nèi)部數(shù)據(jù)和外部數(shù)據(jù);

第二類(lèi)：從結(jié)構(gòu)來(lái)看分為非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù);

第三類(lèi)：從可變性來(lái)看分為不可變可添加數(shù)據(jù)和可修改刪除數(shù)據(jù);

第四類(lèi)，從規(guī)模來(lái)看分為大量數(shù)據(jù)和小量數(shù)據(jù)。

內(nèi)部數(shù)據(jù)

來(lái)自企業(yè)內(nèi)部系統(tǒng)，可以采用主動(dòng)寫(xiě)入技術(shù)(push)，從而保證變更數(shù)據(jù)及時(shí)被采集。

外部數(shù)據(jù)

企業(yè)要做大數(shù)據(jù)的話肯定不會(huì)只局限于企業(yè)內(nèi)部的數(shù)據(jù)，比如銀行做征信，就不能只看銀行系統(tǒng)里的交易數(shù)據(jù)和用戶信息，還要到互聯(lián)網(wǎng)上去拉取外部數(shù)據(jù)。

外部數(shù)據(jù)分為兩類(lèi)：

一類(lèi)是要獲取的外部數(shù)據(jù)本身提供API，可以調(diào)用API獲取，比如微信;

另一類(lèi)是數(shù)據(jù)本身不提供API，需要通過(guò)爬蟲(chóng)爬取過(guò)來(lái)。

這兩類(lèi)數(shù)據(jù)都不是我們可控制的，需要我們?nèi)カ@得，它的結(jié)構(gòu)也可能跟我們企業(yè)內(nèi)部數(shù)據(jù)的結(jié)構(gòu)不一樣，還需要進(jìn)行轉(zhuǎn)換，爬蟲(chóng)爬取的數(shù)據(jù)結(jié)構(gòu)更亂，因此大數(shù)據(jù)平臺(tái)里需要做ETL，由ETL進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)換、加載，清洗、去重、去噪，這個(gè)過(guò)程比較麻煩。爬蟲(chóng)爬過(guò)來(lái)的數(shù)據(jù)往往是非結(jié)構(gòu)性的、文檔型的數(shù)據(jù)，還有視頻、音頻，這就更麻煩了。

結(jié)構(gòu)化數(shù)據(jù) & 非結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在存儲(chǔ)時(shí)的選型完全不同，非結(jié)構(gòu)化數(shù)據(jù)偏向于文件，或者選擇NoSQL數(shù)據(jù)庫(kù);考慮到事務(wù)的一致性，我們也可能選擇傳統(tǒng)的數(shù)據(jù)庫(kù)。

不變可添加數(shù)據(jù)

如果數(shù)據(jù)源的數(shù)據(jù)是不變的，或者只允許添加(通常，數(shù)據(jù)分析的事實(shí)表，例如銀行交易記錄等都不允許修改或刪除)，則采集會(huì)變得非常容易，同步時(shí)只需要考慮最簡(jiǎn)單的增量同步策略，維持?jǐn)?shù)據(jù)的一致性也相對(duì)變得容易。

對(duì)于大數(shù)據(jù)分析來(lái)說(shuō)，我們每天在處理的數(shù)據(jù)大部分是不可變更的。正如Datomic數(shù)據(jù)庫(kù)的設(shè)計(jì)哲學(xué)就是數(shù)據(jù)為事實(shí)(fact)，它是不可變的，即數(shù)據(jù)是曾經(jīng)發(fā)生的事實(shí)，事實(shí)是不可以被篡改的，哪怕改一個(gè)地址，從設(shè)計(jì)的角度來(lái)說(shuō)也不是改動(dòng)一個(gè)地址，而是新增了一個(gè)地址。交易也是如此。

可修改可刪除數(shù)據(jù)

銀行的交易記錄、保險(xiǎn)單的交易記錄，互聯(lián)網(wǎng)的訪客訪問(wèn)記錄、下單記錄等都是不可變的。但是數(shù)據(jù)源的數(shù)據(jù)有些可能會(huì)修改或刪除，尤其是許多維表經(jīng)常需要變動(dòng)。要對(duì)這樣的數(shù)據(jù)進(jìn)行分析處理，最簡(jiǎn)單的辦法就是采用直連形式，但直連可能會(huì)影響數(shù)據(jù)分析的效率與性能，且多數(shù)數(shù)據(jù)模型與結(jié)構(gòu)可能不符合業(yè)務(wù)人員進(jìn)行數(shù)據(jù)分析的業(yè)務(wù)訴求。如果采用數(shù)據(jù)采集的方式，就要考慮同步問(wèn)題。

大數(shù)據(jù)量

針對(duì)大數(shù)據(jù)量，如果屬于高延遲的業(yè)務(wù)，可以采用batch的處理方式，實(shí)時(shí)分析則需要使用流式處理，將兩者結(jié)合就是Lambda架構(gòu)，即有實(shí)時(shí)處理、又能滿足一定的大數(shù)據(jù)量，這是現(xiàn)在比較流行的大數(shù)據(jù)處理方式。

三、數(shù)據(jù)存儲(chǔ)的技術(shù)選型

大數(shù)據(jù)平臺(tái)特征：相同的業(yè)務(wù)數(shù)據(jù)會(huì)以多種不同的表現(xiàn)形式，存儲(chǔ)在不同類(lèi)型的數(shù)據(jù)庫(kù)中，形成一種poly-db的數(shù)據(jù)冗余生態(tài)。

先把數(shù)據(jù)源進(jìn)行分類(lèi)，然后根據(jù)其特點(diǎn)判斷用什么方式采集，采集之后要進(jìn)行存儲(chǔ)。數(shù)據(jù)存儲(chǔ)的技術(shù)選型依據(jù)有三點(diǎn)：

第一點(diǎn)取決于數(shù)據(jù)源的類(lèi)型和采集方式。比如非結(jié)構(gòu)化的數(shù)據(jù)不可能拿一個(gè)關(guān)系數(shù)據(jù)庫(kù)去存儲(chǔ)。采集方式如果是流失處理，那么傳過(guò)來(lái)放到Kafka是最好的方式。

第二點(diǎn)取決于采集之后數(shù)據(jù)的格式和規(guī)模。比如數(shù)據(jù)格式是文檔型的，能選的存儲(chǔ)方式就是文檔型數(shù)據(jù)庫(kù)，例如MongoDB;采集后的數(shù)據(jù)是結(jié)構(gòu)化的，則可以考慮關(guān)系型數(shù)據(jù)庫(kù);如果數(shù)據(jù)量達(dá)到很大規(guī)模，首選放到HDFS里。

第三點(diǎn)是分析數(shù)據(jù)的應(yīng)用場(chǎng)景。根據(jù)數(shù)據(jù)的應(yīng)用場(chǎng)景來(lái)判定存儲(chǔ)技術(shù)選型。

場(chǎng)景一：輿情分析

做輿情分析的時(shí)候客戶要求所有數(shù)據(jù)存放兩年，一天600多萬(wàn)，兩年就是700多天×600多萬(wàn)，幾十億的數(shù)據(jù)。而且爬蟲(chóng)爬過(guò)來(lái)的數(shù)據(jù)是輿情，做了分詞之后得到的可能是大段的網(wǎng)友評(píng)論，客戶要求對(duì)輿情進(jìn)行查詢，做全文本搜索，并要求響應(yīng)時(shí)間控制在10s以內(nèi)。

我們后來(lái)選擇用ES，在單機(jī)上做了一個(gè)簡(jiǎn)單的測(cè)試，大概三億多條數(shù)據(jù)，用最壞的查詢條件進(jìn)行搜索，保證這個(gè)搜索是全表搜索(基于Lucence創(chuàng)建了索引，使得這種搜索更高效)，整個(gè)查詢時(shí)間能控制在幾秒以內(nèi)。

如圖所示，爬蟲(chóng)將數(shù)據(jù)爬到Kafka里，在里面做流處理，去重去噪做語(yǔ)音分析，寫(xiě)到ElasticSearch里。我們做大數(shù)據(jù)的一個(gè)特點(diǎn)是多數(shù)據(jù)庫(kù)，會(huì)根據(jù)不同的場(chǎng)景選擇不同的數(shù)據(jù)庫(kù)，所以會(huì)產(chǎn)生大量的冗余。

場(chǎng)景二：商業(yè)智能產(chǎn)品

BI產(chǎn)品主要針對(duì)數(shù)據(jù)集進(jìn)行的數(shù)據(jù)分析以聚合運(yùn)算為主，比如求合、求平均數(shù)、求同比、求環(huán)比、求其他的平方差或之類(lèi)的標(biāo)準(zhǔn)方差。我們既要滿足大數(shù)據(jù)量的水平可伸縮，又要滿足高性能的聚合運(yùn)算。選擇Parquet列式存儲(chǔ)，可以同時(shí)滿足這兩個(gè)需求。

場(chǎng)景三：Airbnb的大數(shù)據(jù)平臺(tái)

Airbnb的大數(shù)據(jù)來(lái)自兩塊：一是本身的業(yè)務(wù)數(shù)據(jù)，二是大量的事件。數(shù)據(jù)源不同，采集方式也不一樣。日志數(shù)據(jù)通過(guò)發(fā)送Kafka事件，而線上數(shù)據(jù)則通過(guò)Sqoop同步。數(shù)據(jù)存儲(chǔ)選擇HDFS集群，然后通過(guò)Presto對(duì)Hive表執(zhí)行即席查詢。S3是一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)。

四、數(shù)據(jù)處理

數(shù)據(jù)處理分為三大類(lèi)：

第一類(lèi)是從業(yè)務(wù)的角度，細(xì)分為查詢檢索、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、深度分析，其中深度分析分為機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。

第二類(lèi)是從技術(shù)的角度，細(xì)分為Batch、SQL、流式處理、machine learning、Deep learning。

第三類(lèi)是編程模型，細(xì)分為離線編程模型、內(nèi)存編程模型、實(shí)時(shí)編程模型。

結(jié)合前文講述的數(shù)據(jù)源特點(diǎn)、分類(lèi)、采集方式、存儲(chǔ)選型、數(shù)據(jù)分析、數(shù)據(jù)處理，我在這里給出一個(gè)總體的大數(shù)據(jù)平臺(tái)的架構(gòu)。值得注意的是，架構(gòu)圖中去掉了監(jiān)控、資源協(xié)調(diào)、安全日志等。

左側(cè)是數(shù)據(jù)源，有實(shí)時(shí)流的數(shù)據(jù)(可能是結(jié)構(gòu)化、非結(jié)構(gòu)化，但其特點(diǎn)是實(shí)時(shí)的)，有離線數(shù)據(jù)，離線數(shù)據(jù)一般采用的多為ETL的工具，常見(jiàn)的做法是在大數(shù)據(jù)平臺(tái)里使用Sqoop或Flume去同步數(shù)據(jù)，或調(diào)一些NIO的框架去讀取加載，然后寫(xiě)到HDFS里面，當(dāng)然也有一些特別的技術(shù)存儲(chǔ)的類(lèi)型，比如HAWQ就是一個(gè)支持分布式、支持事務(wù)一致性的開(kāi)源數(shù)據(jù)庫(kù)。

從業(yè)務(wù)場(chǎng)景來(lái)看，如果我們做統(tǒng)計(jì)分析，就可以使用SQL或MapReduce或streaming或Spark。如果做查詢檢索，同步寫(xiě)到HDFS的同時(shí)還要考慮寫(xiě)到ES里。如果做數(shù)據(jù)分析，可以建一個(gè)Cube，然后再進(jìn)入OLAP的場(chǎng)景。

這個(gè)圖基本上把所有的內(nèi)容都涵蓋了，從場(chǎng)景的角度來(lái)分析倒推，用什么樣的數(shù)據(jù)源、采用什么樣的采集方式、存儲(chǔ)成什么樣子，能滿足離線、內(nèi)存、實(shí)時(shí)、流的各種模型，都能從圖中得到解答。