大數(shù)據(jù)（big data），IT行業(yè)術(shù)語(yǔ)，是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。隨著信息技術(shù)日益發(fā)達(dá)，大數(shù)據(jù)在未來(lái)的世界的用途和復(fù)雜程度將繼續(xù)增加。我們?cè)谙硎艽髷?shù)據(jù)的便利時(shí)，也需要將它帶來(lái)的挑戰(zhàn)化為機(jī)遇。從精算流程到業(yè)績(jī)分析，大數(shù)據(jù)正在改變各行各業(yè)的方方面面。那么大數(shù)據(jù)究竟是什么意思？它又如何影響著現(xiàn)代社會(huì)的發(fā)展？本文介紹了大數(shù)據(jù)的定義、大數(shù)據(jù)的發(fā)展趨勢(shì)、大數(shù)據(jù)在金融行業(yè)的應(yīng)用以及它面臨的挑戰(zhàn)。

大數(shù)據(jù)指的是利用我們積累的大量數(shù)據(jù)來(lái)理解某些趨勢(shì)和現(xiàn)象，并設(shè)計(jì)出一個(gè)系統(tǒng)來(lái)充分利用這些趨勢(shì)和現(xiàn)象。大數(shù)據(jù)之所以發(fā)展迅速，得益于以下三點(diǎn)：

我們將行為習(xí)慣和生活記錄不斷以數(shù)據(jù)的方式存儲(chǔ)下來(lái)，增加了數(shù)據(jù)的體量。隨著信息技術(shù)的發(fā)展，人們的一言一行都以數(shù)字化的方式記錄下來(lái)，這些記錄是數(shù)據(jù)分析的核心;數(shù)據(jù)分析手段不斷更新，讓大數(shù)據(jù)分析方法變得越來(lái)越成熟。除了原有的程序化算法外，人工智能的發(fā)展使得計(jì)算機(jī)能夠根據(jù)規(guī)則自動(dòng)學(xué)習(xí)新的算法，提高了數(shù)據(jù)處理的水平;隨著時(shí)間推移，存儲(chǔ)海量數(shù)據(jù)變得更加便宜，為數(shù)據(jù)分析提供基礎(chǔ)條件。云存儲(chǔ)技術(shù)的不斷提升，降低了企業(yè)儲(chǔ)存數(shù)據(jù)的成本，方便了數(shù)據(jù)管理。

大數(shù)據(jù)行業(yè)的發(fā)展趨勢(shì)

未來(lái)的大數(shù)據(jù)行業(yè)發(fā)展趨勢(shì)可以歸納為以下五點(diǎn)：

大多數(shù)公司的決策開(kāi)始轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)。來(lái)自德勤的調(diào)查顯示，70%的行業(yè)公司認(rèn)為數(shù)據(jù)分析對(duì)滿足它們的業(yè)務(wù)需求至關(guān)重要。圍繞大數(shù)據(jù)分析的新興趨勢(shì)，將成為公司戰(zhàn)略制定的核心，并優(yōu)化公司結(jié)構(gòu)，提高收入;大數(shù)據(jù)從業(yè)人員收入豐厚，但是漲幅趨于平穩(wěn)。雖然大數(shù)據(jù)從業(yè)人員被列為十大最賺錢(qián)行業(yè)，但是新的跡象表明，這一職業(yè)的薪水正趨于平穩(wěn)。這可能是因?yàn)閿?shù)據(jù)分析領(lǐng)域正在變得標(biāo)準(zhǔn)化和專(zhuān)業(yè)化。盡管如此，來(lái)自美國(guó)的調(diào)查顯示，大數(shù)據(jù)從業(yè)人員的年收入中位數(shù)為95000美元，因此它仍舊是收入最高、滿意度最高的工作之一;

除了數(shù)據(jù)分析人員外，行業(yè)的決策者和專(zhuān)家越來(lái)越重要。來(lái)自麻省理工學(xué)院的新優(yōu)勢(shì)合作伙伴調(diào)查顯示，97%的科技公司正在投資大數(shù)據(jù)，但是約一半的分析從未投入公司業(yè)務(wù)?，F(xiàn)在的大數(shù)據(jù)分析開(kāi)始由試驗(yàn)階段進(jìn)入部署實(shí)施階段了。為了在數(shù)據(jù)分析中保持專(zhuān)業(yè)能力，大數(shù)據(jù)行業(yè)需要尋找那些能夠解釋這些數(shù)據(jù)，提出解決方案的專(zhuān)家，讓他們?yōu)閿?shù)據(jù)賦予新的價(jià)值，并提供更加深入的見(jiàn)解;

大數(shù)據(jù)分析軟件逐漸多元化，不過(guò)Python仍占據(jù)主流地位。調(diào)查顯示大數(shù)據(jù)分析人員的常用軟件有Python、R、Hadoop、SQL、Spark等等，但是目前應(yīng)用最多的仍是Python，因此如果你想對(duì)這個(gè)行業(yè)進(jìn)一步了解的話，可以從這些軟件入手學(xué)習(xí);監(jiān)管部門(mén)呼吁大數(shù)據(jù)行業(yè)“明智地使用數(shù)據(jù)”。隨著各國(guó)開(kāi)始圍繞數(shù)據(jù)保護(hù)制定監(jiān)管框架，例如歐盟的《通用數(shù)據(jù)保護(hù)條例》，大數(shù)據(jù)行業(yè)不僅需要了解數(shù)據(jù)治理方面的進(jìn)展，還需要為企業(yè)解釋數(shù)據(jù)行業(yè)的相關(guān)規(guī)則;

大數(shù)據(jù)行業(yè)面臨的挑戰(zhàn)

一些人最關(guān)心的是隱私問(wèn)題，雖然大數(shù)據(jù)收集的都是關(guān)于市場(chǎng)或者個(gè)人的純粹數(shù)字信息，但是在一些情況下，個(gè)人信息也會(huì)被收集、分析并應(yīng)用于現(xiàn)實(shí)世界，而這種信息采集很多時(shí)候是在沒(méi)有征集用戶(hù)的同意下發(fā)生的。

另外，數(shù)據(jù)分析只適用于描述當(dāng)時(shí)的特征，現(xiàn)代世界千變?nèi)f化，如果數(shù)據(jù)背后的規(guī)律發(fā)生了改變，而分析人員沒(méi)有進(jìn)行調(diào)整的話，使用正確的數(shù)據(jù)和錯(cuò)誤的分析方法，將會(huì)得到錯(cuò)誤的結(jié)論。正是因此，在大數(shù)據(jù)分析的過(guò)程中仍舊需要人參與其中，不論是提供心理上的保證，還是抓住計(jì)算機(jī)程序可能犯下的錯(cuò)誤。

2018年擔(dān)任谷歌首席決策科學(xué)家的Cassie認(rèn)為，大數(shù)據(jù)將行為科學(xué)與人類(lèi)決策結(jié)合在一起，它并不是科幻小說(shuō)中的想象，而是人類(lèi)使用的新工具。大數(shù)據(jù)不僅是一門(mén)分析學(xué)科，更是智能的決策學(xué)科，它不僅能預(yù)測(cè)未來(lái)，還能幫助企業(yè)實(shí)現(xiàn)未來(lái)。

大數(shù)據(jù)在金融業(yè)的發(fā)展

21世紀(jì)是信息技術(shù)時(shí)代，大量數(shù)據(jù)的快速積累改變了無(wú)數(shù)行業(yè)的面貌，其中受影響最深遠(yuǎn)的行業(yè)就是金融業(yè)。隨著大數(shù)據(jù)的崛起，金融業(yè)經(jīng)歷了巨大變化。根據(jù)數(shù)據(jù)統(tǒng)計(jì)，目前全球大數(shù)據(jù)的總市場(chǎng)價(jià)值約1300億美元，金融業(yè)對(duì)大數(shù)據(jù)的需求占到總量的13.1%，也就是170億美元。此外，一些從事金融業(yè)務(wù)的其他行業(yè)也在利用大數(shù)據(jù)，它們大概占到大數(shù)據(jù)技術(shù)消費(fèi)的20%以上。由于發(fā)展勢(shì)頭迅猛，從投資銀行到經(jīng)紀(jì)公司，金融行業(yè)正在充分利用大數(shù)據(jù)來(lái)最大化客戶(hù)價(jià)值，以便它們?cè)跇I(yè)務(wù)中保持競(jìng)爭(zhēng)優(yōu)勢(shì)。

金融業(yè)在很大程度上依賴(lài)數(shù)據(jù)分析來(lái)預(yù)測(cè)下一個(gè)市場(chǎng)趨勢(shì)，因此數(shù)據(jù)分析的準(zhǔn)確性至關(guān)重要。如果在分析中出現(xiàn)錯(cuò)誤，會(huì)導(dǎo)致資金錯(cuò)誤地被分配到金融市場(chǎng)，損害金融機(jī)構(gòu)的聲譽(yù)。因此，金融業(yè)已經(jīng)開(kāi)始創(chuàng)新地應(yīng)用大數(shù)據(jù)技術(shù)。

算法交易就是金融業(yè)和大數(shù)據(jù)技術(shù)結(jié)合的產(chǎn)物，算法給出一組初始條件和程序運(yùn)行指南，風(fēng)險(xiǎn)接受程度、資產(chǎn)類(lèi)別限制都依據(jù)資金所有者的偏好初始設(shè)定在算法中。這些算法在運(yùn)行之后，會(huì)根據(jù)其設(shè)定好的原則運(yùn)行，并盡可能地獲取歷史數(shù)據(jù)與相關(guān)信息。有了這些信息，算法會(huì)在分析系統(tǒng)中搜索那些重復(fù)的模式或者趨勢(shì)，并和現(xiàn)在的市場(chǎng)條件進(jìn)行對(duì)比。如果找到了相似的模式，算法就會(huì)將其識(shí)別出來(lái)，并將歷史操作應(yīng)用于當(dāng)前的投資情況。