4、大數(shù)據(jù)的挑戰(zhàn)
5、大數(shù)據(jù)的應(yīng)用
4、大數(shù)據(jù)的挑戰(zhàn)
大數(shù)據(jù)時(shí)代已經(jīng)到來,悲觀者深為數(shù)據(jù)的管理和維護(hù)而憂慮,樂觀者則看到了大數(shù)據(jù)的大價(jià)值。大數(shù)據(jù)是海量的非結(jié)構(gòu)化數(shù)據(jù),特點(diǎn)是數(shù)據(jù)量很大,數(shù)據(jù)的形式多樣化。如何存儲(chǔ)這些快速增長(zhǎng)的海量數(shù)據(jù)?如何對(duì)大數(shù)據(jù)進(jìn)行分析處理,挖掘出其價(jià)值?這些問題成為幾乎所有企業(yè)面臨的共同挑戰(zhàn)。
大數(shù)據(jù)時(shí)代的挑戰(zhàn)包括:如何實(shí)現(xiàn)高效、智能的大數(shù)據(jù)存儲(chǔ)?非結(jié)構(gòu)化數(shù)據(jù)正在呈海量增長(zhǎng)趨勢(shì),如何對(duì)其進(jìn)行有效的管理和應(yīng)用?現(xiàn)有數(shù)據(jù)保護(hù)與文檔歸檔機(jī)制能否應(yīng)對(duì)日益增長(zhǎng)的海量數(shù)據(jù)?如何攻克移動(dòng)數(shù)據(jù)管理的難點(diǎn)?如何在復(fù)雜的數(shù)據(jù)環(huán)境下實(shí)現(xiàn)可靠的數(shù)據(jù)安全?這些正逐漸成為大數(shù)據(jù)所面臨的共同挑戰(zhàn)。
但是我們發(fā)現(xiàn),這些來自大數(shù)據(jù)的挑戰(zhàn),歸納起來主要只有兩點(diǎn):
其一,管理好大數(shù)據(jù),包括大數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、保護(hù)、歸檔,到安全維護(hù)等各個(gè)方面。從根本上講,這屬于IT管理維護(hù)范疇,只不過數(shù)據(jù)量超出常規(guī)管理范圍后,管理、維護(hù)的難度大幅度提高。
其二,應(yīng)用好大數(shù)據(jù)。這是企業(yè)數(shù)據(jù)管理的最終目標(biāo)。大數(shù)據(jù)即意味著大價(jià)值,數(shù)據(jù)與數(shù)據(jù)、數(shù)據(jù)與人、數(shù)據(jù)與業(yè)務(wù)的關(guān)聯(lián)性能給企業(yè)帶來巨大的價(jià)值。大數(shù)據(jù)應(yīng)用的挑戰(zhàn)既有應(yīng)對(duì)數(shù)據(jù)的流動(dòng)性、關(guān)聯(lián)性、智能化所帶來的挑戰(zhàn),也有基于大數(shù)據(jù)進(jìn)行深度挖掘所帶來的挑戰(zhàn)。
5、大數(shù)據(jù)的應(yīng)用
一年前,大數(shù)據(jù)技術(shù)的一些主要用戶是大型Web企業(yè),例如Facebook和雅虎,它們需要分析點(diǎn)擊流數(shù)據(jù);但現(xiàn)在,大數(shù)據(jù)技術(shù)已經(jīng)超出了Web的范圍,凡是有大量數(shù)據(jù)需要處理的企業(yè)都有可能用到它,如銀行、公用事業(yè)機(jī)構(gòu)、情報(bào)部門等都在使用大數(shù)據(jù)技術(shù)。實(shí)際上,一些大數(shù)據(jù)技術(shù)已經(jīng)被一些擁有很前衛(wèi)技術(shù)的企業(yè)在使用了,比如受社交媒體推動(dòng)而需要?jiǎng)?chuàng)建相應(yīng)Web服務(wù)的企業(yè),它們對(duì)于大數(shù)據(jù)項(xiàng)目的貢獻(xiàn)非常重要。而在其他垂直行業(yè)中,有些企業(yè)正在意識(shí)到,它們基于信息服務(wù)的價(jià)值定位要比它們先前想象的大得多,所以大數(shù)據(jù)技術(shù)很快就吸引了這些企業(yè)的注意。再加上硬件和軟件成本的下降,這些企業(yè)發(fā)現(xiàn),它們已經(jīng)處在了一場(chǎng)企業(yè)大轉(zhuǎn)型機(jī)遇的完美風(fēng)暴中。
大數(shù)據(jù)熱潮產(chǎn)生于新一代信息技術(shù)融合發(fā)展之時(shí),同時(shí),對(duì)大數(shù)據(jù)的處理和分析又成為這種融合發(fā)展的核心支撐。物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等都是新一代信息技術(shù)具體的應(yīng)用形態(tài),大數(shù)據(jù)伴隨這些應(yīng)用不斷增長(zhǎng),云計(jì)算則為這些海量的、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算的支撐平臺(tái)。據(jù)估算,全球可統(tǒng)計(jì)的數(shù)據(jù)存儲(chǔ)量在2011年約為1.8ZB,2012年將達(dá)到2.7ZB,2015年將超過8ZB;其中,結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)速度約為32%,而非結(jié)構(gòu)化數(shù)據(jù)還要快一倍,約為63%。反過來,對(duì)大數(shù)據(jù)的分析、優(yōu)化結(jié)果反饋到物聯(lián)網(wǎng)等應(yīng)用中,又進(jìn)一步改善使用體驗(yàn),并創(chuàng)造出巨大的商業(yè)價(jià)值、經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。
對(duì)大數(shù)據(jù)的利用將成為企業(yè)提高核心競(jìng)爭(zhēng)力、搶占市場(chǎng)先機(jī)的關(guān)鍵。在未來3到5年,我們將看到那些真正理解大數(shù)據(jù)并能利用大數(shù)據(jù)進(jìn)行價(jià)值挖掘的企業(yè),與對(duì)大數(shù)據(jù)價(jià)值挖掘重視程度不夠的企業(yè)之間的差距。真正能夠利用好大數(shù)據(jù),并將其價(jià)值轉(zhuǎn)化成生產(chǎn)力的企業(yè)將具備強(qiáng)勁的競(jìng)爭(zhēng)優(yōu)勢(shì),從而成為行業(yè)的領(lǐng)導(dǎo)者。
在零售領(lǐng)域,對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)。沃爾瑪已經(jīng)開始利用各個(gè)連鎖店不斷產(chǎn)生的海量銷售數(shù)據(jù),并結(jié)合天氣數(shù)據(jù)、經(jīng)濟(jì)學(xué)、人口統(tǒng)計(jì)學(xué)進(jìn)行分析,從而在特定的連鎖店中選擇合適的上架產(chǎn)品,并判定商品減價(jià)的時(shí)機(jī)。
在互聯(lián)網(wǎng)領(lǐng)域,對(duì)大數(shù)據(jù)的分析可以為商家制定更加精準(zhǔn)有效的營(yíng)銷策略提供決策支持。Facebook、eBay等網(wǎng)站正在對(duì)海量的社交網(wǎng)絡(luò)數(shù)據(jù)與在線交易數(shù)據(jù)進(jìn)行分析和挖掘,從而提供點(diǎn)對(duì)點(diǎn)的個(gè)性化廣告投放。甚至在公共事業(yè)領(lǐng)域,大數(shù)據(jù)也開始發(fā)揮不可小覷的重要作用。歐洲多個(gè)城市通過分析實(shí)時(shí)采集的交通流量數(shù)據(jù),指導(dǎo)駕車出行者選擇最佳路徑,從而改善城市交通狀況。聯(lián)合國(guó)也推出了名為“全球脈動(dòng)”(Global Pulse)的新項(xiàng)目,希望利用“大數(shù)據(jù)”來促進(jìn)全球經(jīng)濟(jì)發(fā)展。
大數(shù)據(jù)因其巨大的商業(yè)價(jià)值和市場(chǎng)需求正成為推動(dòng)信息產(chǎn)業(yè)變革的新引擎。
下面介紹兩個(gè)大數(shù)據(jù)成功運(yùn)應(yīng)用的實(shí)例。
(1) NOAA海嘯預(yù)警

2012年3月11日日本大地震發(fā)生后僅9分鐘,美國(guó)國(guó)家海洋和大氣管理局(NOAA)就發(fā)布了詳細(xì)的海嘯預(yù)警。隨即,NOAA通過對(duì)海洋傳感器獲得的實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算機(jī)模擬,制作的海嘯影響模型出現(xiàn)在YouTube等網(wǎng)站上。
NOAA的快速反應(yīng)得益于其全球范圍內(nèi)龐大的海洋傳感器網(wǎng)絡(luò)。通過這些置于海面和海底的傳感器,NOAA源源不斷地獲取全球范圍的海洋信息,并將這些信息存儲(chǔ)在位于美國(guó)新澤西州的數(shù)據(jù)中心。NOAA的數(shù)據(jù)中心存儲(chǔ)著超過20Pb(1024Tb)的數(shù)據(jù),是美國(guó)政府最大的數(shù)據(jù)庫(kù)之一。
NOAA海嘯研究中心首席科學(xué)家Vasily Titov事后向外界表示,“雖然預(yù)警系統(tǒng)發(fā)揮了很大價(jià)值,但是還沒有快到足以幫助到日本仙臺(tái)沿海的居民及時(shí)躲避海嘯”。為了在更短時(shí)間內(nèi)分析出準(zhǔn)確的海嘯活動(dòng)趨勢(shì),NOAA一直在努力提升其對(duì)大數(shù)據(jù)進(jìn)行處理的能力——這一機(jī)構(gòu)每年的IT預(yù)算高達(dá)10億美元。雖然花費(fèi)巨大,NOAA卻對(duì)此樂此不疲,因?yàn)閿?shù)據(jù)關(guān)乎生命。
(2) 沃爾瑪?shù)纳虡I(yè)數(shù)據(jù)分析
沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一,一度擁有世界上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。通過對(duì)消費(fèi)者的購(gòu)物行為等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,沃爾瑪成為最了解顧客購(gòu)物習(xí)慣的零售商,并創(chuàng)造了“啤酒與尿布”的經(jīng)典商業(yè)案例。早在2007年,沃爾瑪就建立了一個(gè)超大的數(shù)據(jù)中心,其存儲(chǔ)能力高達(dá)4Pb以上。《經(jīng)濟(jì)學(xué)人》在2010年的一篇報(bào)道中指出,沃爾瑪?shù)臄?shù)據(jù)量已經(jīng)是美國(guó)國(guó)會(huì)圖書館的167倍。

對(duì)于任何企業(yè)來說,數(shù)據(jù)都是其商業(yè)皇冠上最為耀眼奪目的那顆寶石。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展,商業(yè)決策已經(jīng)越來越依賴于數(shù)據(jù)。
像沃爾瑪一樣, 同樣專注于大數(shù)據(jù)投入的還有很多商業(yè)機(jī)構(gòu),比如eBay、中國(guó)移動(dòng)等。他們大都希望從海量的大數(shù)據(jù)中,挖掘更多的商業(yè)價(jià)值,這關(guān)系到這些企業(yè)能否在大數(shù)據(jù)時(shí)代繼續(xù)保持基業(yè)常青。企業(yè)用以分析的數(shù)據(jù)越全面,分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力,并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合。
IDC 在其關(guān)于大數(shù)據(jù)的報(bào)告中,闡述了利用大數(shù)據(jù)的商業(yè)價(jià)值:領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著差別在于新數(shù)據(jù)類型的引入。那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè),不太可能成為其行業(yè)的領(lǐng)軍者。
雖然企業(yè)的決策者已經(jīng)意識(shí)到“大數(shù)據(jù)”中蘊(yùn)含的價(jià)值,但對(duì)于大多數(shù)企業(yè)來說,真正實(shí)現(xiàn)其中的價(jià)值還難以做到。這時(shí)候IT就派上了用場(chǎng),它可以幫助決策者在儲(chǔ)存的海量信息中挖掘出需要的信息,并且對(duì)這些信息進(jìn)行分析,從而發(fā)現(xiàn)重要的趨勢(shì)信息。換句話講,IT已經(jīng)成為“大數(shù)據(jù)”發(fā)揮作用的催化劑。
在服務(wù)領(lǐng)域,“大數(shù)據(jù)”的重要性和價(jià)值越發(fā)明顯地得到證明。與美國(guó)海洋和大氣局(NOAA)、美國(guó)宇航局(NASA)這些機(jī)構(gòu)一樣,一些制藥企業(yè)和眾多能源企業(yè)同樣累積了大量的數(shù)據(jù)信息,現(xiàn)在這些企業(yè)想要將這些日常積累下來的數(shù)據(jù)轉(zhuǎn)化為一種“大數(shù)據(jù)科技”,希望這些數(shù)據(jù)能夠帶來額外的價(jià)值。
美國(guó)海洋和大氣局嘗試?yán)么髷?shù)據(jù)業(yè)務(wù)協(xié)助進(jìn)行對(duì)氣候、環(huán)境、天氣的研究和商業(yè)性探索,美國(guó)宇航局利用大數(shù)據(jù)業(yè)務(wù)進(jìn)行航天和其他領(lǐng)域的探索。制藥企業(yè)和能源企業(yè)則借助大數(shù)據(jù)業(yè)務(wù)進(jìn)行更多實(shí)實(shí)在在的研發(fā),例如藥品實(shí)驗(yàn)和地球物理分析?!都~約時(shí)報(bào)》將“大數(shù)據(jù)”作為一種工具,進(jìn)行文本分析和網(wǎng)絡(luò)開發(fā)。迪斯尼公司利用它對(duì)店面、主題公園和網(wǎng)絡(luò)資產(chǎn)中的數(shù)據(jù)進(jìn)行分析,研究消費(fèi)習(xí)慣的相關(guān)性。
大數(shù)據(jù)及其挑戰(zhàn)-300x187.jpg)
外貿(mào)大數(shù)據(jù)及其挑戰(zhàn)