愛華網(wǎng)
《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之六：第1章概述之“大數(shù)據(jù)發(fā)展史、大數(shù)據(jù)技術(shù)架構(gòu)”
發(fā)表于：2013年05月29日09:50轉(zhuǎn)發(fā)5 上節(jié)我們介紹了大數(shù)據(jù)結(jié)構(gòu)類型、大數(shù)據(jù)實(shí)例，本節(jié)我們將轉(zhuǎn)載1.2節(jié)與1.3節(jié)的內(nèi)容：大數(shù)據(jù)的發(fā)展史以及大數(shù)據(jù)的技術(shù)架構(gòu)?！ ?0《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之預(yù)告篇 #1《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之一：編委會(huì)、前言 #2《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之二：序一、目錄一 #3《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之三：序二、目錄二 #4《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之四：第1章概述之“什么是大數(shù)據(jù)”(1) #5《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之五：第1章概述之“什么是大數(shù)據(jù)”(2) #6《大數(shù)據(jù)——戰(zhàn)略•技術(shù)•實(shí)踐》搶鮮看之六：第1章概述之“大數(shù)據(jù)發(fā)展史、大數(shù)據(jù)技術(shù)架構(gòu)”1.2大數(shù)據(jù)發(fā)展史 回顧過(guò)去的50 多年，我們可以看到IT 產(chǎn)業(yè)已經(jīng)經(jīng)歷過(guò)幾輪新興和重疊的技術(shù)浪潮，如圖1-5所示。這里面的每一波浪潮都是由新興的IT供應(yīng)商主導(dǎo)的。他們改變了已有的秩序，重新定義了已有的計(jì)算機(jī)規(guī)范，并為進(jìn)入新時(shí)代鋪平了道路?！ ∷羞@一切開始于60 年代和70 年代的大型機(jī)浪潮，它是以BUNCH（Burroughs、Univac、NCR、ControlData 和Honeywell）等公司為首的。然后，在步入70 年代和80年代后，小型機(jī)浪潮和分布式計(jì)算涌現(xiàn)出來(lái)，為首的公司包括：DEC、IBM、Data General、Wang、Prime等。 在70 年代后期到進(jìn)入90 年代，微處理器或者個(gè)人計(jì)算機(jī)浪潮沖刷了IT 產(chǎn)業(yè)，領(lǐng)先者為Microsoft、Intel、IBM和Apple 等公司。從90 年代中期開始，我們進(jìn)入了網(wǎng)絡(luò)化浪潮。如今，全球在線的人數(shù)已經(jīng)超過(guò)了10億，而且有更多幾倍的人在使用移動(dòng)電話。這一浪潮由Cisco、Google、Oracle、EMC、Salesforce.com等公司領(lǐng)導(dǎo)。有些公司更善于駕馭這些連續(xù)的浪潮，而另一些公司則被落下了?！ ∧敲矗乱徊ɡ顺睍?huì)是什么？它還沒有被正式命名。我們更愿意稱它為云計(jì)算和大數(shù)據(jù)浪潮。其實(shí)，不管它被叫做什么，它都將比在它之前發(fā)生過(guò)的浪潮更大、觸及面更廣。非常重要的是：新的浪潮正在迅速地朝我們涌來(lái)，并將觸及IT的各個(gè)方面?！ ?shù)字信息每天在無(wú)線電波、電話電路和計(jì)算機(jī)電纜中川流不息。我們周圍到處都是數(shù)字信息。我們?cè)诟咔咫娨暀C(jī)上看數(shù)字信息，在互聯(lián)網(wǎng)上聽數(shù)字信息，我們自己也在不斷制造新的數(shù)字信息。每次用數(shù)碼相機(jī)拍照后，都產(chǎn)生了新的數(shù)字信息，通過(guò)電子郵件把照片發(fā)給朋友和家人，又制造了更多的數(shù)字信息。 不過(guò)，我們不知道的是，這些數(shù)字比特總共有多少？數(shù)字比特增加的速度有多快？比特激增意味著什么？ 人們制造、獲取和復(fù)制的所有1 和0組成了數(shù)字世界。人們通過(guò)拍照片和共享音樂制造了數(shù)字比特，而公司則組織和管理對(duì)這些數(shù)字信息的訪問(wèn)和存儲(chǔ)并為其提供安全保障?！ ∪N主要的模擬數(shù)字轉(zhuǎn)換為這種增長(zhǎng)提供了動(dòng)力：用膠片拍攝影像轉(zhuǎn)換為數(shù)字影像拍攝、模擬語(yǔ)音轉(zhuǎn)換為數(shù)字語(yǔ)音，以及模擬電視轉(zhuǎn)換為數(shù)字電視。從數(shù)碼相機(jī)、可視電話、醫(yī)用掃描儀到保安攝像頭，全世界有10億多臺(tái)設(shè)備在拍攝影像，這些影像成為數(shù)字宇宙中最大的組成部分。這些影像通過(guò)互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)在PC和服務(wù)器及數(shù)據(jù)中心中復(fù)制，通過(guò)數(shù)字電視廣播和數(shù)字投影銀幕播放?！ ?007年是人類創(chuàng)造的信息量有史以來(lái)第一次在理論上超過(guò)可用存儲(chǔ)空間總量的一年。然而，這沒有什么好怕的，調(diào)查結(jié)果強(qiáng)調(diào)現(xiàn)在人類應(yīng)該也必須合理調(diào)整數(shù)據(jù)存儲(chǔ)和管理。有很多數(shù)據(jù)是沒有必要復(fù)制和存儲(chǔ)下來(lái)的，而且存儲(chǔ)那些數(shù)據(jù)的成本也很高?！ DC和EMC[18]都認(rèn)為數(shù)字信息量的增長(zhǎng)是因?yàn)榫W(wǎng)絡(luò)應(yīng)用的不斷增長(zhǎng)，以及人類開始將物理數(shù)據(jù)轉(zhuǎn)化為數(shù)字格式的數(shù)據(jù)所致。被存儲(chǔ)下來(lái)的數(shù)據(jù)從本質(zhì)上說(shuō)已經(jīng)發(fā)生了重大的變化，數(shù)字化數(shù)據(jù)總量增長(zhǎng)得很快。大約在30年前，通信行業(yè)的數(shù)據(jù)大部分是結(jié)構(gòu)化數(shù)據(jù)。如今，多媒體技術(shù)的普及導(dǎo)致非結(jié)構(gòu)化數(shù)據(jù)如音樂和視頻等的數(shù)量出現(xiàn)爆炸式增長(zhǎng)。雖然30多年前的一個(gè)普通企業(yè)用戶文件也許表現(xiàn)為數(shù)據(jù)庫(kù)中的一排數(shù)字，但是如今的類似普通文件可能包含許多數(shù)字化圖片和文件的影像或者數(shù)字化錄音內(nèi)容?，F(xiàn)在，95%以上的數(shù)字信息都是非結(jié)構(gòu)化數(shù)據(jù)。在各組織和企業(yè)中，非結(jié)構(gòu)化數(shù)據(jù)占到了所有信息數(shù)據(jù)總量的80%以上。 “可視化”是引起數(shù)字世界急速膨脹的主要原因之一。由于數(shù)碼相機(jī)、數(shù)碼監(jiān)控?cái)z像機(jī)和數(shù)字電視內(nèi)容的加速增多，以及信息的大量復(fù)制趨勢(shì)，使得數(shù)字宇宙的容量和膨脹速度超過(guò)此前估計(jì)。 IDC的數(shù)字世界白皮書[19]指出，個(gè)人日常生活的“數(shù)字足跡”也大大刺激了數(shù)字宇宙的快速增長(zhǎng)。通過(guò)互聯(lián)網(wǎng)及社交網(wǎng)絡(luò)、電子郵件、移動(dòng)電話、數(shù)碼相機(jī)和在線信用卡交易等多種方式，每個(gè)人日常生活都在被數(shù)字化。數(shù)字世界的規(guī)模從2006年到2011 年這五年間膨脹了10 倍！如圖1-6 所示?！ 〈髷?shù)據(jù)快速增長(zhǎng)的部分原因歸功于智能設(shè)備的普及[6]，比如傳感器和醫(yī)療設(shè)備，以及智能建筑，比如大樓和橋梁。此外，非結(jié)構(gòu)化信息，比如文件、電子郵件和視頻，將占到未來(lái)10年新生數(shù)據(jù)的90%。非結(jié)構(gòu)化信息的增長(zhǎng)部分應(yīng)歸功于高寬帶數(shù)據(jù)的增長(zhǎng)，比如視頻。 用戶手中的手機(jī)和移動(dòng)設(shè)備是數(shù)據(jù)量爆炸的一個(gè)重要原因，目前，全球用戶擁有50 億臺(tái)手機(jī)，其中20 億臺(tái)為智能電話，這相當(dāng)于80年代20 億臺(tái)IBM 的大型機(jī)在消費(fèi)者手里。
1.3大數(shù)據(jù)技術(shù)架構(gòu) 各種各樣的大數(shù)據(jù)應(yīng)用需求迫切需要新的工具和技術(shù)來(lái)存儲(chǔ)、管理和實(shí)現(xiàn)商業(yè)價(jià)值。新的工具、流程和方法支撐起了新的技術(shù)架構(gòu)，使得企業(yè)能夠建立、操作和管理這些超大規(guī)模的數(shù)據(jù)集和儲(chǔ)藏?cái)?shù)據(jù)的存儲(chǔ)環(huán)境?！ ≡谌碌臄?shù)據(jù)增長(zhǎng)速度條件下，一切都必須重新評(píng)估。這項(xiàng)工作必須從全盤入手，并考慮大數(shù)據(jù)分析?！ ∫菁{數(shù)據(jù)本身，IT基礎(chǔ)架構(gòu)必須能夠以經(jīng)濟(jì)的方式存儲(chǔ)比以往更大量、類型更多的數(shù)據(jù)。此外，還必須能適應(yīng)數(shù)據(jù)速度，即數(shù)據(jù)變化的速度。數(shù)量如此大的數(shù)據(jù)難以在當(dāng)今的網(wǎng)絡(luò)連接條件下快速來(lái)回移動(dòng)。大數(shù)據(jù)基礎(chǔ)架構(gòu)必須分布計(jì)算能力，以便能在接近用戶的位置進(jìn)行數(shù)據(jù)分析，減少跨越網(wǎng)絡(luò)所引起的延遲。隨著企業(yè)逐漸認(rèn)識(shí)到必須在數(shù)據(jù)駐留的位置進(jìn)行分析，分布這類計(jì)算能力，以便為分析工具提供實(shí)時(shí)響應(yīng)將帶來(lái)挑戰(zhàn)?？紤]到數(shù)據(jù)速度和數(shù)據(jù)量，來(lái)回移動(dòng)數(shù)據(jù)進(jìn)行處理是不現(xiàn)實(shí)的。相反，計(jì)算和分析工具可能會(huì)移到數(shù)據(jù)附近。而且，云計(jì)算模式對(duì)大數(shù)據(jù)的成功至關(guān)重要。云模型在從大數(shù)據(jù)中提取商業(yè)價(jià)值的同時(shí)也在馴服它。這種交付模型能為企業(yè)提供一種靈活的選擇，以實(shí)現(xiàn)大數(shù)據(jù)分析所需的效率、可擴(kuò)展性、數(shù)據(jù)便攜性和經(jīng)濟(jì)性。僅僅存儲(chǔ)和提供數(shù)據(jù)還不夠，必須以新方式合成、分析和關(guān)聯(lián)數(shù)據(jù)，才能提供商業(yè)價(jià)值。部分大數(shù)據(jù)方法要求處理未經(jīng)建模的數(shù)據(jù)，因此，可以用來(lái)跨毫不相干的數(shù)據(jù)源比較不同類型的數(shù)據(jù)和進(jìn)行模式匹配。這使得大數(shù)據(jù)分析能以新視角挖掘企業(yè)傳統(tǒng)數(shù)據(jù)，并帶來(lái)傳統(tǒng)上未曾分析過(guò)的數(shù)據(jù)洞察力。 基于上述考慮，我們構(gòu)建了適合大數(shù)據(jù)的四層堆棧式技術(shù)架構(gòu)，如圖1-7 所示?！ ?strong>1．基礎(chǔ)層 第一層作為整個(gè)大數(shù)據(jù)技術(shù)架構(gòu)基礎(chǔ)的最底層，也是基礎(chǔ)層。要實(shí)現(xiàn)大數(shù)據(jù)規(guī)模的應(yīng)用，企業(yè)需要一個(gè)高度自動(dòng)化的、可橫向擴(kuò)展的存儲(chǔ)和計(jì)算平臺(tái)。這個(gè)基礎(chǔ)設(shè)施需要從以前的存儲(chǔ)孤島發(fā)展為具有共享能力的高容量存儲(chǔ)池。容量、性能和吞吐量必須可以線性擴(kuò)展?！ ≡颇Ｐ凸膭?lì)訪問(wèn)數(shù)據(jù)并提供彈性資源池來(lái)應(yīng)對(duì)大規(guī)模問(wèn)題，解決了如何存儲(chǔ)大量數(shù)據(jù)，以及如何積聚所需的計(jì)算資源來(lái)操作數(shù)據(jù)的問(wèn)題。在云中，數(shù)據(jù)跨多個(gè)節(jié)點(diǎn)調(diào)配和分布，使得數(shù)據(jù)更接近需要它的用戶，從而縮短響應(yīng)時(shí)間和提高生產(chǎn)率?！ ?strong>2．管理層 要支持在多源數(shù)據(jù)上做深層次的分析，大數(shù)據(jù)技術(shù)架構(gòu)中需要一個(gè)管理平臺(tái)，使結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)管理為一體，具備實(shí)時(shí)傳送和查詢、計(jì)算功能。本層既包括數(shù)據(jù)的存儲(chǔ)和管理，也涉及數(shù)據(jù)的計(jì)算。并行化和分布式是大數(shù)據(jù)管理平臺(tái)所必須考慮的要素。 3．分析層 大數(shù)據(jù)應(yīng)用需要大數(shù)據(jù)分析。分析層提供基于統(tǒng)計(jì)學(xué)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法，用于分析和解釋數(shù)據(jù)集，幫助企業(yè)獲得對(duì)數(shù)據(jù)價(jià)值深入的領(lǐng)悟?？蓴U(kuò)展性強(qiáng)、使用靈活的大數(shù)據(jù)分析平臺(tái)更可成為數(shù)據(jù)科學(xué)家的利器，起到事半功倍的效果?！ ?strong>4．應(yīng)用層 大數(shù)據(jù)的價(jià)值體現(xiàn)在幫助企業(yè)進(jìn)行決策和為終端用戶提供服務(wù)的應(yīng)用。不同的新型商業(yè)需求驅(qū)動(dòng)了大數(shù)據(jù)的應(yīng)用。反之，大數(shù)據(jù)應(yīng)用為企業(yè)提供的競(jìng)爭(zhēng)優(yōu)勢(shì)使得企業(yè)更加重視大數(shù)據(jù)的價(jià)值。新型大數(shù)據(jù)應(yīng)用對(duì)大數(shù)據(jù)技術(shù)不斷提出新的要求，大數(shù)據(jù)技術(shù)也因此在不斷的發(fā)展變化中日趨成熟。
