愛華網(wǎng)???? 大數(shù)據(jù)（Big Data）是將規(guī)模龐大、結(jié)構(gòu)復(fù)雜、動態(tài)演變的數(shù)據(jù)進行采集、篩選、管理、搜索、分析、挖掘與表達的技術(shù)統(tǒng)稱，是連通信息世界和知識世界的橋梁，也是數(shù)據(jù)科學(xué)（Data Science）的重要研究方向。 大數(shù)據(jù)的概念原本出自以谷歌為代表的新一代IT公司，利用數(shù)據(jù)密集型復(fù)雜挖掘技術(shù)處理海量數(shù)據(jù)，并創(chuàng)造驚人價值的現(xiàn)象，創(chuàng)立之初就頗有“沙里取金”的奪人眼球的效果。 美國政府年初宣布的“Big Data Initiative”，更是將其變成包括中國在內(nèi)的全球各國炙手可熱的新“掘金點”，Map Reduce迅速成為學(xué)術(shù)界、產(chǎn)業(yè)界反復(fù)炒作渲染的流行詞匯。 “大數(shù)據(jù)”技術(shù)來自搜索、電子商務(wù)、科學(xué)計算等領(lǐng)域長期與海量數(shù)據(jù)打交道所積累下的經(jīng)驗積累，目前尚不存在公認的基礎(chǔ)理論和解決方案。要真正理解大數(shù)據(jù)，用好大數(shù)據(jù)，必須跳出現(xiàn)有概念的窠臼，一方面從底層數(shù)據(jù)科學(xué)入手，提煉和解答出數(shù)據(jù)背后的科學(xué)問題，尋找數(shù)據(jù)真正的意義和基礎(chǔ)規(guī)律；另一方面需要遵循“從實踐中來，到實踐中去”的原則，在實際應(yīng)用中了解大數(shù)據(jù)，研究不同領(lǐng)域的數(shù)據(jù)情況，明確大數(shù)據(jù)可以創(chuàng)造的核心價值與實現(xiàn)難點。 地理信息是天然大數(shù)據(jù)
從上世紀60年代誕生之日起，海量數(shù)據(jù)問題一直是地理信息領(lǐng)域的“阿基里斯之踵”。究其原因，主要是兩方面： 第一，地理科學(xué)面對的是一個復(fù)雜巨系統(tǒng)。1986年錢學(xué)森院士在現(xiàn)代人類知識體系將地理科學(xué)歸結(jié)為自然科學(xué)與社會科學(xué)之間的橋梁科學(xué)，研究整個地球表面同人類息息相關(guān)的大氣對流層、巖石圈上部、水圈、生物圈和人類圈環(huán)境。因為上至衛(wèi)星遙感數(shù)據(jù)、下至地震傳感數(shù)據(jù)，以及我們常見的統(tǒng)計、環(huán)境、水利、資源、土地等領(lǐng)域數(shù)據(jù)都屬于地理數(shù)據(jù)，所以地理信息技術(shù)需要處理的范圍廣，數(shù)據(jù)源多，數(shù)據(jù)類型多樣，其數(shù)據(jù)量巨大是不言而喻的。 第二，地球表面的信息量巨大，感知手段多樣。以谷歌地圖使用Landsat TM影像為例，其空間分辨率為30米，則單一時相全球完整覆蓋其整體數(shù)據(jù)量約為2TB。2012年底，我國已對成功發(fā)射天繪、天鏈、天拓、遙感、資源、氣象、海洋等多系列衛(wèi)星，建立起環(huán)境與災(zāi)害監(jiān)測預(yù)報小衛(wèi)星星座，“嫦娥一號”對月觀測也取得良好效果，而整個“十二五”期間我國計劃發(fā)射百余顆衛(wèi)星。 以今年發(fā)射成功的資源三號為例，其幾何定位精度為30米，重訪周期僅5天，則一年內(nèi)的基礎(chǔ)數(shù)據(jù)量就可達數(shù)百TB。當(dāng)中國遙感未來邁入國際上快鳥(Quick Bird)等高分辨率衛(wèi)星達到1M分辨率的門檻后，則全球單次掃描的遙感影像結(jié)果數(shù)據(jù)量將至少超過1800TB，這對目前的數(shù)據(jù)處理能力來說是不可想象的，更別說還要考慮多波段、多時相、多產(chǎn)品、歷史數(shù)據(jù)、中間數(shù)據(jù)、重疊區(qū)、雷達、點云數(shù)據(jù)等問題。 遙感數(shù)據(jù)之外，北斗定位系統(tǒng)的建立、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展也會導(dǎo)致包括來自車輛、風(fēng)力、雨量、溫度、濕度等各種傳感器以及個人網(wǎng)絡(luò)活動的高頻空間關(guān)聯(lián)信息的數(shù)據(jù)洪流涌入，并且要求快速處理響應(yīng)。 地理數(shù)據(jù)蘊含巨大價值 隨著谷歌地球等互聯(lián)網(wǎng)電子地圖的普及，目前公眾已逐漸接受并熟悉了位置服務(wù)（LBS）、地圖瀏覽查詢、車輛導(dǎo)航等地理信息服務(wù)。地理信息已經(jīng)創(chuàng)造了巨大的價值，但這只是諸多地理信息應(yīng)用的冰山一角。 無論是遙感數(shù)據(jù)、物聯(lián)網(wǎng)傳感器數(shù)據(jù)、地圖數(shù)據(jù)還是個人網(wǎng)絡(luò)活動數(shù)據(jù)，都可以看作是地理自然與人文環(huán)境的采樣與記錄，只要使用合適的分析方法就可揭示其蘊含在背后的深刻而復(fù)雜的社會自然意義。 地理信息系統(tǒng)擅長于進行空間分析及與其他領(lǐng)域模型的關(guān)聯(lián)分析。例如： 利用遙感數(shù)據(jù)再分類的特征識別與提取技術(shù)，可快速提取地表的水域、農(nóng)田、城區(qū)、建筑等，對農(nóng)業(yè)估產(chǎn)、城市規(guī)劃等應(yīng)用具有重要作用； 城市傳感器數(shù)據(jù)的建模、分析可用于了解區(qū)域溫度、PM2.5等指標(biāo)真實分布，輔助政府市民進行出行活動決策； 將政區(qū)與耕地數(shù)據(jù)集進行疊加，通過格網(wǎng)分析即可快速統(tǒng)計行政區(qū)域內(nèi)的耕地面積，這對于土地紅線控制具有重要參考作用； 空間關(guān)系分析針對當(dāng)前互聯(lián)網(wǎng)中產(chǎn)生的大量簽到信息進行商區(qū)聚類分析，從而幫助商業(yè)選址、廣告優(yōu)化； 網(wǎng)絡(luò)分析更是應(yīng)用廣泛，從現(xiàn)代物流倉儲選址、配貨調(diào)度，到公路網(wǎng)，鐵路網(wǎng)、電力網(wǎng)、市政管網(wǎng)等設(shè)施的優(yōu)化管理調(diào)度，再有水系分析，管理、應(yīng)急、導(dǎo)航路徑分析、交通規(guī)則處理等等，都是網(wǎng)絡(luò)分析的用武之地； 而時空分析則可用于區(qū)域環(huán)境變化監(jiān)測，快速發(fā)現(xiàn)土地、建筑、氣溫、環(huán)境、水文的變化，從而積極響應(yīng)。 目前國內(nèi)地理信息產(chǎn)業(yè)建立了從數(shù)據(jù)生產(chǎn)、軟件平臺、應(yīng)用服務(wù)的全產(chǎn)業(yè)鏈，上游有四維圖新等專業(yè)圖商；中游有超圖軟件等地理信息軟件平臺商；下游有天地圖、百度地圖、超圖云服務(wù)等服務(wù)商。地理信息技術(shù)不僅已成功應(yīng)用于水利環(huán)保、能源礦產(chǎn)、氣象環(huán)保、國土房產(chǎn)等行業(yè)中，而且成為國家數(shù)字城市與智慧城市建設(shè)的核心平臺。 大數(shù)據(jù)時代下，地理信息產(chǎn)業(yè)挑戰(zhàn)與機遇并存。不僅需要地理信息系統(tǒng)數(shù)據(jù)采集、篩選、存儲、分析與顯示技術(shù)的升級，而且要徹底扭轉(zhuǎn)傳統(tǒng)地理信息系統(tǒng)重視數(shù)據(jù)管理與顯示，輕視數(shù)據(jù)分析的狀況。大數(shù)據(jù)的意義只有將地理信息產(chǎn)業(yè)的核心關(guān)注轉(zhuǎn)移到用戶價值上之后才能得到體現(xiàn)，否則大數(shù)據(jù)不如小數(shù)據(jù)，因為實現(xiàn)同樣的價值前提下前者成本只會更高。 但是，如果在大數(shù)據(jù)浪潮下，地理信息產(chǎn)業(yè)可以完成一次升級，那么就不僅意味著產(chǎn)業(yè)鏈上下游的完全重構(gòu)，而且可以在物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、國土、環(huán)保、水利領(lǐng)域，分析挖掘其紛繁數(shù)據(jù)的空間意義，產(chǎn)生巨大的經(jīng)濟社會價值。 三個關(guān)鍵問題亟待解決 “問渠那得清如許，為有源頭活水來?！钡乩硇畔討B(tài)龐大的數(shù)據(jù)流代表著一個巨大的價值寶藏，基于地理信息技術(shù)從多源大數(shù)據(jù)中獲取對自然與人文環(huán)境的知識，從而提高政府、商業(yè)與個人生活效率的美好未來并不遙遠。要實現(xiàn)這一目標(biāo)，有幾個問題亟需解決： 一是研究地理信息適用的大數(shù)據(jù)技術(shù)。目前流行的MapReduce等技術(shù)只能看做是大數(shù)據(jù)技術(shù)示范，相比傳統(tǒng)分布式計算、并行計算技術(shù)其適用的范圍較窄，難以提高GIS中大部分運算效率，所以處理地理信息大數(shù)據(jù)必須建立自身的大數(shù)據(jù)技術(shù)體系。 二是解放沉睡的數(shù)據(jù)。大數(shù)據(jù)產(chǎn)業(yè)需要各個領(lǐng)域的數(shù)據(jù)融合才能更真實地對世界建模分析。美國政府已依照Government 2.0建設(shè)理念發(fā)布了Data.gov 網(wǎng)站，截至2012年11月已提供了來自聯(lián)邦政府各部門的392590個數(shù)據(jù)與工具，其中包含空間數(shù)據(jù)服務(wù)386429個；歐洲也相應(yīng)提出Inspire計劃。雖然中國目前也推出了北京市政府?dāng)?shù)據(jù)資源網(wǎng)，推動包括地理信息數(shù)據(jù)在內(nèi)政府?dāng)?shù)據(jù)資源的對外服務(wù)，但是各個部門行業(yè)數(shù)據(jù)被閑置、堆積、浪費而不共享的情況仍然非常嚴重，嚴重制約了行業(yè)與應(yīng)用的發(fā)展。 三是產(chǎn)學(xué)研結(jié)合，跨領(lǐng)域合作。大數(shù)據(jù)產(chǎn)業(yè)要成功，就必須完成從數(shù)據(jù)到知識再到價值的整個加工流程，這就必須充分融合企業(yè)和科研院所的各自優(yōu)勢。 此外，大數(shù)據(jù)分析是一個多領(lǐng)域知識結(jié)構(gòu)化集成的結(jié)果，所以必須提倡跨領(lǐng)域合作。
愛華網(wǎng)本文地址 » http://www.klfzs.com/a/9101032201/45494.html
