Joe對于大數(shù)據(jù)的幾點淺見（科普向）

ID:75926 · 發(fā)表于 2015-4-2 21:59

   馬年就這么莫名其妙地開始了幾個月，時代前進的步伐比彩旗醬的旋轉(zhuǎn)還要“根本停不下來”，小伙伴們也紛紛隨之告別“學(xué)生黨”，都在努力實現(xiàn)在自己領(lǐng)域一馬當先。
   人類在面對新舊時代交替時，通常表現(xiàn)出惶恐與緊張，甚至會因此引發(fā)戰(zhàn)爭和殺戮。但縱觀歷史，在這種“蒼天已死黃天當立”（可能比喻得不是很恰當）的階段里，看清時代脈絡(luò)的人往往能夠在新時代里如魚得水。正如《三體》里描寫的宇宙戰(zhàn)爭一樣，要想戰(zhàn)勝對手，就要比對手更先進化出能夠在新環(huán)境中生存的能力，然后拉著全宇宙一起向新環(huán)境（維度）躍遷，結(jié)果對手死了，自己活了下來。
   自從年后轉(zhuǎn)入云計算部門擔任技術(shù)選型和預(yù)研工作，Joe在工作學(xué)習的過程中偶然有所感悟，在這里提幾點對大數(shù)據(jù)的淺見，希望能夠拋磚引玉，如果能對某些小伙伴提供一些幫助，那當然最好了~

數(shù)據(jù)，一種新的資源

人類的歷史進程說白了就是資源爭奪的過程。人類由于動物的本能，一代一代地努力為自己族群爭取更多資源，這種生來有之的沖動和欲望推動著人類不斷發(fā)展。而在于新時代，一種新的資源誕生了，那就是數(shù)據(jù)（其實也不能絕對地說是一種新的資源，但在新時代，這種資源真正成為了一種主要資源，甚至能與土地、能源、食物比肩）。
這種資源有著其獨有的特性：對它的使用不會造成消耗，但它卻有著時效性。換句話說人類利用這一資源創(chuàng)造其衍生物不會對其造成損耗，但其特有的時效性意味著過時的數(shù)據(jù)即使數(shù)量再龐大也沒有任何價值（什么樣的數(shù)據(jù)算是過時數(shù)據(jù)不可一概而論，而應(yīng)該根據(jù)使用目標進行定義）。由此可以衍生得出，在新的時代里，對數(shù)據(jù)的收集和利用是新一輪競爭的主旋律。正如工業(yè)化之后阿拉伯的兄弟們因為石油成為了最沒技術(shù)含量的土豪一樣，在新的時代里，假如你掌握了數(shù)據(jù)，然后你懂的...

生活，一切開始不一樣

談?wù)剬τ谏畹淖兓？梢哉f現(xiàn)在時代變遷的浪尖已經(jīng)打在了小伙伴們的腦門上了，變革悄悄地到來。為什么說是“悄悄地”呢？舉個例子，我們照著一直以來的方法，上學(xué)放學(xué)、上班下班、吃喝玩樂，看起來好像和過去沒什么兩樣，但在各位沒有注意到的角落里，我們的一舉一動正在被新時代的先行者捕獲。他們可能是利用一個監(jiān)控攝像頭，可能是你手機里的某個APP，可能是潛伏在你常去的購物網(wǎng)站中的一個網(wǎng)絡(luò)機器人……總之你不會明白這一切是從什么時候開始的，也不會清楚這一切是怎么運作的，但我在此可以明確地說，這都是存在的。
以上都是有人懷著各自的目的在收集數(shù)據(jù)，好像沒有改變什么，那么為什么說對的生活有影響呢？其實可以冷靜下來仔細想想，與十年前相比，是不是多了很多讓你覺得更加開心的變化呢？為何你的購物網(wǎng)站往往能在首頁顯示你正好想買的東西？為何裝攝像頭最多的區(qū)域往往都是發(fā)生犯罪可能性最大的地方？為何美劇《紙牌屋》能讓幾乎所有人都high起來？其實這一切都是根據(jù)從你身上獲取到的數(shù)據(jù)經(jīng)過分析計算后對客觀世界的反饋。還有一個例子可能會更加直觀：十年前你想利用word寫一封表達你心中憤怒的信件，那個眼睛很大長得很萌的回形針（幫助助手，你可以把它換成其他形狀）會傻傻地在你信件的開頭幫你寫上“親愛的XXX”，根本不考慮你的心態(tài)�，F(xiàn)在，這種看起來很愚蠢地輔助在數(shù)據(jù)的影響下會變得十分貼心，助手能知道你寫信時的心情（通過捕獲你的行為數(shù)據(jù)進行分析）從而在文法上進行輔助！《紙牌屋》為何如此受歡迎？那是因為制片方搜集了大量觀眾觀看電視劇的行為數(shù)據(jù)，并據(jù)此分析得出觀眾的“愛好點”，在此指導(dǎo)下形成最完美的劇本。

工作，新的時代形成新的模式

對于工作，數(shù)據(jù)新時代最大的變化在于無論哪個行業(yè)，每個人都有機會獲得一個助手，一個偉大的助手。新的時代下，計算機表現(xiàn)出的最重要能力將不再是一件強大的工具，而是一個冷靜沉著并且很靠譜的顧問。舉個例子，我上學(xué)的時候從小學(xué)開始就已經(jīng)興起所謂的多媒體教學(xué)，無非就是老師利用計算機的多媒體特性和使得課堂更加有趣多彩，在這個過程中PPT、WORD等辦公軟件是計算機最重要的功能。而在新時代，通過在學(xué)校里部署各種各樣的感知設(shè)備（監(jiān)控攝像頭，各類傳感器等）收集學(xué)生數(shù)據(jù)存放在數(shù)據(jù)中心之中，再通過計算機大量的計算和分析，可以獲得對每個學(xué)生的性格定義和行為預(yù)測，從而輔助老師實現(xiàn)真正的因材施教，并在成長的關(guān)鍵點進行適當?shù)馗深A(yù)。

云計算，新瓶裝舊酒的時代驕子

      對于遵從摩爾定律發(fā)展的計算機硬件技術(shù)而言，對于行業(yè)外的人來說這已經(jīng)是一個非�？斓乃俣攘�。像我這個年紀的人來說，經(jīng)歷了windows95時代到現(xiàn)今windows7&8這樣酷炫的個人系統(tǒng)的轉(zhuǎn)變。而如果有心關(guān)注PC后一些指標，例如CPU主頻，內(nèi)存大小、主頻等指標都有成數(shù)量級的提升。但是如果計算機不用來玩游戲?qū)懳臋n上QQ，而是試圖處理整個人類社會的信息，那么這些當今的計算機統(tǒng)統(tǒng)都無能為力。那么前面提到的這些改變又是如何達成的呢？
      我們的祖先在遇到一頭牛無法拖動石塊的時候，往往想到的是再拉一頭牛過來，而不是培育一頭更大更強壯的牛。計算機領(lǐng)域的思維也是如此。假設(shè)一臺計算機無法裝下所有數(shù)據(jù)，無法在可以忍受的時間范圍內(nèi)處理完任務(wù)，那么我們就用一堆計算機來完成，我們稱這一堆計算機（加上能夠同時運行在多臺計算機上的軟件任務(wù)）為——集群。
      集群的力量是令人生畏的，比如谷歌能夠處理互聯(lián)網(wǎng)上幾千萬億網(wǎng)頁的搜索引擎，比如淘寶能夠頂住雙11可怕訪問壓力的支付系統(tǒng)，他們單內(nèi)存就需要幾T~幾十T，遠遠高于小伙伴們個人電腦硬盤的容量。而集群的硬盤存儲空間輕輕松松可以達到以P為單位的級別（1000T=1P）。集群中幾萬幾十萬個CPU同時工作，為人類社會的加速式進步提供澎湃動力。
      云計算是在集群基礎(chǔ)上發(fā)展而來的生態(tài)系統(tǒng)：它不僅包含集群管理、集群計算算法，較之前更多的是新的應(yīng)用新的運作模式。感謝谷歌發(fā)布的論文和在這些論文上實現(xiàn)的開源系統(tǒng)（以hadoop、storm等為代表），使現(xiàn)在的企業(yè)實現(xiàn)云計算門檻大大降低，使越來越多沒有受過世界頂尖計算機科學(xué)教育的技術(shù)愛好者能夠參與到這項技術(shù)的發(fā)展中，使其在近些年發(fā)揮出無與倫比的活力。

帳號		自動登錄	找回密碼
密碼			立即注冊