標(biāo)題: Joe對(duì)于大數(shù)據(jù)的幾點(diǎn)淺見(jiàn)(科普向) [打印本頁(yè)]

作者: xiaos    時(shí)間: 2015-4-2 21:59
標(biāo)題: Joe對(duì)于大數(shù)據(jù)的幾點(diǎn)淺見(jiàn)(科普向)
       馬年就這么莫名其妙地開(kāi)始了幾個(gè)月,時(shí)代前進(jìn)的步伐比彩旗醬的旋轉(zhuǎn)還要“根本停不下來(lái)”,小伙伴們也紛紛隨之告別“學(xué)生黨”,都在努力實(shí)現(xiàn)在自己領(lǐng)域一馬當(dāng)先。
       人類在面對(duì)新舊時(shí)代交替時(shí),通常表現(xiàn)出惶恐與緊張,甚至?xí)虼艘l(fā)戰(zhàn)爭(zhēng)和殺戮。但縱觀歷史,在這種“蒼天已死黃天當(dāng)立”(可能比喻得不是很恰當(dāng))的階段里,看清時(shí)代脈絡(luò)的人往往能夠在新時(shí)代里如魚(yú)得水。正如《三體》里描寫的宇宙戰(zhàn)爭(zhēng)一樣,要想戰(zhàn)勝對(duì)手,就要比對(duì)手更先進(jìn)化出能夠在新環(huán)境中生存的能力,然后拉著全宇宙一起向新環(huán)境(維度)躍遷,結(jié)果對(duì)手死了,自己活了下來(lái)。
       自從年后轉(zhuǎn)入云計(jì)算部門擔(dān)任技術(shù)選型和預(yù)研工作,Joe在工作學(xué)習(xí)的過(guò)程中偶然有所感悟,在這里提幾點(diǎn)對(duì)大數(shù)據(jù)的淺見(jiàn),希望能夠拋磚引玉,如果能對(duì)某些小伙伴提供一些幫助,那當(dāng)然最好了~
數(shù)據(jù),一種新的資源

       人類的歷史進(jìn)程說(shuō)白了就是資源爭(zhēng)奪的過(guò)程。人類由于動(dòng)物的本能,一代一代地努力為自己族群爭(zhēng)取更多資源,這種生來(lái)有之的沖動(dòng)和欲望推動(dòng)著人類不斷發(fā)展。而在于新時(shí)代,一種新的資源誕生了,那就是數(shù)據(jù)(其實(shí)也不能絕對(duì)地說(shuō)是一種新的資源,但在新時(shí)代,這種資源真正成為了一種主要資源,甚至能與土地、能源、食物比肩)。
       這種資源有著其獨(dú)有的特性:對(duì)它的使用不會(huì)造成消耗,但它卻有著時(shí)效性。換句話說(shuō)人類利用這一資源創(chuàng)造其衍生物不會(huì)對(duì)其造成損耗,但其特有的時(shí)效性意味著過(guò)時(shí)的數(shù)據(jù)即使數(shù)量再龐大也沒(méi)有任何價(jià)值(什么樣的數(shù)據(jù)算是過(guò)時(shí)數(shù)據(jù)不可一概而論,而應(yīng)該根據(jù)使用目標(biāo)進(jìn)行定義)。由此可以衍生得出,在新的時(shí)代里,對(duì)數(shù)據(jù)的收集和利用是新一輪競(jìng)爭(zhēng)的主旋律。正如工業(yè)化之后阿拉伯的兄弟們因?yàn)槭统蔀榱俗顩](méi)技術(shù)含量的土豪一樣,在新的時(shí)代里,假如你掌握了數(shù)據(jù),然后你懂的...
生活,一切開(kāi)始不一樣

       談?wù)剬?duì)于生活的變化?梢哉f(shuō)現(xiàn)在時(shí)代變遷的浪尖已經(jīng)打在了小伙伴們的腦門上了,變革悄悄地到來(lái)。為什么說(shuō)是“悄悄地”呢?舉個(gè)例子,我們照著一直以來(lái)的方法,上學(xué)放學(xué)、上班下班、吃喝玩樂(lè),看起來(lái)好像和過(guò)去沒(méi)什么兩樣,但在各位沒(méi)有注意到的角落里,我們的一舉一動(dòng)正在被新時(shí)代的先行者捕獲。他們可能是利用一個(gè)監(jiān)控?cái)z像頭,可能是你手機(jī)里的某個(gè)APP,可能是潛伏在你常去的購(gòu)物網(wǎng)站中的一個(gè)網(wǎng)絡(luò)機(jī)器人……總之你不會(huì)明白這一切是從什么時(shí)候開(kāi)始的,也不會(huì)清楚這一切是怎么運(yùn)作的,但我在此可以明確地說(shuō),這都是存在的。
       以上都是有人懷著各自的目的在收集數(shù)據(jù),好像沒(méi)有改變什么,那么為什么說(shuō)對(duì)的生活有影響呢?其實(shí)可以冷靜下來(lái)仔細(xì)想想,與十年前相比,是不是多了很多讓你覺(jué)得更加開(kāi)心的變化呢?為何你的購(gòu)物網(wǎng)站往往能在首頁(yè)顯示你正好想買的東西?為何裝攝像頭最多的區(qū)域往往都是發(fā)生犯罪可能性最大的地方?為何美劇《紙牌屋》能讓幾乎所有人都high起來(lái)?其實(shí)這一切都是根據(jù)從你身上獲取到的數(shù)據(jù)經(jīng)過(guò)分析計(jì)算后對(duì)客觀世界的反饋。還有一個(gè)例子可能會(huì)更加直觀:十年前你想利用word寫一封表達(dá)你心中憤怒的信件,那個(gè)眼睛很大長(zhǎng)得很萌的回形針(幫助助手,你可以把它換成其他形狀)會(huì)傻傻地在你信件的開(kāi)頭幫你寫上“親愛(ài)的XXX”,根本不考慮你的心態(tài),F(xiàn)在,這種看起來(lái)很愚蠢地輔助在數(shù)據(jù)的影響下會(huì)變得十分貼心,助手能知道你寫信時(shí)的心情(通過(guò)捕獲你的行為數(shù)據(jù)進(jìn)行分析)從而在文法上進(jìn)行輔助!《紙牌屋》為何如此受歡迎?那是因?yàn)橹破剿鸭舜罅坑^眾觀看電視劇的行為數(shù)據(jù),并據(jù)此分析得出觀眾的“愛(ài)好點(diǎn)”,在此指導(dǎo)下形成最完美的劇本。
工作,新的時(shí)代形成新的模式
       對(duì)于工作,數(shù)據(jù)新時(shí)代最大的變化在于無(wú)論哪個(gè)行業(yè),每個(gè)人都有機(jī)會(huì)獲得一個(gè)助手,一個(gè)偉大的助手。新的時(shí)代下,計(jì)算機(jī)表現(xiàn)出的最重要能力將不再是一件強(qiáng)大的工具,而是一個(gè)冷靜沉著并且很靠譜的顧問(wèn)。舉個(gè)例子,我上學(xué)的時(shí)候從小學(xué)開(kāi)始就已經(jīng)興起所謂的多媒體教學(xué),無(wú)非就是老師利用計(jì)算機(jī)的多媒體特性和使得課堂更加有趣多彩,在這個(gè)過(guò)程中PPT、WORD等辦公軟件是計(jì)算機(jī)最重要的功能。而在新時(shí)代,通過(guò)在學(xué)校里部署各種各樣的感知設(shè)備(監(jiān)控?cái)z像頭,各類傳感器等)收集學(xué)生數(shù)據(jù)存放在數(shù)據(jù)中心之中,再通過(guò)計(jì)算機(jī)大量的計(jì)算和分析,可以獲得對(duì)每個(gè)學(xué)生的性格定義和行為預(yù)測(cè),從而輔助老師實(shí)現(xiàn)真正的因材施教,并在成長(zhǎng)的關(guān)鍵點(diǎn)進(jìn)行適當(dāng)?shù)馗深A(yù)。
云計(jì)算,新瓶裝舊酒的時(shí)代驕子
        對(duì)于遵從摩爾定律發(fā)展的計(jì)算機(jī)硬件技術(shù)而言,對(duì)于行業(yè)外的人來(lái)說(shuō)這已經(jīng)是一個(gè)非?斓乃俣攘。像我這個(gè)年紀(jì)的人來(lái)說(shuō),經(jīng)歷了windows95時(shí)代到現(xiàn)今windows7&8這樣酷炫的個(gè)人系統(tǒng)的轉(zhuǎn)變。而如果有心關(guān)注PC后一些指標(biāo),例如CPU主頻,內(nèi)存大小、主頻等指標(biāo)都有成數(shù)量級(jí)的提升。但是如果計(jì)算機(jī)不用來(lái)玩游戲?qū)懳臋n上QQ,而是試圖處理整個(gè)人類社會(huì)的信息,那么這些當(dāng)今的計(jì)算機(jī)統(tǒng)統(tǒng)都無(wú)能為力。那么前面提到的這些改變又是如何達(dá)成的呢?
        我們的祖先在遇到一頭牛無(wú)法拖動(dòng)石塊的時(shí)候,往往想到的是再拉一頭牛過(guò)來(lái),而不是培育一頭更大更強(qiáng)壯的牛。計(jì)算機(jī)領(lǐng)域的思維也是如此。假設(shè)一臺(tái)計(jì)算機(jī)無(wú)法裝下所有數(shù)據(jù),無(wú)法在可以忍受的時(shí)間范圍內(nèi)處理完任務(wù),那么我們就用一堆計(jì)算機(jī)來(lái)完成,我們稱這一堆計(jì)算機(jī)(加上能夠同時(shí)運(yùn)行在多臺(tái)計(jì)算機(jī)上的軟件任務(wù))為——集群。
        集群的力量是令人生畏的,比如谷歌能夠處理互聯(lián)網(wǎng)上幾千萬(wàn)億網(wǎng)頁(yè)的搜索引擎,比如淘寶能夠頂住雙11可怕訪問(wèn)壓力的支付系統(tǒng),他們單內(nèi)存就需要幾T~幾十T,遠(yuǎn)遠(yuǎn)高于小伙伴們個(gè)人電腦硬盤的容量。而集群的硬盤存儲(chǔ)空間輕輕松松可以達(dá)到以P為單位的級(jí)別(1000T=1P)。集群中幾萬(wàn)幾十萬(wàn)個(gè)CPU同時(shí)工作,為人類社會(huì)的加速式進(jìn)步提供澎湃動(dòng)力。
        云計(jì)算是在集群基礎(chǔ)上發(fā)展而來(lái)的生態(tài)系統(tǒng):它不僅包含集群管理、集群計(jì)算算法,較之前更多的是新的應(yīng)用新的運(yùn)作模式。感謝谷歌發(fā)布的論文和在這些論文上實(shí)現(xiàn)的開(kāi)源系統(tǒng)(以hadoop、storm等為代表),使現(xiàn)在的企業(yè)實(shí)現(xiàn)云計(jì)算門檻大大降低,使越來(lái)越多沒(méi)有受過(guò)世界頂尖計(jì)算機(jī)科學(xué)教育的技術(shù)愛(ài)好者能夠參與到這項(xiàng)技術(shù)的發(fā)展中,使其在近些年發(fā)揮出無(wú)與倫比的活力。












歡迎光臨 (http://www.torrancerestoration.com/bbs/) Powered by Discuz! X3.1