找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

搜索
查看: 2479|回復(fù): 0
打印 上一主題 下一主題
收起左側(cè)

Joe對于大數(shù)據(jù)的幾點淺見(科普向)

[復(fù)制鏈接]
跳轉(zhuǎn)到指定樓層
樓主
ID:75926 發(fā)表于 2015-4-2 21:59 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
       馬年就這么莫名其妙地開始了幾個月,時代前進的步伐比彩旗醬的旋轉(zhuǎn)還要“根本停不下來”,小伙伴們也紛紛隨之告別“學(xué)生黨”,都在努力實現(xiàn)在自己領(lǐng)域一馬當先。
       人類在面對新舊時代交替時,通常表現(xiàn)出惶恐與緊張,甚至會因此引發(fā)戰(zhàn)爭和殺戮。但縱觀歷史,在這種“蒼天已死黃天當立”(可能比喻得不是很恰當)的階段里,看清時代脈絡(luò)的人往往能夠在新時代里如魚得水。正如《三體》里描寫的宇宙戰(zhàn)爭一樣,要想戰(zhàn)勝對手,就要比對手更先進化出能夠在新環(huán)境中生存的能力,然后拉著全宇宙一起向新環(huán)境(維度)躍遷,結(jié)果對手死了,自己活了下來。
       自從年后轉(zhuǎn)入云計算部門擔任技術(shù)選型和預(yù)研工作,Joe在工作學(xué)習的過程中偶然有所感悟,在這里提幾點對大數(shù)據(jù)的淺見,希望能夠拋磚引玉,如果能對某些小伙伴提供一些幫助,那當然最好了~
數(shù)據(jù),一種新的資源

       人類的歷史進程說白了就是資源爭奪的過程。人類由于動物的本能,一代一代地努力為自己族群爭取更多資源,這種生來有之的沖動和欲望推動著人類不斷發(fā)展。而在于新時代,一種新的資源誕生了,那就是數(shù)據(jù)(其實也不能絕對地說是一種新的資源,但在新時代,這種資源真正成為了一種主要資源,甚至能與土地、能源、食物比肩)。
       這種資源有著其獨有的特性:對它的使用不會造成消耗,但它卻有著時效性。換句話說人類利用這一資源創(chuàng)造其衍生物不會對其造成損耗,但其特有的時效性意味著過時的數(shù)據(jù)即使數(shù)量再龐大也沒有任何價值(什么樣的數(shù)據(jù)算是過時數(shù)據(jù)不可一概而論,而應(yīng)該根據(jù)使用目標進行定義)。由此可以衍生得出,在新的時代里,對數(shù)據(jù)的收集和利用是新一輪競爭的主旋律。正如工業(yè)化之后阿拉伯的兄弟們因為石油成為了最沒技術(shù)含量的土豪一樣,在新的時代里,假如你掌握了數(shù)據(jù),然后你懂的...
生活,一切開始不一樣

       談?wù)剬τ谏畹淖兓?梢哉f現(xiàn)在時代變遷的浪尖已經(jīng)打在了小伙伴們的腦門上了,變革悄悄地到來。為什么說是“悄悄地”呢?舉個例子,我們照著一直以來的方法,上學(xué)放學(xué)、上班下班、吃喝玩樂,看起來好像和過去沒什么兩樣,但在各位沒有注意到的角落里,我們的一舉一動正在被新時代的先行者捕獲。他們可能是利用一個監(jiān)控攝像頭,可能是你手機里的某個APP,可能是潛伏在你常去的購物網(wǎng)站中的一個網(wǎng)絡(luò)機器人……總之你不會明白這一切是從什么時候開始的,也不會清楚這一切是怎么運作的,但我在此可以明確地說,這都是存在的。
       以上都是有人懷著各自的目的在收集數(shù)據(jù),好像沒有改變什么,那么為什么說對的生活有影響呢?其實可以冷靜下來仔細想想,與十年前相比,是不是多了很多讓你覺得更加開心的變化呢?為何你的購物網(wǎng)站往往能在首頁顯示你正好想買的東西?為何裝攝像頭最多的區(qū)域往往都是發(fā)生犯罪可能性最大的地方?為何美劇《紙牌屋》能讓幾乎所有人都high起來?其實這一切都是根據(jù)從你身上獲取到的數(shù)據(jù)經(jīng)過分析計算后對客觀世界的反饋。還有一個例子可能會更加直觀:十年前你想利用word寫一封表達你心中憤怒的信件,那個眼睛很大長得很萌的回形針(幫助助手,你可以把它換成其他形狀)會傻傻地在你信件的開頭幫你寫上“親愛的XXX”,根本不考慮你的心態(tài),F(xiàn)在,這種看起來很愚蠢地輔助在數(shù)據(jù)的影響下會變得十分貼心,助手能知道你寫信時的心情(通過捕獲你的行為數(shù)據(jù)進行分析)從而在文法上進行輔助!《紙牌屋》為何如此受歡迎?那是因為制片方搜集了大量觀眾觀看電視劇的行為數(shù)據(jù),并據(jù)此分析得出觀眾的“愛好點”,在此指導(dǎo)下形成最完美的劇本。
工作,新的時代形成新的模式
       對于工作,數(shù)據(jù)新時代最大的變化在于無論哪個行業(yè),每個人都有機會獲得一個助手,一個偉大的助手。新的時代下,計算機表現(xiàn)出的最重要能力將不再是一件強大的工具,而是一個冷靜沉著并且很靠譜的顧問。舉個例子,我上學(xué)的時候從小學(xué)開始就已經(jīng)興起所謂的多媒體教學(xué),無非就是老師利用計算機的多媒體特性和使得課堂更加有趣多彩,在這個過程中PPT、WORD等辦公軟件是計算機最重要的功能。而在新時代,通過在學(xué)校里部署各種各樣的感知設(shè)備(監(jiān)控攝像頭,各類傳感器等)收集學(xué)生數(shù)據(jù)存放在數(shù)據(jù)中心之中,再通過計算機大量的計算和分析,可以獲得對每個學(xué)生的性格定義和行為預(yù)測,從而輔助老師實現(xiàn)真正的因材施教,并在成長的關(guān)鍵點進行適當?shù)馗深A(yù)。
云計算,新瓶裝舊酒的時代驕子
        對于遵從摩爾定律發(fā)展的計算機硬件技術(shù)而言,對于行業(yè)外的人來說這已經(jīng)是一個非?斓乃俣攘。像我這個年紀的人來說,經(jīng)歷了windows95時代到現(xiàn)今windows7&8這樣酷炫的個人系統(tǒng)的轉(zhuǎn)變。而如果有心關(guān)注PC后一些指標,例如CPU主頻,內(nèi)存大小、主頻等指標都有成數(shù)量級的提升。但是如果計算機不用來玩游戲?qū)懳臋n上QQ,而是試圖處理整個人類社會的信息,那么這些當今的計算機統(tǒng)統(tǒng)都無能為力。那么前面提到的這些改變又是如何達成的呢?
        我們的祖先在遇到一頭牛無法拖動石塊的時候,往往想到的是再拉一頭牛過來,而不是培育一頭更大更強壯的牛。計算機領(lǐng)域的思維也是如此。假設(shè)一臺計算機無法裝下所有數(shù)據(jù),無法在可以忍受的時間范圍內(nèi)處理完任務(wù),那么我們就用一堆計算機來完成,我們稱這一堆計算機(加上能夠同時運行在多臺計算機上的軟件任務(wù))為——集群。
        集群的力量是令人生畏的,比如谷歌能夠處理互聯(lián)網(wǎng)上幾千萬億網(wǎng)頁的搜索引擎,比如淘寶能夠頂住雙11可怕訪問壓力的支付系統(tǒng),他們單內(nèi)存就需要幾T~幾十T,遠遠高于小伙伴們個人電腦硬盤的容量。而集群的硬盤存儲空間輕輕松松可以達到以P為單位的級別(1000T=1P)。集群中幾萬幾十萬個CPU同時工作,為人類社會的加速式進步提供澎湃動力。
        云計算是在集群基礎(chǔ)上發(fā)展而來的生態(tài)系統(tǒng):它不僅包含集群管理、集群計算算法,較之前更多的是新的應(yīng)用新的運作模式。感謝谷歌發(fā)布的論文和在這些論文上實現(xiàn)的開源系統(tǒng)(以hadoop、storm等為代表),使現(xiàn)在的企業(yè)實現(xiàn)云計算門檻大大降低,使越來越多沒有受過世界頂尖計算機科學(xué)教育的技術(shù)愛好者能夠參與到這項技術(shù)的發(fā)展中,使其在近些年發(fā)揮出無與倫比的活力。







分享到:  QQ好友和群QQ好友和群 QQ空間QQ空間 騰訊微博騰訊微博 騰訊朋友騰訊朋友
收藏收藏 分享淘帖 頂 踩
回復(fù)

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規(guī)則

小黑屋|51黑電子論壇 |51黑電子論壇6群 QQ 管理員QQ:125739409;技術(shù)交流QQ群281945664

Powered by 單片機教程網(wǎng)

快速回復(fù) 返回頂部 返回列表