直播視頻內(nèi)容無(wú)法識(shí)別？Twitter 開(kāi)發(fā)的新算法做到了

此時(shí)此刻，某人正在直播有趣的事情。多虧了 Twitter 人工智能研發(fā)人員開(kāi)發(fā)的這一技術(shù)，你很快就能找到這些正在直播的有趣視頻。

因?yàn)?Twitter 的 Periscope、Meerkat 和最近的出現(xiàn)的 Facebook Live 這樣的手機(jī) App，直播正在成為當(dāng)下最流行的事情。然而，直播視頻的內(nèi)容通常不能很好的被分類或者打上標(biāo)簽，因?yàn)橹钡介_(kāi)拍的時(shí)候人們才能知道直播內(nèi)容。

Twitter 的人工智能團(tuán)隊(duì) Cortex，已經(jīng)開(kāi)發(fā)出了一種即刻識(shí)別直播視頻內(nèi)容的算法。舉例來(lái)說(shuō)，這種算法能夠分辨出來(lái)直播片段中主播是在玩吉他，還是在演示電動(dòng)工具，或是一只貓?jiān)谟^眾面前張牙舞爪。

「在 Periscope 上，內(nèi)容是一直變化的，尤其是直播視頻，」Cortex 的技術(shù)主管 Clement Farabet 說(shuō)。他向《麻省理工科技評(píng)論》示了該視頻識(shí)別技術(shù)：屏幕上，Periscope 上的二十四個(gè)直播視頻全部被實(shí)時(shí)標(biāo)記。

識(shí)別直播視頻內(nèi)容是一種讓人印象深刻的手段。研究人員近些年已經(jīng)用算法取得了令人矚目的進(jìn)展，比如識(shí)別圖片中的物體。但在直播視頻畫(huà)質(zhì)實(shí)時(shí)變化的情況下，識(shí)別起來(lái)就頗具難度了。實(shí)時(shí)識(shí)別同時(shí)需要可觀的計(jì)算能力。Twitter 及時(shí)定制了一臺(tái)完全由 GPU（圖形處理器）組成的超級(jí)計(jì)算機(jī)，用以解決視頻分類和傳輸計(jì)算結(jié)果的問(wèn)題。這些芯片組在處理深度學(xué)習(xí)需要的數(shù)學(xué)計(jì)算時(shí)非常高效，而這僅僅是龐大計(jì)算機(jī)系統(tǒng)中的一部分。

「處理靜態(tài)視頻已經(jīng)是個(gè)不小的挑戰(zhàn)了，要處理動(dòng)態(tài)視頻則要求更強(qiáng)大的處理能力�！寡芯總�(gè)性化內(nèi)容的匹斯堡大學(xué)教授 Peter Brusilovsky 說(shuō)。

Brusilovsky 說(shuō)我們亟需更好的過(guò)濾視頻方法。「視頻一般不能快速預(yù)覽，」他說(shuō)，「因此，推薦就變得很重要。這是視頻現(xiàn)在缺失的部分。」

推薦視頻通常是向人展示一個(gè)跟他/她有相似興趣的人看過(guò)的視頻（也就是知名的「協(xié)同過(guò)濾」collaborative filtering 方法）。這是對(duì)真實(shí)興趣的粗略估計(jì)，但它對(duì)直播視頻的內(nèi)容卻不起作用。

Cortex 團(tuán)隊(duì)擁有創(chuàng)造復(fù)雜推薦系統(tǒng)的雄心。基于用戶之前的行為，推薦系統(tǒng)幫助用戶過(guò)濾和組織分享在服務(wù)平臺(tái)上的各種內(nèi)容。

Cortex 團(tuán)隊(duì)研發(fā)的視頻識(shí)別技術(shù)至今仍未應(yīng)用在任何 Twitter產(chǎn)品上。但現(xiàn)在正在 Periscope——一個(gè)用戶利用智能手機(jī)就能視頻直播的 Twitter 應(yīng)用——上進(jìn)行測(cè)試。該團(tuán)隊(duì)利用深度學(xué)習(xí)的方法來(lái)識(shí)別視頻中的活動(dòng)。深度學(xué)習(xí)通過(guò)大量樣例訓(xùn)練大型模擬神經(jīng)網(wǎng)絡(luò)，識(shí)別輸入的內(nèi)容。這些樣例由職員觀看視頻、然后添加關(guān)鍵詞。打標(biāo)簽的過(guò)程為視頻提供了足夠復(fù)雜的語(yǔ)義理解框架。舉例來(lái)說(shuō)，一段視頻中出現(xiàn)的貓將不僅僅被歸類為「貓」，也會(huì)被納入「貓科」、「哺乳動(dòng)物」、「動(dòng)物」等分類中。這提供了一種探索視頻的精致方法。

視頻直播正在快速成為社交媒介廣闊圖景的重要一部分。

Twitter 在 2015 年 1 月以超出 5,000 萬(wàn)美元的價(jià)格收購(gòu)了  Periscope，當(dāng)時(shí)這款 App 還未發(fā)布。這起收購(gòu)發(fā)生在 Meerkat 火爆之后，Meerkat 是另一個(gè)關(guān)聯(lián)到 Twitter 賬號(hào)的視頻直播應(yīng)用 。而 Facebook 也在 2015 年早期開(kāi)始運(yùn)營(yíng)自家的視頻直播業(yè)務(wù)。在今年三月初 ， 該公司將直播業(yè)務(wù)放到了每一用戶可見(jiàn)的主頁(yè)來(lái)凸顯該業(yè)務(wù)對(duì)于公司未來(lái)的重要性。

Periscope 目前尚無(wú)將此視頻識(shí)別技術(shù)商業(yè)化的計(jì)劃，也不打算添加廣告業(yè)務(wù)。但是，不難想象這種技術(shù)將給廣告業(yè)務(wù)帶何等的變化：算法幫助篩選與當(dāng)前播放的電影、直播內(nèi)容相匹配的廣告（這將提高內(nèi)容受眾對(duì)廣告的接受度）。事實(shí)上，隨著越來(lái)越多的視頻屬于在線播放，這一算法能夠幫助 Twitter 更為高效的根據(jù)內(nèi)容匹配廣告。值得一提的是，該公司獲得了直播數(shù)場(chǎng) NFL 比賽的資格。哈佛大學(xué)伯克曼中心副教授、在線媒體和廣告專家 Ben Edelman 認(rèn)為 Twitter 開(kāi)發(fā)的這一技術(shù)在篩選、過(guò)濾有版權(quán)的視頻內(nèi)容上和色情、暴力這樣的不想要的內(nèi)容上非常重要。

同時(shí) Farabet 只對(duì)找到人們真正想要觀看的內(nèi)容抱有興趣�！刚业侥阏嬲�感興趣的內(nèi)容——與內(nèi)容的創(chuàng)造者或產(chǎn)生時(shí)間無(wú)關(guān)——是我們真正想擁有的能力�！顾�說(shuō)。