|
|
2016年3月24日，紐約大學(xué)教授、Facebook AI研究院主任LeCun在CERN Colloquium上發(fā)表了一次演講，以下是這次演講PPT摘要。進(jìn)入公眾號(hào)界面，回復(fù)數(shù)字26，可下載本文所涉及PPT：Deep Learning and the Future of AI
在過去的幾年，人工智能的快速發(fā)展讓我們的智能手機(jī)、社交網(wǎng)絡(luò)、搜索引擎能夠相當(dāng)準(zhǔn)確地識(shí)別聲音、面孔以及照片上的物體。這些巨大進(jìn)步很大一部分與新一類機(jī)器學(xué)習(xí)方式，亦即深度學(xué)習(xí)出現(xiàn)有關(guān)。
LeCun首先提出這樣一個(gè)問題，打造智能機(jī)器，應(yīng)該復(fù)制大腦嗎？不必要，但可以從大腦汲取靈感。大腦是一臺(tái)運(yùn)作高效的計(jì)算機(jī)，而人工智能系統(tǒng)的效率僅為其百萬分之一（考慮到神經(jīng)突觸的復(fù)雜性）。因此，我們可以從大自然汲取靈感，但不要太多。1957年誕生的感知器是第一臺(tái)學(xué)習(xí)機(jī)器，也是先輩們對(duì)生物神經(jīng)學(xué)科的深刻理解和融會(huì)貫通，一個(gè)簡(jiǎn)單的帶有自適性“突觸性權(quán)重”的模擬神經(jīng)元，感知器算法實(shí)際上是在不斷“猜測(cè)”正確的權(quán)重和偏移量。
接下來，LeCun介紹了一般機(jī)器學(xué)習(xí)，監(jiān)督學(xué)習(xí)，大規(guī)模機(jī)器學(xué)習(xí)。上世紀(jì)五十年代末以來，模式識(shí)別的傳統(tǒng)模式是固定（Fixed）/工程化選取的特征（engineered features） （or固定內(nèi)核） +可訓(xùn)練分類器。傳統(tǒng)模式識(shí)別: 固定（Fixed）/人工特征提�。℉andcrafted Feature Extractor）；主流現(xiàn)代的模式識(shí)別：無監(jiān)督中級(jí)層面特征（Unsupervised mid-level features）；深度學(xué)習(xí)：表征具有層級(jí)性，能進(jìn)行訓(xùn)練。深度學(xué)習(xí)，靈感源自大腦視覺皮層的信號(hào)處理：杏仁核通路具有多層級(jí)的。所謂深度，就是不止有一個(gè)非線性特征轉(zhuǎn)換層級(jí)。
多層神經(jīng)網(wǎng)絡(luò)
多層神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。多層簡(jiǎn)單單元（Multiple Layers of simple units）；每個(gè)單元計(jì)算輸入加權(quán)和（Each units computes a weighted sum of its inputs)；通過非線性函數(shù)的加權(quán)和（Weighted sum is passed through a non-linear function）；學(xué)習(xí)算法改變權(quán)重（The learning algorithm changes the weights）。
典型的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：線性模塊（Linear Module ）， ReLU 模塊 (Rectified Linear Unit) ，成本模塊（ Cost Module）：平方距離（Squared Distance）以及目標(biāo)函數(shù)（Objective Function ）。
通過組合模塊打造一個(gè)網(wǎng)絡(luò)。
在任何結(jié)構(gòu)運(yùn)行方面，他指出，任何連接圖表都是允許的；任何模塊都是允許的；絕大多數(shù)框架提供自動(dòng)區(qū)分。
最后談到了多層網(wǎng)絡(luò)目標(biāo)函數(shù)非凸。
CNN
一種特殊的深度學(xué)習(xí)系統(tǒng)類型叫卷積網(wǎng)絡(luò)（convolutional network， ConvNet），在圖像和語音識(shí)別上非常的成功。ConvNets是一種人工神經(jīng)網(wǎng)絡(luò)，其構(gòu)造受到視覺皮質(zhì)結(jié)構(gòu)的啟發(fā)。ConvNets以及其他深度學(xué)習(xí)系統(tǒng)的特別之處在于，能夠端到端地學(xué)習(xí)整個(gè)感知過程。深度學(xué)習(xí)系統(tǒng)自動(dòng)學(xué)習(xí)感知世界中恰當(dāng)表征，作為學(xué)習(xí)過程的一部分。
架構(gòu)上，CNN多加了這兩層——（卷積層和pooling層），也是卷積神經(jīng)網(wǎng)絡(luò)（CNNs/ConvNets）和普通舊神經(jīng)網(wǎng)絡(luò)的主要區(qū)別。
卷積網(wǎng)絡(luò)（vintage 1990）以及Hubel & Wiesel's 的視覺皮層結(jié)構(gòu)模型。根據(jù)Hubel和Wiesel的層級(jí)模型，視覺皮層中的神經(jīng)網(wǎng)絡(luò)具有一個(gè)層級(jí)結(jié)構(gòu)：LGB（外側(cè)膝狀體）→樣品細(xì)胞→復(fù)雜細(xì)胞→低階超復(fù)雜細(xì)胞→高階超復(fù)雜細(xì)胞。低階超復(fù)雜細(xì)胞和高階超復(fù)雜細(xì)胞之間的神經(jīng)網(wǎng)絡(luò)具有一個(gè)和簡(jiǎn)單細(xì)胞與復(fù)雜細(xì)胞之間的網(wǎng)絡(luò)類似的結(jié)構(gòu)。在這種層狀結(jié)構(gòu)中，較高級(jí)別的細(xì)胞通常會(huì)有這樣的傾向，即對(duì)刺激模式的更復(fù)雜的特征進(jìn)行選擇性響應(yīng)，同時(shí)也具有一個(gè)更大的接收域，而且對(duì)刺激模式位置的移動(dòng)更不敏感。因此，模型中就引入了類似于層級(jí)模型的結(jié)構(gòu)。
整體結(jié)構(gòu): multiple stages of Normalization → Filter Bank → Non-Linearity → Pooling。
一些應(yīng)用（臉部識(shí)別，讀取支票，行人探測(cè)，場(chǎng)景解釋/標(biāo)簽等等），以及使用CNN進(jìn)行物體識(shí)別和定位，語音識(shí)別。LeCun指出，CNN（將）無處不在。
自然語言理解，F(xiàn)B的Q&A系統(tǒng)以及新型的深度學(xué)習(xí)結(jié)構(gòu)，記憶增強(qiáng)網(wǎng)絡(luò)
記憶增強(qiáng)網(wǎng)絡(luò)超越了感知，具有推理（reasoning）、attention和事實(shí)記憶（factual memory）的能力。深度學(xué)習(xí)系統(tǒng)正被用于越來越多的應(yīng)用領(lǐng)域，比如，圖片和視頻管理 |
評(píng)分
-
查看全部評(píng)分
|
QQ好友和群
QQ空間
騰訊微博
騰訊朋友
收藏
淘帖
頂
踩
