極限學(xué)習(xí)機(jī)算法原理介紹 (Extreme Learning Machine,ELM)

ID:381816 · 發(fā)表于 2018-8-1 18:01

極限學(xué)習(xí)原理介紹，初步了解極限學(xué)習(xí)
一，ELM概要
極限學(xué)習(xí)機(jī)是一種針對(duì)單隱含層前饋神經(jīng)網(wǎng)絡(luò)(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的新算法。相對(duì)于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢，容易陷入局部極小值點(diǎn)，學(xué)習(xí)率的選擇敏感等缺點(diǎn)，ELM算法隨機(jī)產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，只需要設(shè)置隱含層神經(jīng)元的個(gè)數(shù)，便可以獲得唯一的最優(yōu)解。與之前的傳統(tǒng)訓(xùn)練方法相比，ELM方法具有學(xué)習(xí)速度快，泛化性能好等優(yōu)點(diǎn)。
二，ELM概述
傳統(tǒng)的典型單隱含層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖一所示，由輸入層，隱含層和輸出層組成，輸入層與隱含層，隱含層與輸出層神經(jīng)元間全連接。其中，輸入層有n個(gè)神經(jīng)元，對(duì)應(yīng)n個(gè)輸入變量；隱含層有l(wèi)個(gè)神經(jīng)元；輸出層有m個(gè)神經(jīng)元，對(duì)應(yīng)m個(gè)輸出變量。在不失一般性的情況下，設(shè)輸入層與隱含層間的連接權(quán)值W為

三，ELM 的學(xué)習(xí)算法由以上分析可知，ELM 在訓(xùn)練之前可以隨機(jī)產(chǎn)生 w 和 b ，只需確定隱含層神經(jīng)元個(gè)數(shù)及隱含層神經(jīng)元的激活函數(shù)（無限可微），即可計(jì)算出  .具體地，ELM的學(xué)習(xí)算法主要有以下幾個(gè)步驟：(1) 確定隱含層神經(jīng)元個(gè)數(shù)，隨機(jī)設(shè)定輸入層與隱含層的連接權(quán)值 w 和隱含層神經(jīng)元的閾值b ；(2) 選擇一個(gè)無限可微的函數(shù)作為隱含層神經(jīng)元的激活函數(shù)，進(jìn)而計(jì)算隱含層輸出矩陣 H ；(3) 計(jì)算輸出層權(quán)值 ' ^ ^ : H T . 值得一提的是，相關(guān)研究結(jié)果表明，在 ELM 中不僅許多非線性激活函數(shù)都可以使用（如 S 型函數(shù)，正弦函數(shù)和復(fù)合函數(shù)等），還可以使用不可微函數(shù)，甚至使用不連續(xù)的函數(shù)作為激活函數(shù)。四， ELM 當(dāng)前研究現(xiàn)狀ELM 以其學(xué)習(xí)速度快，泛化性能好等優(yōu)點(diǎn)，引起了國內(nèi)外許多專家和學(xué)者的研究和關(guān)注。ELM 不僅適用于回歸，擬合問題，亦適用于分類，模式識(shí)別等領(lǐng)域，因此，其在各個(gè)領(lǐng)域均得到廣泛的應(yīng)用。同時(shí)，不少改進(jìn)的方法和策略也被不斷提及，ELM 的性能也得到了很大的提升，其應(yīng)用范圍亦愈來愈廣，其重要性亦日益體現(xiàn)出來。

完整的pdf格式文檔51黑下載地址：

極限學(xué)習(xí)機(jī)原理介紹.pdf (143.63 KB, 下載次數(shù): 21)

帳號(hào)		自動(dòng)登錄	找回密碼
密碼			立即注冊(cè)

極限學(xué)習(xí)機(jī)算法原理介紹 (Extreme Learning Machine,ELM)

評(píng)分

瀏覽過的版塊