極限學(xué)習(xí)原理介紹，初步了解極限學(xué)習(xí)
一，ELM概要
極限學(xué)習(xí)機是一種針對單隱含層前饋神經(jīng)網(wǎng)絡(luò)(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的新算法。相對于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢，容易陷入局部極小值點，學(xué)習(xí)率的選擇敏感等缺點，ELM算法隨機產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，只需要設(shè)置隱含層神經(jīng)元的個數(shù)，便可以獲得唯一的最優(yōu)解。與之前的傳統(tǒng)訓(xùn)練方法相比，ELM方法具有學(xué)習(xí)速度快，泛化性能好等優(yōu)點。
二，ELM概述
傳統(tǒng)的典型單隱含層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖一所示，由輸入層，隱含層和輸出層組成，輸入層與隱含層，隱含層與輸出層神經(jīng)元間全連接。其中，輸入層有n個神經(jīng)元，對應(yīng)n個輸入變量；隱含層有l(wèi)個神經(jīng)元；輸出層有m個神經(jīng)元，對應(yīng)m個輸出變量。在不失一般性的情況下，設(shè)輸入層與隱含層間的連接權(quán)值W為
三，ELM 的學(xué)習(xí)算法由以上分析可知，ELM 在訓(xùn)練之前可以隨機產(chǎn)生 w 和 b ，只需確定隱含層神經(jīng)元個數(shù)及隱含層神經(jīng)元的激活函數(shù)（無限可微），即可計算出 .具體地，ELM的學(xué)習(xí)算法主要有以下幾個步驟：(1) 確定隱含層神經(jīng)元個數(shù)，隨機設(shè)定輸入層與隱含層的連接權(quán)值 w 和隱含層神經(jīng)元的閾值b ；(2) 選擇一個無限可微的函數(shù)作為隱含層神經(jīng)元的激活函數(shù)，進而計算隱含層輸出矩陣 H ；(3) 計算輸出層權(quán)值 ' ^ ^ : H T . 值得一提的是，相關(guān)研究結(jié)果表明，在 ELM 中不僅許多非線性激活函數(shù)都可以使用（如 S 型函數(shù)，正弦函數(shù)和復(fù)合函數(shù)等），還可以使用不可微函數(shù)，甚至使用不連續(xù)的函數(shù)作為激活函數(shù)。四， ELM 當(dāng)前研究現(xiàn)狀ELM 以其學(xué)習(xí)速度快，泛化性能好等優(yōu)點，引起了國內(nèi)外許多專家和學(xué)者的研究和關(guān)注。ELM 不僅適用于回歸，擬合問題，亦適用于分類，模式識別等領(lǐng)域，因此，其在各個領(lǐng)域均得到廣泛的應(yīng)用。同時，不少改進的方法和策略也被不斷提及，ELM 的性能也得到了很大的提升，其應(yīng)用范圍亦愈來愈廣，其重要性亦日益體現(xiàn)出來。
