琪琪电影网午夜理论片在线观看,国产精品视频免费看,亚洲无码在线免费观看视频

對程序員來說，機器學(xué)習(xí)是有一定門檻的（這個門檻也是其核心競爭力），相信很多人在學(xué)習(xí)機器學(xué)習(xí)時都會為滿是數(shù)學(xué)公式的英文論文而頭疼，甚至可能知難而退。但實際上機器學(xué)習(xí)算法落地程序并不難寫，下面是70行代碼實現(xiàn)的反向多層（BP）神經(jīng)網(wǎng)絡(luò)算法，也就是深度學(xué)習(xí)。其實不光是神經(jīng)網(wǎng)絡(luò)，邏輯回歸、決策樹C45/ID3、隨機森林、貝葉斯、協(xié)同過濾、圖計算、Kmeans、PageRank等大部分機器學(xué)習(xí)算法都能在100行單機程序內(nèi)實現(xiàn)（以后考慮分享出來）。

機器學(xué)習(xí)的真正難度在于它為什么要這么計算，它背后的數(shù)學(xué)原理是什么，怎么推導(dǎo)得來的公式，網(wǎng)上大部分的資料都在介紹這部分理論知識，卻很少告訴你該算法的計算過程和程序落地是怎么樣的，對于程序員來說，你需要做的僅是工程化應(yīng)用，而不需要證明出一項新的數(shù)學(xué)計算方法。實際大部分機器學(xué)習(xí)工程師都是利用別人寫好的開源包或者工具軟件，輸入數(shù)據(jù)和調(diào)整計算系數(shù)來訓(xùn)練結(jié)果，甚至很少自己實現(xiàn)算法過程。但是掌握每個算法的計算過程仍然非常重要，這樣你才能理解該算法讓數(shù)據(jù)產(chǎn)生了什么樣的變化，理解算法的目的是為了達(dá)到什么樣的效果。

算法計算過程：輸入層開始，從左往右計算，逐層往前直到輸出層產(chǎn)生結(jié)果。如果結(jié)果值和目標(biāo)值有差距，再從右往左算，逐層向后計算每個節(jié)點的誤差，并且調(diào)整每個節(jié)點的所有權(quán)重，反向到達(dá)輸入層后，又重新向前計算，重復(fù)迭代以上步驟，直到所有權(quán)重參數(shù)收斂到一個合理值。由于計算機程序求解方程參數(shù)和數(shù)學(xué)求法不一樣，一般是先隨機選取參數(shù)，然后不斷調(diào)整參數(shù)減少誤差直到逼近正確值，所以大部分的機器學(xué)習(xí)都是在不斷迭代訓(xùn)練，下面我們從程序上詳細(xì)看看該過程實現(xiàn)就清楚了。

由于是n層神經(jīng)網(wǎng)絡(luò)，我們用二維數(shù)組layer記錄節(jié)點值，第一維為層數(shù)，第二維為該層節(jié)點位置，數(shù)組的值為節(jié)點值；同樣，節(jié)點誤差值layerErr也是相似方式記錄。用三維數(shù)組layer_weight記錄各節(jié)點權(quán)重，第一維為層數(shù)，第二維為該層節(jié)點位置，第三維為下層節(jié)點位置，數(shù)組的值為某節(jié)點到達(dá)下層某節(jié)點的權(quán)重值，初始值為0-1之間的隨機數(shù)。為了優(yōu)化收斂速度，這里采用動量法權(quán)值調(diào)整，需要記錄上一次權(quán)值調(diào)整量，用三維數(shù)組layer_weight_delta來記錄，截距項處理：程序里將截距的值設(shè)置為1，這樣只需要計算它的權(quán)重就可以了，

也就是將多個輸出項和對應(yīng)目標(biāo)值的誤差的平方累加起來，再除以2。實際上邏輯回歸的誤差函數(shù)也是這個，至于為什么要用這個函數(shù)來計算誤差，它從數(shù)學(xué)上的合理性是什么，怎么得來的，這個我建議程序員們不想當(dāng)數(shù)學(xué)家的話，先不去深究了，現(xiàn)在我們要做的是如何把這個函數(shù)E誤差取它的最小值，需要對其進(jìn)行求導(dǎo)，如果有些求導(dǎo)數(shù)學(xué)基礎(chǔ)的話，倒可以嘗試去推導(dǎo)下如何從函數(shù)E對權(quán)重求導(dǎo)得到下面這個公式的：

import java.util.Random;
public class BpDeep{
public double[][] layer;//神經(jīng)網(wǎng)絡(luò)各層節(jié)點
public double[][] layerErr;//神經(jīng)網(wǎng)絡(luò)各節(jié)點誤差
public double[][][] layer_weight;//各層節(jié)點權(quán)重
public double[][][] layer_weight_delta;//各層節(jié)點權(quán)重動量
public double mobp;//動量系數(shù)
public double rate;//學(xué)習(xí)系數(shù)
public BpDeep(int[] layernum, double rate, double mobp){
this.mobp = mobp;
this.rate = rate;
layer = new double[layernum.length][];
layerErr = new double[layernum.length][];
layer_weight = new double[layernum.length][][];
layer_weight_delta = new double[layernum.length][][];
Random random = new Random();
for(int l=0;l<layernum.length;l++){
layer[l]=new double[layernum[l]];
layerErr[l]=new double[layernum[l]];
if(l+1<layernum.length){
layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
for(int j=0;j<layernum[l]+1;j++)
for(int i=0;i<layernum[l+1];i++)
layer_weight[l][j][i]=random.nextDouble();//隨機初始化權(quán)重
}
}
}
//逐層向前計算輸出
public double[] computeOut(double[] in){
for(int l=1;l<layer.length;l++){
for(int j=0;j<layer[l].length;j++){
double z=layer_weight[l-1][layer[l-1].length][j];
for(int i=0;i<layer[l-1].length;i++){
layer[l-1][i]=l==1?in[i]:layer[l-1][i];
z+=layer_weight[l-1][i][j]*layer[l-1][i];
}
layer[l][j]=1/(1+Math.exp(-z));
}
}
return layer[layer.length-1];
}
//逐層反向計算誤差并修改權(quán)重
public void updateWeight(double[] tar){
int l=layer.length-1;
for(int j=0;j<layerErr[l].length;j++)
layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);
while(l-->0){
for(int j=0;j<layerErr[l].length;j++){
double z = 0.0;
for(int i=0;i<layerErr[l+1].length;i++){
z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隱含層動量調(diào)整
layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隱含層權(quán)重調(diào)整
if(j==layerErr[l].length-1){
layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距動量調(diào)整
layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距權(quán)重調(diào)整
}
}
layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//記錄誤差
}
}
}
public void train(double[] in, double[] tar){
double[] out = computeOut(in);
updateWeight(tar);
}
}

復(fù)制代碼

import java.util.Arrays;
public class BpDeepTest{
public static void main(String[] args){
//初始化神經(jīng)網(wǎng)絡(luò)的基本配置
//第一個參數(shù)是一個整型數(shù)組，表示神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層節(jié)點數(shù)，比如{3,10,10,10,10,2}表示輸入層是3個節(jié)點，輸出層是2個節(jié)點，中間有4層隱含層，每層10個節(jié)點
//第二個參數(shù)是學(xué)習(xí)步長，第三個參數(shù)是動量系數(shù)
BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);
//設(shè)置樣本數(shù)據(jù)，對應(yīng)上面的4個二維坐標(biāo)數(shù)據(jù)
double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
//設(shè)置目標(biāo)數(shù)據(jù)，對應(yīng)4個坐標(biāo)數(shù)據(jù)的分類
double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};
//迭代訓(xùn)練5000次
for(int n=0;n<5000;n++)
for(int i=0;i<data.length;i++)
bp.train(data[i], target[i]);
//根據(jù)訓(xùn)練結(jié)果來檢驗樣本數(shù)據(jù)
for(int j=0;j<data.length;j++){
double[] result = bp.computeOut(data[j]);
System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
}
//根據(jù)訓(xùn)練結(jié)果來預(yù)測一條新數(shù)據(jù)的分類
double[] x = new double[]{3,1};
double[] result = bp.computeOut(x);
System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
}
}

復(fù)制代碼

以上測試程序顯示神經(jīng)網(wǎng)絡(luò)有很神奇的分類效果，實際上神經(jīng)網(wǎng)絡(luò)有一定優(yōu)勢，但也不是接近人腦的萬能算法，很多時候它可能會讓我們失望，還需要結(jié)合各種場景的數(shù)據(jù)大量運用去觀察其效果。我們可以把1層隱含層改成n層，并調(diào)整每層節(jié)點數(shù)、迭代次數(shù)、學(xué)習(xí)步長和動量系數(shù)，以獲得一個最優(yōu)化的結(jié)果。但是很多時候n層隱含層的效果并不比1層有明顯提升，反而計算更復(fù)雜耗時，我們對神經(jīng)網(wǎng)絡(luò)的認(rèn)識還需要多實踐多體會。