標(biāo)題: stat. Mustererkennung 基于統(tǒng)計(jì)的模式識(shí)別（復(fù)習(xí)資料） [打印本頁(yè)]
作者: wudawei    時(shí)間: 2014-12-31 02:08
標(biāo)題: stat. Mustererkennung 基于統(tǒng)計(jì)的模式識(shí)別（復(fù)習(xí)資料）
在日常生活中，我們一直在做著“模式識(shí)別”。例如，迎面走來一個(gè)人，我們可以很快的判斷出，這是“女”的或者是“男”的。這通常是通過人類的性別特征（(De)Merkmal，(Eng)feature）做出這樣判斷的。例如是否有喉結(jié)和胡須，胸部是否突出等。
對(duì)于人類來說，這樣的“模式識(shí)別”（分類判斷）再簡(jiǎn)單不過了，可是這卻是大腦高級(jí)功能的具體體現(xiàn)。要讓計(jì)算機(jī)也能做到這一點(diǎn)，就非常不容易了。
而模式識(shí)別這門學(xué)科就是研究如何讓計(jì)算機(jī)自動(dòng)根據(jù)從環(huán)境中所檢測(cè)到的信號(hào)對(duì)客體做出某種判斷。（注：客體，為被進(jìn)行分類的物體。）“基于統(tǒng)計(jì)”的意思是，進(jìn)行判斷的原理是基于概率統(tǒng)計(jì)學(xué)的。例如，當(dāng)迎面走過來的人，既有胡須，胸部又突出時(shí)，按照模型判斷其是女人的概率為0.75，是男人的概率為0.25，則判斷結(jié)果了，此人是“女”的。

現(xiàn)在按照學(xué)習(xí)的講義，一章章的進(jìn)行復(fù)習(xí)，并整理其重點(diǎn)。Inhalt （課程內(nèi)容）
?? Einführung （導(dǎo)論）
?? Elemente der Wahrscheinlichkeitsrechnung （概率原理）
?? Bayes’sche Entscheidungstheorie （貝葉斯判定理論）
?? Parametersch??tzung （參數(shù)估計(jì)）
?? Nichtparametrische Dichtesch??tzung und Klassifikation （非參數(shù)的密度估計(jì)和分類）
?? Lineare Methoden der Merkmalsreduktion （削減特征的線性方法）
?? Lineare Klassifikatoren （線性分類）
?? Expectation Maximization und das Lernen von Mischverteilungen （期望最大化和混合分布的學(xué)習(xí)）
?? Support Vector Machines （支持向量機(jī)）
?? Modell-Auswahl und Bewertung （模型的選擇和評(píng)估）


第一章，導(dǎo)論。最典型的模式識(shí)別是如何進(jìn)行的呢？
以如何判斷男女的為例說明，
1，設(shè)置攝像頭，拍攝照片
2，照片的前期處理，例如去除背景噪音，將照片中的人相部分切割出來等。
3，提取出特征：1）高度 2）亮度 等
4，根據(jù)所提取出的特征值，使用分類器進(jìn)行分類。
（注，為什么在這里不用之前提到的喉結(jié)等特征呢？ 這是因?yàn)楹斫Y(jié)本身即是一個(gè)很高級(jí)的概念了。一張黑白照片可以理解為一個(gè)矩陣。每個(gè)像素的灰度值即為矩陣的各個(gè)值。所以最基本的特征值為，像素的灰度值。所有的信息都是從這個(gè)矩陣中提取出來的。例如高度可以定義為被占用的像素在縱向方向上的最大距離差。）

下面一個(gè)實(shí)際的例子進(jìn)一步說明。
如圖1所示，為大馬哈魚和鱸魚的特征值比較（在此例中特征值為同一照明環(huán)境中的光亮程度）


　　　　　　　　     圖1
圖1說明：橫軸為魚的亮度，縱軸為魚的數(shù)量。黑色和紅色的直方圖為根據(jù)實(shí)驗(yàn)得到的關(guān)于亮度的分布直方圖。黑色的為大馬哈魚的，紅色的為鱸魚的�？梢钥闯觯傮w上來說，鱸魚的亮度要比大馬哈魚的要高。
從圖中很明顯的可以看出，在圖中虛線的左邊部分，大馬哈魚的概率要高于鱸魚（黑色曲線在紅色曲線上方），而到了虛線右邊則鱸魚的概率要高于大馬哈魚。
我們?nèi)D中虛線為亮度的閥值作為判定標(biāo)準(zhǔn)。（即，大于該閥值的判定為鱸魚，否則為大馬哈魚。）
這個(gè)例子說明了如何進(jìn)行的最基本的理念，即，概率大者勝。而整個(gè)模式識(shí)別就是研究如何建立一個(gè)高效的，錯(cuò)誤少的判定模型。這將在之后的幾章逐步介紹。


第二章，概率原理
前面說了，模式識(shí)別的基本理念是“概率大者勝”，那么在開始之前，進(jìn)行一些概率原理的介紹是必要的。有興趣的可以簡(jiǎn)單看一下。
2.1最重要的一些概念，包括：
1，條件概率（Bedingte Wahrscheinlichkeiten）
P(B|A)，即當(dāng)A發(fā)生時(shí)，B發(fā)生的概率。
2，聯(lián)合概率（Verbundwahrscheinlichkeiten）
P(A,B)，即A和B同時(shí)發(fā)生時(shí)的概率。
P(A,B) = P(B|A)P(A) = P(A|B)P(B)
當(dāng)A和B統(tǒng)計(jì)無關(guān)時(shí)P(A,B) = P(A)P(B)
3，貝葉斯定理（Das Bayes-Theorem）
P(B|A) = P(A|B)P(B)/P(A)

2.2 離散隨機(jī)變量
概率函數(shù)（Die Wahrscheinlichkeitsfunktion）
期望 μ或E[x]（Erwartungswerte）
方差 σ^2或Var[x]（die Varianz）Var[x] = σ^2 = E[(x ?? μ)^2]
成對(duì)的離散隨機(jī)變量（Paare diskreter Zufallsvariablen）pij = Pr(x = vi, y = wj) ，用于有多個(gè)特征時(shí)。
協(xié)方差（Die Kovarianz）σxy = E[(x ?? μx)(y ?? μy)]，用于描述變量x和y的概率相關(guān)性。當(dāng)它們無關(guān)時(shí)等于0.
隨機(jī)向量（Zufallsvektoren）x = [x1, x2, . . . , xd]T  注：T表示轉(zhuǎn)置矩陣
P(x1, x2, x3, x4, x5) = P(x1, x2, x3, x4|x5)P(x5)
　　　　　　　　   = P(x1, x2, x3|x4, x5)P(x4|x5)P(x5)
　　　　　　　　   = ...

2.3連續(xù)隨機(jī)變量
分布密度（Die Verteilungsdichte），對(duì)連續(xù)的隨機(jī)變量來說，其概率大小已經(jīng)沒有意義了。因?yàn)槠淇偸菬o限趨近于0。所以我們使用分布密度來表示概率大小。密度越大，概率越大，在某個(gè)區(qū)間內(nèi)的概率為分布密度在該區(qū)間內(nèi)的積分（當(dāng)取值為從負(fù)無窮大到α?xí)r，即為分布函數(shù)（Die Verteilungsfunktion）F(α)）。

2.4正態(tài)分布（Normalverteilung）
有興趣的就看百度里的解釋吧。（其實(shí)更喜歡wiki，不過好像國(guó)內(nèi)有的時(shí)候打不開）


2.5馬氏距離（Mahalanobis-Abstand）
歐氏距離和馬氏距離


2.6 相關(guān)聯(lián)隨機(jī)變量的多變量正態(tài)分布


還有很多進(jìn)一步的說明和概念，因本文主要是為了自己復(fù)習(xí)整理重點(diǎn)，所以在此就不一一細(xì)說了。

*第三章：Bayes’sche Entscheidungstheorie （貝葉斯判定理論）
回顧之前的將魚進(jìn)行分類的例子。我們可以用一種最直接的判斷方法，即，此次捕撈中，哪種魚的概率大就判斷所有的魚為該種魚。很明顯這樣的判斷方法太過于簡(jiǎn)單。因?yàn)楸徊稉频母怕屎汪~本身沒有很直接的關(guān)聯(lián)。更好的方法就是，選取和魚的種類直接相關(guān)的物理特征值，例如長(zhǎng)度，重量，亮度等等，作為判定的依據(jù)。
以亮度為例：
如果 P(ω1|x) > P(ω2|x) → 判定為ω1
如果 P(ω1|x) < P(ω2|x) → 判定為ω2
其中，ω1，ω2為種類，P(ω1|x)為亮度為x時(shí)，ω1的分布密度。
這樣的分類稱為最大后驗(yàn)概率規(guī)則（Maximum-a-posteriori-Regel(MAP)）。


由貝葉斯定理我們知道
P(ωj|x) = p(x|ωj) · P(ωj)/p(x)
其中，P(ωj|x)為后驗(yàn)概率，即；p(x|ωj) 為似然（即，可能性）；P(ωj)為先驗(yàn)概率；而p(x)與模式識(shí)別沒有什么關(guān)系。
上述概念在百度百科中的注解為：
1，先驗(yàn)概率是指根據(jù)以往經(jīng)驗(yàn)和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現(xiàn)。在這里是此次捕撈中，兩種魚所占的比例。先驗(yàn)概率通常是根據(jù)歷史資料進(jìn)行的猜測(cè)。
"的信息后洲正的概率,如貝葉私中的,是"執(zhí)果尋因"問題中的"因"。因?yàn)�，是根�?jù)先驗(yàn)概率求出來的，所以稱為后驗(yàn)概率。


當(dāng)無法猜測(cè)出各種魚的比例時(shí)，則可以采用最大似然判定規(guī)則（Maximum-Likelihood-Regel（ML））
如果p(x|ω1) > p(x|ω2)  → 判定為ω1

如果p(x|ω2) > p(x|ω1)  → 判定為ω2


錯(cuò)誤概率的計(jì)算（Berechnung der Fehlerwahrscheinlichkeit）
很顯然上面的判定規(guī)則都有誤判的情況出現(xiàn)，那么錯(cuò)誤的概率又是多大呢？我們?nèi)绾尾拍芙档统鲥e(cuò)的概率呢？
以只有兩個(gè)種類的分類問題為例子說明。
對(duì)于只有兩類的分類問題來說，誤判指的是以下2種情況：
1，α2|ω1; 即 x ∈ R2|ω1，也就是說，本來是ω1，但是判定為ω2；
2，α1|ω2; 即 x ∈ R1|ω2，也就是說，本來是ω2，但是判定為ω1。
而總的誤判概率則為：
P(error) = P(x ∈ R2, ω1) + P(x ∈ R1, ω2)

用圖可以很直觀的理解上面的概念。
如圖2所示，為根據(jù)MAP規(guī)則進(jìn)行分類的圖。

圖2說明，橫軸為特征值x，縱軸為后驗(yàn)概率。紅色曲線為ω1的分布密度函數(shù)，黑色曲線為ω2的分布密度函數(shù)。紅色和灰色區(qū)域?yàn)檎`判的情況，其面積為誤判概率。
隨著虛線（判定閥值）從右向左移動(dòng)，錯(cuò)判的概率在減�。t色的粗框三角形區(qū)域?yàn)闇p少的部分）。

至此，貝葉斯判定理論算是基本介紹完了。當(dāng)然，這只是最簡(jiǎn)單的例子，在實(shí)際應(yīng)用中會(huì)比這個(gè)復(fù)雜的多。
第三章中進(jìn)一步重要的內(nèi)容還有：
Diskriminanzfunktionen （第四次習(xí)題內(nèi)容）
Klassifikation auf der Basis von Gruppen benachbarter Pixel （第五次習(xí)題內(nèi)容）
Neyman-Pearson-Test  （第四次習(xí)題內(nèi)容）

第四章，參數(shù)估計(jì)（待續(xù)）

第五章，期望最大化和混合分布的學(xué)習(xí)（待續(xù)）

第六章，非參數(shù)的密度估計(jì)和分類（待續(xù)）


第七章，線性分類（待續(xù)）



第八章，支持向量機(jī)（待續(xù)）


第九章，削減特征的線性方法（待續(xù)）





注：本文的德語(yǔ)講義部分均摘自呂貝克大學(xué)ISIP學(xué)院A. Mertins教授的Stat. Mustererkennung的講義中。如有轉(zhuǎn)載，請(qǐng)注明來源。







歡迎光臨 (http://www.torrancerestoration.com/bbs/) Powered by Discuz! X3.1