|
|
在日常生活中，我們一直在做著“模式識別”。例如，迎面走來一個人，我們可以很快的判斷出，這是“女”的或者是“男”的。這通常是通過人類的性別特征（(De)Merkmal，(Eng)feature）做出這樣判斷的。例如是否有喉結(jié)和胡須，胸部是否突出等。
對于人類來說，這樣的“模式識別”（分類判斷）再簡單不過了，可是這卻是大腦高級功能的具體體現(xiàn)。要讓計算機也能做到這一點，就非常不容易了。
而模式識別這門學(xué)科就是研究如何讓計算機自動根據(jù)從環(huán)境中所檢測到的信號對客體做出某種判斷。（注：客體，為被進(jìn)行分類的物體。）“基于統(tǒng)計”的意思是，進(jìn)行判斷的原理是基于概率統(tǒng)計學(xué)的。例如，當(dāng)迎面走過來的人，既有胡須，胸部又突出時，按照模型判斷其是女人的概率為0.75，是男人的概率為0.25，則判斷結(jié)果了，此人是“女”的。
現(xiàn)在按照學(xué)習(xí)的講義，一章章的進(jìn)行復(fù)習(xí)，并整理其重點。Inhalt （課程內(nèi)容）
?? Einführung （導(dǎo)論）
?? Elemente der Wahrscheinlichkeitsrechnung （概率原理）
?? Bayes’sche Entscheidungstheorie （貝葉斯判定理論）
?? Parametersch??tzung （參數(shù)估計）
?? Nichtparametrische Dichtesch??tzung und Klassifikation （非參數(shù)的密度估計和分類）
?? Lineare Methoden der Merkmalsreduktion （削減特征的線性方法）
?? Lineare Klassifikatoren （線性分類）
?? Expectation Maximization und das Lernen von Mischverteilungen （期望最大化和混合分布的學(xué)習(xí)）
?? Support Vector Machines （支持向量機）
?? Modell-Auswahl und Bewertung （模型的選擇和評估）
第一章，導(dǎo)論。最典型的模式識別是如何進(jìn)行的呢？
以如何判斷男女的為例說明，
1，設(shè)置攝像頭，拍攝照片
2，照片的前期處理，例如去除背景噪音，將照片中的人相部分切割出來等。
3，提取出特征：1）高度 2）亮度 等
4，根據(jù)所提取出的特征值，使用分類器進(jìn)行分類。
（注，為什么在這里不用之前提到的喉結(jié)等特征呢？ 這是因為喉結(jié)本身即是一個很高級的概念了。一張黑白照片可以理解為一個矩陣。每個像素的灰度值即為矩陣的各個值。所以最基本的特征值為，像素的灰度值。所有的信息都是從這個矩陣中提取出來的。例如高度可以定義為被占用的像素在縱向方向上的最大距離差。）
下面一個實際的例子進(jìn)一步說明。
如圖1所示，為大馬哈魚和鱸魚的特征值比較（在此例中特征值為同一照明環(huán)境中的光亮程度）
圖1
圖1說明：橫軸為魚的亮度，縱軸為魚的數(shù)量。黑色和紅色的直方圖為根據(jù)實驗得到的關(guān)于亮度的分布直方圖。黑色的為大馬哈魚的，紅色的為鱸魚的。可以看出，總體上來說，鱸魚的亮度要比大馬哈魚的要高。
從圖中很明顯的可以看出，在圖中虛線的左邊部分，大馬哈魚的概率要高于鱸魚（黑色曲線在紅色曲線上方），而到了虛線右邊則鱸魚的概率要高于大馬哈魚。
我們?nèi)D中虛線為亮度的閥值作為判定標(biāo)準(zhǔn)。（即，大于該閥值的判定為鱸魚，否則為大馬哈魚。）
這個例子說明了如何進(jìn)行的最基本的理念，即，概率大者勝。而整個模式識別就是研究如何建立一個高效的，錯誤少的判定模型。這將在之后的幾章逐步介紹。
第二章，概率原理
前面說了，模式識別的基本理念是“概率大者勝”，那么在開始之前，進(jìn)行一些概率原理的介紹是必要的。有興趣的可以簡單看一下。
2.1最重要的一些概念，包括：
1，條件概率（Bedingte Wahrscheinlichkeiten）
P(B|A)，即當(dāng)A發(fā)生時，B發(fā)生的概率。
2，聯(lián)合概率（Verbundwahrscheinlichkeiten）
P(A,B)，即A和B同時發(fā)生時的概率。
P(A,B) = P(B|A)P(A) = P(A|B)P(B)
當(dāng)A和B統(tǒng)計無關(guān)時P(A,B) = P(A)P(B)
3，貝葉斯定理（Das Bayes-Theorem）
P(B|A) = P(A|B)P(B)/P(A)
2.2 離散隨機變量
概率函數(shù)（Die Wahrscheinlichkeitsfunktion）
期望 μ或E[x]（Erwartungswerte）
方差 σ^2或Var[x]（die Varianz）Var[x] = σ^2 = E[(x ?? μ)^2]
成對的離散隨機變量（Paare diskreter Zufallsvariablen）pij = Pr(x = vi, y = wj) ，用于有多個特征時。
協(xié)方差（Die Kovarianz）σxy = E[(x ?? μx)(y ?? μy)]，用于描述變量x和y的概率相關(guān)性。當(dāng)它們無關(guān)時等于0.
隨機向量（Zufallsvektoren）x = [x1, x2, . . . , xd]T 注：T表示轉(zhuǎn)置矩陣
P(x1, x2, x3, x4, x5) = P(x1, x2, x3, x4|x5)P(x5)
= P(x1, x2, x3|x4, x5)P(x4|x5)P(x5)
= ...
2.3連續(xù)隨機變量
分布密度（Die Verteilungsdichte），對連續(xù)的隨機變量來說，其概率大小已經(jīng)沒有意義了。因為其總是無限趨近于0。所以我們使用分布密度來表示概率大小。密度越大，概率越大，在某個區(qū)間內(nèi)的概率為分布密度在該區(qū)間內(nèi)的積分（當(dāng)取值為從負(fù)無窮大到α?xí)r，即為分布函數(shù)（Die Verteilungsfunktion）F(α)）。
2.4正態(tài)分布（Normalverteilung）
有興趣的就看百度里的解釋吧。（其實更喜歡wiki，不過好像國內(nèi)有的時候打不開）
2.5馬氏距離（Mahalanobis-Abstand）
歐氏距離和馬氏距離
2.6 相關(guān)聯(lián)隨機變量的多變量正態(tài)分布
還有很多進(jìn)一步的說明和概念，因本文主要是為了自己復(fù)習(xí)整理重點，所以在此就不一一細(xì)說了。
*第三章：Bayes’sche Entscheidungstheorie （貝葉斯判定理論）
回顧之前的將魚進(jìn)行分類的例子。我們可以用一種最直接的判斷方法，即，此次捕撈中，哪種魚的概率大就判斷所有的魚為該種魚。很明顯這樣的判斷方法太過于簡單。因為被捕撈的概率和魚本身沒有很直接的關(guān)聯(lián)。更好的方法就是，選取和魚的種類直接相關(guān)的物理特征值，例如長度，重量，亮度等等，作為判定的依據(jù)。
以亮度為例：
如果 P(ω1|x) > P(ω2|x) → 判定為ω1
如果 P(ω1|x) < P(ω2|x) → 判定為ω2
其中，ω1，ω2為種類，P(ω1|x)為亮度為x時，ω1的分布密度。
這樣的分類稱為最大后驗概率規(guī)則（Maximum-a-posteriori-Regel(MAP)）。
由貝葉斯定理我們知道
P(ωj|x) = p(x|ωj) · P(ωj)/p(x)
其中，P(ωj|x)為后驗概率，即；p(x|ωj) 為似然（即，可能性）；P(ωj)為先驗概率；而p(x)與模式識別沒有什么關(guān)系。
上述概念在百度百科中的注解為：
1，先驗概率是指根據(jù)以往經(jīng)驗和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現(xiàn)。在這里是此次捕撈中，兩種魚所占的比例。先驗概率通常是根據(jù)歷史資料進(jìn)行的猜測。
"的信息后洲正的概率,如貝葉私中的,是"執(zhí)果尋因"問題中的"因"。因為，是根據(jù)先驗概率求出來的，所以稱為后驗概率。
當(dāng)無法猜測出各種魚的比例時，則可以采用最大似然判定規(guī)則（Maximum-Likelihood-Regel（ML））
如果p(x|ω1) > p(x|ω2) → 判定為ω1
如果p(x|ω2) > p(x|ω1) → 判定為ω2
錯誤概率的計算（Berechnung der Fehlerwahrscheinlichkeit）
很顯然上面的判定規(guī)則都有誤判的情況出現(xiàn)，那么錯誤的概率又是多大呢？我們?nèi)绾尾拍芙档统鲥e的概率呢？
以只有兩個種類的分類問題為例子說明。
對于只有兩類的分類問題來說，誤判指的是以下2種情況：
1，α2|ω1; 即 x ∈ R2|ω1，也就是說，本來是ω1，但是判定為ω2；
2，α1|ω2; 即 x ∈ R1|ω2，也就是說，本來是ω2，但是判定為ω1。
而總的誤判概率則為：
P(error) = P(x ∈ R2, ω1) + P(x ∈ R1, ω2)
用圖可以很直觀的理解上面的概念。
如圖2所示，為根據(jù)MAP規(guī)則進(jìn)行分類的圖。
圖2說明，橫軸為特征值x，縱軸為后驗概率。紅色曲線為ω1的分布密度函數(shù)，黑色曲線為ω2的分布密度函數(shù)。紅色和灰色區(qū)域為誤判的情況，其面積為誤判概率。
隨著虛線（判定閥值）從右向左移動，錯判的概率在減�。t色的粗框三角形區(qū)域為減少的部分）。
至此，貝葉斯判定理論算是基本介紹完了。當(dāng)然，這只是最簡單的例子，在實際應(yīng)用中會比這個復(fù)雜的多。
第三章中進(jìn)一步重要的內(nèi)容還有：
Diskriminanzfunktionen （第四次習(xí)題內(nèi)容）
Klassifikation auf der Basis von Gruppen benachbarter Pixel （第五次習(xí)題內(nèi)容）
Neyman-Pearson-Test （第四次習(xí)題內(nèi)容）
第四章，參數(shù)估計（待續(xù)）
第五章，期望最大化和混合分布的學(xué)習(xí)（待續(xù)）
第六章，非參數(shù)的密度估計和分類（待續(xù)）
第七章，線性分類（待續(xù)）
第八章，支持向量機（待續(xù)）
第九章，削減特征的線性方法（待續(xù)）
注：本文的德語講義部分均摘自呂貝克大學(xué)ISIP學(xué)院A. Mertins教授的Stat. Mustererkennung的講義中。如有轉(zhuǎn)載，請注明來源。
|
|
QQ好友和群
QQ空間
騰訊微博
騰訊朋友
收藏
淘帖
頂
踩
