特征選擇和提取的基本任務(wù)是如何從許多特征中找出那些最有效的特征。研究如何把高維特征空間壓縮到低維特征空間以便有效設(shè)計(jì)分類器就成為一個(gè)重要的課題。任何識(shí)別過(guò)程的第一步，不論是用計(jì)算機(jī)還是由人去識(shí)別，都要首先分析各種特征的有效性并選出最有代表性的特征。
一般特征選擇從兩個(gè)方面著手，一方面是對(duì)單個(gè)特征進(jìn)行評(píng)價(jià)和選擇，另一方面就是從大量的原有特征出發(fā)，通過(guò)降維映射的方法，構(gòu)造成少數(shù)的新特征。己經(jīng)證明，如果我們依次挑選出前M個(gè)最有效的單個(gè)特征，那么這M個(gè)特征放在一起卻不一定是系統(tǒng)模式識(shí)別的M個(gè)特征的最佳組合。
為了考察某些特征對(duì)于系統(tǒng)模式識(shí)別的重要性，可以從系統(tǒng)識(shí)別特征中去掉一些特征，再來(lái)考察沒(méi)有了該特征，分類會(huì)怎樣變化。如果去掉某些基本特征不影響我們的分類和模式識(shí)別，則這些基本特征就是冗余知識(shí)，可以去掉它;如果去掉某些基本特征將嚴(yán)重影響我們的分類和模式識(shí)別，則這些基本特征就是模式識(shí)別的有用特征，僅由這些有用特征表達(dá)的模式就是一種簡(jiǎn)化的知識(shí)表達(dá)。特征形成：根據(jù)被識(shí)別對(duì)象產(chǎn)生出一組基本特征，它可以是計(jì)算出來(lái)的(當(dāng)被識(shí)別對(duì)象是波形或數(shù)字圖像時(shí))，也可以是用儀表或傳感器測(cè)量出來(lái)的(當(dāng)識(shí)別對(duì)象是實(shí)物或某種過(guò)程時(shí))，由此產(chǎn)生出來(lái)的特征叫做原始特征。
特征抽取的目的是獲取一組“少而精”的分類特征，即獲取特征數(shù)目少且分類錯(cuò)誤概率小的特征向量。
特征抽取常常分幾步進(jìn)行：
第一步：特征形成根據(jù)被識(shí)別的對(duì)象產(chǎn)生一組原始特征?？梢允莻鞲衅鞯闹苯訙y(cè)量值，也可以是將傳感器的測(cè)量值作某些計(jì)算后得到的值。
第二步：特征選擇由特征形成過(guò)程得到的原始特征可能很多，如果把所有的原始特征都作為分類特征送往分類器，不僅使得分類器復(fù)雜，分類計(jì)算判別量大，而且分類器錯(cuò)誤概率也不一定小。因此需要減少特征數(shù)目。減少特征數(shù)目的方法有兩種，一種是特征選擇，另一種是特征提取。從一組特征中挑選一些最有效的特征的過(guò)程叫特征選擇。
第三步：特征提取特征提取是另一種減少特征數(shù)目的方法。通過(guò)映射(或變換)的方法把高維的特征向量變換為低維的特征向量。特征形成得到原始特征后，可以只作特征選擇，也可以只作特征提取，當(dāng)然也可以先進(jìn)行特征選擇再作特征提取，可視具體情況而定。
特征提取和選擇并不是截然分開(kāi)的。如可以先將原始特征空間映射到維數(shù)較低的空間，由這個(gè)空間中再進(jìn)行選擇以進(jìn)一步降低維數(shù)。也可以先經(jīng)過(guò)選擇去掉那些明顯沒(méi)有分類信息的特征，再進(jìn)行映射以降低維數(shù)。
特征選擇與提取的任務(wù)是求出一組對(duì)分類最有效的特征，因此需要一個(gè)定量的準(zhǔn)則(或稱判據(jù))來(lái)衡量特征對(duì)分類的有效性。具體地說(shuō)，把一個(gè)高維空間變換為低維空間的映射是很多的，哪種映射對(duì)分類最有利，需要一個(gè)比較標(biāo)準(zhǔn)。從D個(gè)原始特征中選擇出d個(gè)特征和各種可能組合也是很多的，哪種組合的分類效果最好，也要有一個(gè)比較標(biāo)準(zhǔn)。目前己有的判別標(biāo)準(zhǔn)有類別可分性準(zhǔn)則、基于嫡函數(shù)的可分性準(zhǔn)則、基于概率分布的可分性準(zhǔn)則等。前兩種準(zhǔn)則是直接從各類樣本間的距離算出的，沒(méi)有考慮各類的概率分布，不能確切表明各類交疊的情況，因此與錯(cuò)誤概率沒(méi)有直接聯(lián)系。常用的概率距離度量有：Bhattacharyya距離和散度。
關(guān)注微信公眾號(hào)