常用的特征選擇方法(機(jī)器學(xué)習(xí)中,特征選擇的工程方法)

1.機(jī)器學(xué)習(xí)中,有哪些特征選擇的工程方法

特征選擇是特征工程中的重要問(wèn)題（另一個(gè)重要的問(wèn)題是特征提?。?，坊間常說(shuō)：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。

由此可見(jiàn)，特征工程尤其是特征選擇在機(jī)器學(xué)習(xí)中占有相當(dāng)重要的地位。通常而言，特征選擇是指選擇獲得相應(yīng)模型和算法最好性能的特征集，工程上常用的方法有以下：1. 計(jì)算每一個(gè)特征與響應(yīng)變量的相關(guān)性：工程上常用的手段有計(jì)算皮爾遜系數(shù)和互信息系數(shù)，皮爾遜系數(shù)只能衡量線(xiàn)性相關(guān)性而互信息系數(shù)能夠很好地度量各種相關(guān)性，但是計(jì)算相對(duì)復(fù)雜一些，好在很多toolkit里邊都包含了這個(gè)工具（如sklearn的MINE），得到相關(guān)性之后就可以排序選擇特征了；2. 構(gòu)建單個(gè)特征的模型，通過(guò)模型的準(zhǔn)確性為特征排序，借此來(lái)選擇特征，另外，記得JMLR'03上有一篇論文介紹了一種基于決策樹(shù)的特征選擇方法，本質(zhì)上是等價(jià)的。

當(dāng)選擇到了目標(biāo)特征之后，再用來(lái)訓(xùn)練最終的模型；3. 通過(guò)L1正則項(xiàng)來(lái)選擇特征：L1正則方法具有稀疏解的特性，因此天然具備特征選擇的特性，但是要注意，L1沒(méi)有選到的特征不代表不重要，原因是兩個(gè)具有高相關(guān)性的特征可能只保留了一個(gè)，如果要確定哪個(gè)特征重要應(yīng)再通過(guò)L2正則方法交叉檢驗(yàn)；4. 訓(xùn)練能夠?qū)μ卣鞔蚍值念A(yù)選模型：RandomForest和Logistic Regression等都能對(duì)模型的特征打分，通過(guò)打分獲得相關(guān)性后再訓(xùn)練最終模型；5. 通過(guò)特征組合后再來(lái)選擇特征：如對(duì)用戶(hù)id和用戶(hù)特征最組合來(lái)獲得較大的特征集再來(lái)選擇特征，這種做法在推薦系統(tǒng)和廣告系統(tǒng)中比較常見(jiàn)，這也是所謂億級(jí)甚至十億級(jí)特征的主要來(lái)源，原因是用戶(hù)數(shù)據(jù)比較稀疏，組合特征能夠同時(shí)兼顧全局模型和個(gè)性化模型，這個(gè)問(wèn)題有機(jī)會(huì)可以展開(kāi)講。6. 通過(guò)深度學(xué)習(xí)來(lái)進(jìn)行特征選擇：目前這種手段正在隨著深度學(xué)習(xí)的流行而成為一種手段，尤其是在計(jì)算機(jī)視覺(jué)領(lǐng)域，原因是深度學(xué)習(xí)具有自動(dòng)學(xué)習(xí)特征的能力，這也是深度學(xué)習(xí)又叫unsupervised feature learning的原因。

從深度學(xué)習(xí)模型中選擇某一神經(jīng)層的特征后就可以用來(lái)進(jìn)行最終目標(biāo)模型的訓(xùn)練了。整體上來(lái)說(shuō)，特征選擇是一個(gè)既有學(xué)術(shù)價(jià)值又有工程價(jià)值的問(wèn)題，目前在研究領(lǐng)域也比較熱，值得所有做機(jī)器學(xué)習(xí)的朋友重視。

2.常用的說(shuō)明方法有哪些（6種）

說(shuō)明方法 常見(jiàn)的說(shuō)明方法 常見(jiàn)的說(shuō)明方法有舉事例、分類(lèi)別、列數(shù)據(jù)、作比較、畫(huà)圖表、下定義、作詮釋、打比方、摹狀貌、引資料等10種。

寫(xiě)說(shuō)明文要根據(jù)說(shuō)明對(duì)象的特點(diǎn)及寫(xiě)作目的，選用最佳方法。下面分別加以說(shuō)明。

（1）舉例子。舉出實(shí)際事例來(lái)說(shuō)明事物，使所要說(shuō)明的事物具體化，以便讀者理解，這種說(shuō)明方法叫舉例法。

如： 一般人總以為，年齡稍大，記憶能力就一定要差，其實(shí)不然，請(qǐng)看實(shí)驗(yàn)結(jié)果：國(guó)際語(yǔ)言學(xué)會(huì)曾對(duì)9至18歲的青年與35歲以上的成年人學(xué)習(xí)世界語(yǔ)作過(guò)一個(gè)比較，發(fā)現(xiàn)前者就不如后者的記憶力好。這是因?yàn)槌赡耆说闹R(shí)、經(jīng)驗(yàn)比較豐富，容易在已有的知識(shí)基礎(chǔ)上，建立廣泛的聯(lián)系。

這種聯(lián)系，心理學(xué)上稱(chēng)為“聯(lián)想”。人的記憶就是以聯(lián)想為基礎(chǔ)的，知識(shí)經(jīng)驗(yàn)越豐富，越容易建立聯(lián)想，記憶力就會(huì)相應(yīng)提高。

馬克思五十多歲時(shí)開(kāi)始學(xué)俄文，六個(gè)月后，他就能津津有味地閱讀著名詩(shī)人與作家普希金、果戈里和謝德林等人的原文著作了。這是由于語(yǔ)言知識(shí)豐富，能夠通曉很多現(xiàn)代和古代的語(yǔ)言的緣故。

這段文章要說(shuō)明的是：年齡稍大，記憶力不一定就差。為了說(shuō)明這一點(diǎn)，作者先提供了實(shí)驗(yàn)結(jié)果，又分析了原因。

到此為止，未嘗不可，但不夠具體，也缺乏說(shuō)服力，于是，又舉出了一個(gè)實(shí)例：馬克思在五十多歲的時(shí)候，只用六個(gè)月時(shí)間便精通了俄語(yǔ)。這樣一來(lái)，內(nèi)容具體了，說(shuō)服力增強(qiáng)了。

說(shuō)明文中的舉事例的說(shuō)明方法和議論文中的例證法，都可以起到使內(nèi)容具體、加強(qiáng)說(shuō)服力的作用。但二者又有區(qū)別。

議論文中的事例，是用來(lái)證明觀(guān)點(diǎn)的，說(shuō)明文的事例，是用來(lái)介紹知識(shí)的。 運(yùn)用舉事例的說(shuō)明方法說(shuō)明事物或事理，一要注意例子的代表性，二要注意例子的適量性。

（2）分類(lèi)別。將被說(shuō)明的對(duì)象，按照一定的標(biāo)準(zhǔn)劃分成不同的類(lèi)別，一類(lèi)一類(lèi)地加以說(shuō)明，這種說(shuō)明方法，叫分類(lèi)別。

分類(lèi)別是將復(fù)雜的事物說(shuō)清楚的重要方法。 運(yùn)用分類(lèi)別方法要注意分類(lèi)的標(biāo)準(zhǔn)，一次分類(lèi)只能用同一個(gè)標(biāo)準(zhǔn)，以免產(chǎn)生重疊交叉的現(xiàn)象。

例如：“圖書(shū)館的藏書(shū)有中國(guó)的、古典的、外國(guó)的、科技的、文學(xué)的、現(xiàn)代的以及政治經(jīng)濟(jì)方面的等。”這里用了不只一個(gè)標(biāo)準(zhǔn)，所以表達(dá)不清。

正確的說(shuō)法應(yīng)該是： 圖書(shū)館的藏書(shū)，按國(guó)別分，有中國(guó)的、外國(guó)的；按時(shí)代分，有古典的、現(xiàn)代的；按性質(zhì)分，有科技的、文學(xué)的以及政治經(jīng)濟(jì)方面的等。 這樣，每次分類(lèi)只用一個(gè)標(biāo)準(zhǔn)，就眉目清楚了。

有的事物的特征、本質(zhì)需要分成幾點(diǎn)或幾個(gè)方面來(lái)說(shuō)，也屬于分類(lèi)別。 注意，運(yùn)用分類(lèi)別方法，所列舉的種類(lèi)不能有遺漏。

（3）列數(shù)據(jù)。為了使所要說(shuō)明的事物具體化，還可以采用列數(shù)據(jù)的方法，以便讀者理解。

需要注意的是，引用的數(shù)字，一定要準(zhǔn)確無(wú)誤，不準(zhǔn)確的數(shù)字絕對(duì)不能用，即使是估計(jì)的數(shù)字，也要有可靠的根據(jù)，并力求近似。 （4）作比較。

說(shuō)明某些抽象的或者是人們比較陌生的事物，可以用具體的或者大家已經(jīng)熟悉的事物和它比較，使讀者通過(guò)比較得到具體而鮮明的印象。事物的特征也往往在比較中顯現(xiàn)出來(lái)。

在作比較的時(shí)候，可以是同類(lèi)相比，也可以是異類(lèi)相比，可以對(duì)事物進(jìn)行“橫比”，也可以對(duì)事物進(jìn)行“縱比”。 （5）畫(huà)圖表。

為了把復(fù)雜的事物說(shuō)清楚，還可以采用圖表法，來(lái)彌補(bǔ)單用文字表達(dá)的缺欠，對(duì)有些事物解說(shuō)更直接、更具體。 （6）下定義。

用簡(jiǎn)明的語(yǔ)言對(duì)某一概念的本質(zhì)特征作規(guī)定性的說(shuō)明叫下定義。下定義能準(zhǔn)確揭示事物的本質(zhì)，是科技說(shuō)明文常用的方法。

下定義的時(shí)候，可以根據(jù)說(shuō)明的目的需要，從不同的角度考慮。有的著重說(shuō)明特性，如關(guān)于“人”的定義；有的著重說(shuō)明作用，如關(guān)于“肥料”的定義；有的既說(shuō)明特性又說(shuō)明作用，如關(guān)于“統(tǒng)籌方法”和“應(yīng)用科學(xué)”的定義。

①人是能制造工具并使用工具進(jìn)行勞動(dòng)的高級(jí)動(dòng)物。 ②肥料是能供給養(yǎng)分使植物生長(zhǎng)的物質(zhì)。

③統(tǒng)籌方法，是一種安排工作進(jìn)程的數(shù)學(xué)方法。 ④工程技術(shù)的科學(xué)叫做應(yīng)用科學(xué)，它是應(yīng)用自然科學(xué)的基礎(chǔ)理論來(lái)解決生產(chǎn)實(shí)踐中出現(xiàn)的問(wèn)題的學(xué)問(wèn)。

無(wú)論從什么角度考慮，無(wú)論采用什么方式，只要是下定義，就必須揭示事物的本質(zhì)，只有這樣的定義才是科學(xué)的。比如，有人說(shuō)：“人是兩足直立的動(dòng)物?！?/p>

這個(gè)定義就是不科學(xué)的，因?yàn)樗鼪](méi)能揭示事物的本質(zhì)。“人是能制造工具并使用工具進(jìn)行勞動(dòng)的高級(jí)動(dòng)物?！?/p>

這才是科學(xué)的定義，因?yàn)樗沂玖巳说谋举|(zhì)。 （7）作詮釋。

從一個(gè)側(cè)面，就事物的某一個(gè)特點(diǎn)做些解釋?zhuān)@種方法叫詮釋法。 定義法和詮釋法常采用“某某是什么”的語(yǔ)言形式。

形式相同，如何區(qū)分呢？一般來(lái)說(shuō)，“是”字兩邊的話(huà)能夠互換，就是定義；如果不能互換，就是詮釋。 例如，“人是能制造工具并使用工具進(jìn)行勞動(dòng)的高級(jí)動(dòng)物”這句話(huà)，改成“能制造工具并使用工具進(jìn)行勞動(dòng)的高級(jí)動(dòng)物是人”，意思不變。

“雪是在云中形成的一種固態(tài)降水物”這句話(huà)，如果改為“云中形成的固態(tài)降水物是雪”就不成。由此可以辨別，前一句是定義說(shuō)明，后一句是詮釋說(shuō)明。

（8）打比方。利用兩種不同事物之間的相似之處作比較，以突出事物的性狀特點(diǎn)，增強(qiáng)說(shuō)明的形象性和生動(dòng)性的說(shuō)明方法叫做打比方。

說(shuō)明文中的打比方的說(shuō)明方法，同修辭格上的比喻是一致的。不同的是，比喻。

3.編輯圖形對(duì)象時(shí),常用的選擇方法有哪些

在A(yíng)utoCAD中，選擇對(duì)象的方法很多。例如，可以通過(guò)單擊對(duì)象逐個(gè)拾取，也可利用矩形窗口或交叉窗口選擇；可以選擇最近創(chuàng)建的對(duì)象、前面的選擇集或圖形中的所有對(duì)象，也可以向選擇集中添加對(duì)象或從中刪除對(duì)象。

過(guò)濾選擇

在命令行提示下輸入FILTER命令，將打開(kāi)“對(duì)象選擇過(guò)濾器”對(duì)話(huà)框?？梢砸詫?duì)象的類(lèi)型（如直線(xiàn)、圓及圓弧等）、圖層、顏色、線(xiàn)型或線(xiàn)寬等特性作為條件，過(guò)濾選擇符合設(shè)定條件的對(duì)象。此時(shí)必須考慮圖形中對(duì)象的這些特性是否設(shè)置為隨層。

快速選擇

在A(yíng)utoCAD中，當(dāng)需要選擇具有某些共同特性的對(duì)象時(shí)，可利用“快速選擇”對(duì)話(huà)框，根據(jù)對(duì)象的圖層、線(xiàn)型、顏色、圖案填充等特性和類(lèi)型，創(chuàng)建選擇集。單擊“菜單瀏覽器”按鈕，在彈出的菜單中選擇“工具”|“快速選擇”命令，或在“功能區(qū)”選項(xiàng)板中選擇“常用”選項(xiàng)卡，在“實(shí)用程序”面板中單擊“快速選擇”按鈕，都可打開(kāi)“快速選擇”對(duì)話(huà)框。

4.關(guān)于特征選擇有哪些經(jīng)典文獻(xiàn)可以參考

以下為你檢索了一些國(guó)內(nèi)頂級(jí)刊物的相關(guān)文章。

希望對(duì)你有用。[1]姚旭，王曉丹，張玉璽，權(quán)文. 特征選擇方法綜述[J]. 控制與決策，2012,02:161-166+192.[2]單麗莉，劉秉權(quán)，孫承杰. 文本分類(lèi)中特征選擇方法的比較與改進(jìn)[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2011,S1:319-324.[3]武建華，宋擒豹，沈均毅，謝建文. 基于關(guān)聯(lián)規(guī)則的特征選擇算法[J]. 模式識(shí)別與人工智能，2009,02:256-262.[4]張麗新，王家廞，趙雁南，楊澤紅. 基于Relief的組合式特征選擇[J]. 復(fù)旦學(xué)報(bào)（自然科學(xué)版），2004,05:893-898.[5]趙明淵，唐勇，傅翀，周明天. 基于帶特征染色體遺傳算法的支持向量機(jī)特征選擇和參數(shù)優(yōu)化[J]. 控制與決策，2010,08:1133-1138。