補數據方法方面(如何處理缺少數據的)
1.如何處理缺少數據的
處理不完備數據集的方法主要有以下三大類： （一）刪除元組 也就是將存在遺漏信息屬性值的對象（元組，記錄）刪除，從而得到一個完備的信息表。
這種方法簡單易行，在對象有多個 屬性缺失值、被刪除的含缺失值的對象與信息表中的數據量相比非常小的情況下是非常有效的，類標號（假設是分類任務）缺少時 通常使用。然而，這種方法卻有很大的局限性。
它是以減少歷史數據來換取信息的完備，會造成資源的大量浪費，丟棄了大量隱藏 在這些對象中的信息。在信息表中本來包含的對象很少的情況下，刪除少量對象就足以嚴重影響到信息表信息的客觀性和結果的正 確性；當每個屬性空值的百分比變化很大時，它的性能非常差。
因此，當遺漏數據所占比例較大，特別當遺漏數據非隨機分布時， 這種方法可能導致數據發(fā)生偏離，從而引出錯誤的結論。 （二）數據補齊 這類方法是用一定的值去填充空值，從而使信息表完備化。
通?；诮y(tǒng)計學原理，根據決策表中其余對象取值的分布情況來 對一個空值進行填充，譬如用其余屬性的平均值來進行補充等。數據挖掘中常用的有以下幾種補齊方法： （1）人工填寫（filling manually） 由于最了解數據的還是用戶自己，因此這個方法產生數據偏離最小，可能是填充效果最好的一種。
然而一般來說，該方法很費時， 當數據規(guī)模很大、空值很多的時候，該方法是不可行的。 （2）特殊值填充（Treating Missing Attribute values as Special values） 將空值作為一種特殊的屬性值來處理，它不同于其他的任何屬性值。
如所有的空值都用“unknown”填充。這樣將形成另一個有趣的 概念，可能導致嚴重的數據偏離，一般不推薦使用。
（3）平均值填充（Mean/Mode Completer） 將信息表中的屬性分為數值屬性和非數值屬性來分別進行處理。如果空值是數值型的，就根據該屬性在其他所有對象的取值 的平均值來填充該缺失的屬性值；如果空值是非數值型的，就根據統(tǒng)計學中的眾數原理，用該屬性在其他所有對象的取值次數最多 的值（即出現(xiàn)頻率最高的值）來補齊該缺失的屬性值。
另外有一種與其相似的方法叫條件平均值填充法（Conditional Mean Completer）。在該方法中，缺失屬性值的補齊同樣是靠該屬性在其他對象中的取值求平均得到，但不同的是用于求平均的值并不是 從信息表所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。
這兩種數據的補齊方法，其基本的出發(fā)點都是一樣的 ，以最大概率可能的取值來補充缺失的屬性值，只是在具體方法上有一點不同。與其他方法相比，它是用現(xiàn)存數據的多數信息來推 測缺失值。
（4）熱卡填充（Hot deck imputation，或就近補齊） 對于一個包含空值的對象，熱卡填充法在完整數據中找到一個與它最相似的對象，然后用這個相似對象的值來進行填充。不 同的問題可能會選用不同的標準來對相似進行判定。
該方法概念上很簡單，且利用了數據間的關系來進行空值估計。這個方法的缺 點在于難以定義相似標準，主觀因素較多。
（5）K最近距離鄰法（K-means clustering） 先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數據。 （6）使用所有可能的值填充（Assigning All Possible values of the Attribute） 這種方法是用空缺屬性值的所有可能的屬性取值來填充，能夠得到較好的補齊效果。
但是，當數據量很大或者遺漏的屬性值 較多時，其計算的代價很大，可能的測試方案很多。另有一種方法，填補遺漏屬性值的原則是一樣的，不同的只是從決策相同的對 象中嘗試所有的屬性值的可能情況，而不是根據信息表中所有對象進行嘗試，這樣能夠在一定程度上減小原方法的代價。
（7）組合完整化方法（Combinatorial Completer） 這種方法是用空缺屬性值的所有可能的屬性取值來試，并從最終屬性的約簡結果中選擇最好的一個作為填補的屬性值。這是 以約簡為目的的數據補齊方法，能夠得到好的約簡結果；但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大。
另一 種稱為條件組合完整化方法（Conditional Combinatorial Complete），填補遺漏屬性值的原則是一樣的，不同的只是從決策相同 的對象中嘗試所有的屬性值的可能情況，而不是根據信息表中所有對象進行嘗試。條件組合完整化方法能夠在一定程度上減小組合 完整化方法的代價。
在信息表包含不完整數據較多的情況下，可能的測試方案將巨增。 （8）回歸（Regression） 基于完整的數據集，建立回歸方程（模型）。
對于包含空值的對象，將已知屬性值代入方程來估計未知屬性值，以此估計值 來進行填充。當變量不是線性相關或預測變量高度相關時會導致有偏差的估計。
（9）期望值最大化方法（Expectation maximization,EM） EM算法是一種在不完全數據情況下計算極大似然估計或者后驗分布的迭代算法[43]。在每一迭代循環(huán)過程中交替執(zhí)行兩個步 驟：E步（Excepctaion step，期望步），在給定完全數據和前一次迭代所得到的參數估計的情況下計算完全數據對應的對數似然函 數的條件期望；M步（Maximzation step，極大化步），用極大化對數似然函數以確定參數的值，并用。
2.幾種常見的缺失數據插補方法
去百度文庫，查看完整內容>
內容來自用戶：rjasd1128hf
4
統(tǒng)計教育
2006年第12期
缺失數據的多重插補方法
文/喬麗華傅德印
摘要：插補法是對缺失數據的調整方法，多重插補彌補了單一插補的缺陷，采用一系列可能的數據集來填充每一個缺失數據值，反映了缺失數據的不確定性。本文介紹了多重插補程序的三種數據插補方法：回歸預測法、傾向得分法和蒙特卡羅的馬氏鏈方法，并且對多重插補的插補效果進行推斷，指出多重插補存在的問題。
關鍵詞：多重插補；缺失數據
一、引言
在數據處理和數據分析中經常會出現(xiàn)缺失數據（missingdata）或不完全數據（incompletedata），從抽樣調查的角度，把這些數據歸結為無回答數據集。一般把無回答分為“單位無回答”和“項目無回答”。“項目無回答”是指被調查單位雖然接受了調查，但只回答了其中的一部分而非全部的問題，或者對某些項目提供的資料是無用的。對于“項目無回答”，如果重新調查來獲得準確數據，會浪費大量的時間、人力和財力，是不現(xiàn)實的。因此對“項目無回答”的彌補處理多采用插補法（imputationmethod）。
插補法是指采取一定的方式為調查中的每一個缺失數據尋找一個合理的替補值插補到原缺失數據的位置上，對得到的“完全數據集”使用完全數據統(tǒng)計分析方法分析并進行統(tǒng)
3.收集數據的方法有哪些
收集方法
1、調查法
調查方法一般分為普查和抽樣調查兩大類。
2、觀察法
主要包括兩個方面：一是對人的行為的觀察，二是對客觀事物的觀察。觀察法應用很廣泛，常和詢問法、搜集實物結合使用，以提高所收集信息的可靠性。
3、實驗方法
實驗方法能通過實驗過程獲取其他手段難以獲得的信息或結論。
實驗方法也有多種形式，如實驗室實驗、現(xiàn)場實驗、計算機模擬實驗、計算機網絡環(huán)境下人機結合實驗等。現(xiàn)代管理科學中新興的管理實驗，現(xiàn)代經濟學中正在形成的實驗經濟學中的經濟實驗，實質上就是通過實驗獲取與管理或經濟相關的信息。
4、文獻檢索
文獻檢索就是從浩繁的文獻中檢索出所需的信息的過程。文獻檢索分為手工檢索和計算機檢索。
5、網絡信息收集
網絡信息是指通過計算機網絡發(fā)布、傳遞和存儲的各種信息。收集網絡信息的最終目標是給廣大用戶提供網絡信息資源服務，整個過程經過網絡信息搜索、整合、保存和服務四個步驟，
參考資料來源：搜狗百科-信息收集
4.數據挖掘中常用的數據清洗方法有哪些
數據清洗目的主要有：
①解決數據質量問題；
②讓數據更適合做挖掘；
數據清洗是對數據審查過程中發(fā)現(xiàn)的明顯錯誤值、缺失值、異常值、可疑數據，選用一定方法進行“清洗”，為后續(xù)的數據分析做準備。
數據清洗的方法有：
①數據數值化
對存在各種不同格式的數據形式的原始數據，對其進行標準化操作。對字符串取值，按照ANSI碼值求和得到字符串的值，如果值太大，取一個適當的質數對其求模。
②標準化 normalization
對整體數據進行歸一化工作，利用min-max標準化方法將數據都映射到一個指定的數值區(qū)間。
③數據降維
原始數據存在很多維度，使用主成分分析法對數據的相關性分析來降低數據維度。
④數據完整性
數據完整性包括數據缺失補數據和數據去重；
補全數據的方法有：
1. 通過身份證件號碼推算性別、籍貫、出生日期、年齡（包括但不局限）等信息補全；
2. 通過前后數據補全；
3. 實在補不全的，對數據進行剔除。
數據去重的方法有：
1. 用sql或者excel“去除重復記錄”去重；
2. 按規(guī)則去重，編寫一系列的規(guī)則，對重復情況復雜的數據進行去重。
5.數據缺失想要補齊有什么方法,用spss的替換缺失值和缺失值分析完全
1、均值插補。數據的屬性分為定距型和非定距型。如果缺失值是定距型的，就以該屬性存在值的平均值來插補缺失的值；如果缺失值是非定距型的，就根據統(tǒng)計學中的眾數原理，用該屬性的眾數（即出現(xiàn)頻率最高的值）來補齊缺失的值。
2、利用同類均值插補。同均值插補的方法都屬于單值插補，不同的是，它用層次聚類模型預測缺失變量的類型，再以該類型的均值插補。假設X=(X1,X2。Xp)為信息完全的變量，Y為存在缺失值的變量。
那么首先對X或其子集行聚類，然后按缺失個案所屬類來插補不同類的均值。如果在以后統(tǒng)計分析中還需以引入的解釋變量和Y做分析，那么這種插補方法將在模型中引入自相關，給分析造成障礙。
3、極大似然估計（Max Likelihood ,ML）。在缺失類型為隨機缺失的條件下，假設模型對于完整的樣本是正確的，那么通過觀測數據的邊際分布可以對未知參數進行極大似然估計（Little and Rubin）。
這種方法也被稱為忽略缺失值的極大似然估計，對于極大似然的參數估計實際中常采用的計算方法是期望值最大化（Expectation Maximization,EM）。
4、多重插補（Multiple Imputation,MI）。多值插補的思想來源于貝葉斯估計，認為待插補的值是隨機的，它的值來自于已觀測到的值。具體實踐上通常是估計出待插補的值，然后再加上不同的噪聲，形成多組可選插補值。根據某種選擇依據，選取最合適的插補值。
擴展資料
缺失值產生的原因很多，裝備故障、無法獲取信息、與其他字段不一致、歷史原因等都可能產生缺失值。一種典型的處理方法是插值，插值之后的數據可看作服從特定概率分布。另外，也可以刪除所有含缺失值的記錄，但這個操作也從側面變動了原始數據的分布特征。
對于缺失值的處理，從總體上來說分為刪除存在缺失值的個案和缺失值插補。對于主觀數據，人將影響數據的真實性，存在缺失值的樣本的其他屬性的真實值不能保證，那么依賴于這些屬性值的插補也是不可靠的，所以對于主觀數據一般不推薦插補的方法。插補主要是針對客觀數據，它的可靠性有保證。
參考資料來源：百度百科-不確定性數據
參考資料來源：百度百科-缺失值
6.數據分析的方法有哪些
分析大數據，R語言和Linux系統(tǒng)比較有幫助，運用到的方法原理可以翻翻大學的統(tǒng)計學，不需要完全理解，重在應用。
分析簡單數據，Excel就可以了。Excel本意就是智能，功能很強，容易上手。我沒有見過有人說自己精通Excel的，最多是熟悉Excel。Excel的函數可以幫助你處理大部分數據。
數據分析是指用適當的統(tǒng)計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便采取適當行動。
數據分析的數學基礎在20世紀早期就已確立，但直到計算機的出現(xiàn)才使得實際操作成為可能，并使得數據分析得以推廣。數據分析是數學與計算機科學相結合的產物。
“啤酒與尿布”的故事產生于20世紀90年代的美國沃爾瑪超市中，沃爾瑪的超市管理人員分析銷售數據時發(fā)現(xiàn)了一個令人難于理解的現(xiàn)象：在某些特定的情況下，“啤酒”與“尿布”兩件看上去毫無關系的商品會經常出現(xiàn)在同一個購物籃中，這種獨特的銷售現(xiàn)象引起了管理人員的注意，經過后續(xù)調查發(fā)現(xiàn)，這種現(xiàn)象出現(xiàn)在年輕的父親身上。
在美國有嬰兒的家庭中，一般是母親在家中照看嬰兒，年輕的父親前去超市購買尿布。父親在購買尿布的同時，往往會順便為自己購買啤酒，這樣就會出現(xiàn)啤酒與尿布這兩件看上去不相干的商品經常會出現(xiàn)在同一個購物籃的現(xiàn)象。如果這個年輕的父親在賣場只能買到兩件商品之一，則他很有可能會放棄購物而到另一家商店， 直到可以一次同時買到啤酒與尿布為止。沃爾瑪發(fā)現(xiàn)了這一獨特的現(xiàn)象，開始在賣場嘗試將啤酒與尿布擺放在相同的區(qū)域，讓年輕的父親可以同時找到這兩件商品，并很快地完成購物；而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件，從而獲得了很好的商品銷售收入，這就是“啤酒與尿布” 故事的由來。
當然“啤酒與尿布”的故事必須具有技術方面的支持。1993年美國學者Agrawal提出通過分析購物籃中的商品集合，從而找出商品之間關聯(lián)關系的關聯(lián)算法，并根據商品之間的關系，找出客戶的購買行為。艾格拉沃從數學及計算機算法角度提 出了商品關聯(lián)關系的計算方法——Aprior算法。沃爾瑪從上個世紀 90 年代嘗試將 Aprior 算 法引入到 POS機數據分析中，并獲得了成功，于是產生了“啤酒與尿布”的故事。
7.數據挖掘中的數據預處理技術有哪些,它們分別適用于哪些場合
一、數據挖掘工具分類數據挖掘工具根據其適用的范圍分為兩類：專用挖掘工具和通用挖掘工具。
專用數據挖掘工具是針對某個特定領域的問題提供解決方案，在涉及算法的時候充分考慮了數據、需求的特殊性，并作了優(yōu)化。對任何領域，都可以開發(fā)特定的數據挖掘工具。
例如，IBM公司的AdvancedScout系統(tǒng)針對NBA的數據，幫助教練優(yōu)化戰(zhàn)術組合。特定領域的數據挖掘工具針對性比較強，只能用于一種應用；也正因為針對性強，往往采用特殊的算法，可以處理特殊的數據，實現(xiàn)特殊的目的，發(fā)現(xiàn)的知識可靠度也比較高。
通用數據挖掘工具不區(qū)分具體數據的含義，采用通用的挖掘算法，處理常見的數據類型。通用的數據挖掘工具不區(qū)分具體數據的含義，采用通用的挖掘算法，處理常見的數據類型。
例如，IBM公司Almaden研究中心開發(fā)的QUEST系統(tǒng)，SGI公司開發(fā)的MineSet系統(tǒng)，加拿大SimonFraser大學開發(fā)的DBMiner系統(tǒng)。通用的數據挖掘工具可以做多種模式的挖掘，挖掘什么、用什么來挖掘都由用戶根據自己的應用來選擇。
二、數據挖掘工具選擇需要考慮的問題數據挖掘是一個過程，只有將數據挖掘工具提供的技術和實施經驗與企業(yè)的業(yè)務邏輯和需求緊密結合，并在實施的過程中不斷的磨合，才能取得成功，因此我們在選擇數據挖掘工具的時候，要全面考慮多方面的因素，主要包括以下幾點：（1）可產生的模式種類的數量：分類，聚類，關聯(lián)等（2）解決復雜問題的能力（3）操作性能（4）數據存取能力（5）和其他產品的接口三、數據挖掘工具介紹：1.QUESTQUEST是IBM公司Almaden研究中心開發(fā)的一個多任務數據挖掘系統(tǒng)，目的是為新一代決策支持系統(tǒng)的應用開發(fā)提供高效的數據開采基本構件。系統(tǒng)具有如下特點：提供了專門在大型數據庫上進行各種開采的功能：關聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、時間序列聚類、決策樹分類、遞增式主動開采等。
各種開采算法具有近似線性計算復雜度，可適用于任意大小的數據庫。算法具有找全性，即能將所有滿足指定類型的模式全部尋找出來。
為各種發(fā)現(xiàn)功能設計了相應的并行算法。2.MineSetMineSet是由SGI公司和美國Standford大學聯(lián)合開發(fā)的多任務數據挖掘系統(tǒng)。
MineSet集成多種數據挖掘算法和可視化工具，幫助用戶直觀地、實時地發(fā)掘、理解大量數據背后的知識。MineSet有如下特點：MineSet以先進的可視化顯示方法聞名于世。
支持多種關系數據庫。可以直接從Oracle、Informix、Sybase的表讀取數據，也可以通過SQL命令執(zhí)行查詢。
多種數據轉換功能。在進行挖掘前，MineSet可以去除不必要的數據項，統(tǒng)計、集合、分組數據，轉換數據類型，構造表達式由已有數據項生成新的數據項，對數據采樣等。
操作簡單、支持國際字符、可以直接發(fā)布到Web。3.DBMinerDBMiner是加拿大SimonFraser大學開發(fā)的一個多任務數據挖掘系統(tǒng)，它的前身是DBLearn。
該系統(tǒng)設計的目的是把關系數據庫和數據開采集成在一起，以面向屬性的多級概念為基礎發(fā)現(xiàn)各種知識。DBMiner系統(tǒng)具有如下特色：能完成多種知識的發(fā)現(xiàn)：泛化規(guī)則、特性規(guī)則、關聯(lián)規(guī)則、分類規(guī)則、演化知識、偏離知識等。
綜合了多種數據開采技術：面向屬性的歸納、統(tǒng)計分析、逐級深化發(fā)現(xiàn)多級規(guī)則、元規(guī)則引導發(fā)現(xiàn)等方法。提出了一種交互式的類SQL語言——數據開采查詢語言DMQL。
能與關系數據庫平滑集成。實現(xiàn)了基于客戶/服務器體系結構的Unix和PC(Windows/NT)版本的系統(tǒng)。
4.IntelligentMiner由美國IBM公司開發(fā)的數據挖掘軟件IntelligentMiner是一種分別面向數據庫和文本信息進行數據挖掘的軟件系列，它包括和?？梢酝诰虬跀祿?、數據倉庫和數據中心中的隱含信息，幫助用戶利用傳統(tǒng)數據庫或普通文件中的結構化數據進行數據挖掘。
它已經成功應用于市場分析、詐騙行為監(jiān)測及客戶聯(lián)系管理等；允許企業(yè)從文本信息進行數據挖掘，文本數據源可以是文本文件、Web頁面、電子郵件、LotusNotes數據庫等等。5.SASEnterpriseMiner這是一種在我國的企業(yè)中得到采用的數據挖掘工具，比較典型的包括上海寶鋼配礦系統(tǒng)應用和鐵路部門在春運客運研究中的應用。
SASEnterpriseMiner是一種通用的數據挖掘工具，按照"抽樣--探索--轉換--建模--評估"的方法進行數據挖掘。可以與SAS數據倉庫和OLAP集成，實現(xiàn)從提出數據、抓住數據到得到解答的"端到端"知識發(fā)現(xiàn)。
6.是一個開放式數據挖掘工具，曾兩次獲得英國政府SMART創(chuàng)新獎，它不但支持整個數據挖掘流程，從數據獲取、轉化、建模、評估到最終部署的全部過程，還支持數據挖掘的行業(yè)標準--CRISP-DM。Clementine的可視化數據挖掘使得"思路"分析成為可能，即將集中精力在要解決的問題本身，而不是局限于完成一些技術性工作（比如編寫代碼）。
提供了多種圖形化技術，有助理解數據間的關鍵性聯(lián)系，指導用戶以最便捷的途徑找到問題的最終解決法。7.數據庫廠商集成的挖掘工具SQLServer2000包含由Microsoft研究院開發(fā)的兩種數據挖掘算法：。
