數(shù)據(jù)加載
方法一：使用pd.read_csv，默認打開csv文件。
9、10、11行三種方式均可以導(dǎo)入文本格式的數(shù)據(jù)。
特殊說明：第9行使用的條件是運行文件.py需要與目標(biāo)文件CSV在一個文件夾中的時候可以只寫文件名。第10和11行中文件名ex1.CSV前面的部分均為文件的路徑。
方法二：使用pd.read.table,需要指定是什么樣分隔符的文本文件。用sep=””來指定。
2、當(dāng)文件沒有標(biāo)題行時
可以讓pandas為其自動分配默認的列名。
也可以自己定義列名。
3、將某一列作為索引，比如使用message列做索引。通過index_col參數(shù)指定’message’。
4、要將多個列做成一個層次化索引，只需傳入由列編號或列名組成的列表即可。
5、文本中缺失值處理，缺失數(shù)據(jù)要么是沒有（空字符串），要么是用某個標(biāo)記值表示的，默認情況下，pandas會用一組經(jīng)常出現(xiàn)的標(biāo)記值進行識別，如NA、NULL等。查找出結(jié)果以NAN顯示。
6、逐塊讀取文本文件
如果只想讀取幾行（避免讀取整個文件），通過nrows進行制定即可。
7、對于不是使用固定分隔符分割的表格，可以使用正則表達式來作為read_table的分隔符。
（’\s+’是正則表達式中的字符）。
JSON數(shù)據(jù)是通過HTTP請求在Web瀏覽器和其他應(yīng)用程序之間發(fā)送數(shù)據(jù)的標(biāo)注形式之一。通過json.loads即可將JSON對象轉(zhuǎn)換成Python對象。（import json）
對應(yīng)的json.dumps則將Python對象轉(zhuǎn)換成JSON格式。
直接使用read_excel（文件名路徑）進行獲取，與讀取CSV格式的文件類似。
主要包含兩種數(shù)據(jù)庫文件，一種是SQL關(guān)系型數(shù)據(jù)庫數(shù)據(jù)，另一種是非SQL型數(shù)據(jù)庫數(shù)據(jù)即MongoDB數(shù)據(jù)庫文件。
數(shù)據(jù)庫文件是這幾種里面比較難的，本人沒有接觸數(shù)據(jù)庫文件，沒有親測，所以就不貼截圖了。
數(shù)據(jù)整理
數(shù)據(jù)庫風(fēng)格的合并與SQL數(shù)據(jù)庫中的連接（join）原理一樣。通過調(diào)用merge函數(shù)即可進行合并。
當(dāng)沒有指明用哪一列進行連接時，程序?qū)⒆詣影粗丿B列的列名進行連接，上述語句就是按重疊列“key”列進行連接。也可以通過on來指定連接列進行連接。
當(dāng)兩個對象的列名不同時，即兩個對象沒有共同列時，也可以分別進行指定。
Left_on是指左側(cè)DataFrame中用作連接的列。
right_on是指右側(cè)DataFrame中用作連接的列。
通過上面的語句得到的結(jié)果里面只有a和b對應(yīng)的數(shù)據(jù)，c和d以及與之相關(guān)的數(shù)據(jù)被消去，這是因為默認情況下，merge做的是‘inner’連接，即sql中的內(nèi)連接，取得兩個對象的交集。也有其他方式連接：left、right、outer。用“how”來指明。
也可以根據(jù)多個鍵（列）進行合并，用on傳入一個由列名組成的列表即可。
2、索引上的合并
（1）普通索引的合并
Left_index表示將左側(cè)的行索引引用做其連接鍵
right_index表示將右側(cè)的行索引引用做其連接鍵
上面兩個用于DataFrame中的連接鍵位于其索引中，可以使用Left_index=True或right_index=True或兩個同時使用來進行鍵的連接。
（2）層次化索引
軸向連接，默認是在軸方向進行連接，也可以通過axis=1使其進行橫向連接。
（1）對于numpy對象（數(shù)組）可以用numpy中的concatenation函數(shù)進行合并。
（2）對于pandas對象（如Series和DataFrame）,可以pandas中的concat函數(shù)進行合并。
4、合并重疊數(shù)據(jù)
對于索引全部或部分重疊的兩個數(shù)據(jù)集，我們可以使用numpy的where函數(shù)來進行合并，where函數(shù)相當(dāng)于if—else函數(shù)。
對于重復(fù)的數(shù)據(jù)顯示出相同的數(shù)據(jù)，而對于不同的數(shù)據(jù)顯示a列表的數(shù)據(jù)。同時也可以使用combine_first的方法進行合并。合并原則與where函數(shù)一致，遇到相同的數(shù)據(jù)顯示相同數(shù)據(jù)，遇到不同的顯示a列表數(shù)據(jù)。
1、旋轉(zhuǎn)數(shù)據(jù)
（1）重塑索引、分為stack（將數(shù)據(jù)的列旋轉(zhuǎn)為行）和unstack（將數(shù)據(jù)的行旋轉(zhuǎn)為列）。
2、轉(zhuǎn)換數(shù)據(jù)
（1）數(shù)據(jù)替換，將某一值或多個值用新的值進行代替。（比較常用的是缺失值或異常值處理，缺失值一般都用NULL、NAN標(biāo)記，可以用新的值代替缺失標(biāo)記值）。方法是replace。
一對一替換：用np.nan替換-999
多對一替換：用np.nan替換-999和-1000.
多對多替換：用np.nan代替-999,0代替-1000.
也可以使用字典的形式來進行替換。
（2）離散化或面元劃分，即根據(jù)某一條件將數(shù)據(jù)進行分組。
利用pd.cut方式對一組年齡進行分組。
默認情況下，cut對分組條件的左邊是開著的狀態(tài)，右邊是閉合狀態(tài)?？梢杂胠eft（right）=False來設(shè)置哪邊是閉合的。
主要是指清理重復(fù)值，DataFrame中經(jīng)常會出現(xiàn)重復(fù)行，清理數(shù)據(jù)主要是針對這些重復(fù)行進行清理。
利用drop_duplicates方法，可以返回一個移除了重復(fù)行的DataFrame.
默認情況下，此方法是對所有的列進行重復(fù)項清理操作，也可以用來指定特定的一列或多列進行。
默認情況下，上述方法保留的是第一個出現(xiàn)的值組合，傳入take_last=true則保留最后一個。
本文為中國統(tǒng)計網(wǎng)原創(chuàng)文章，需要轉(zhuǎn)載請聯(lián)系中國統(tǒng)計網(wǎng)（），轉(zhuǎn)載時請注明作者及出處，并保留本文鏈接。
