Pandas去重方法簡介：學會使用這些技巧，讓資料更乾淨，需要具體程式碼範例
概述：
在資料分析和處理中，我們經常會遇到需要處理重複資料的情況。重複資料的存在可能會導致分析結果的偏倚，因此去重是一個非常重要且基本的資料處理操作。 Pandas提供了多種去重方法，本文將簡要介紹其中常用的技巧，並提供一些具體的程式碼範例。
方法一：drop_duplicates()
Pandas的drop_duplicates()方法是最常用的去重方法之一。它可以根據指定的列來刪除資料中的重複行。預設情況下，方法會保留第一次出現的重複值，而將後續出現的重複值刪除。以下是一個程式碼範例：
import pandas as pd
data = {'A': [1, 2, 3, 4 , 4, 5, 6],
'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}
df = pd.DataFrame(data)
df.drop_duplicates(inplace=True )
print(df)
運行以上程式碼，將得到一個移除了重複行的DataFrame。
方法二：duplicated()和~運算子
除了drop_duplicates()方法，我們也可以使用duplicated()方法來判斷每一行是否為重複行，然後利用~運算子取反來選取非重複行。以下是一個程式碼範例：
import pandas as pd
data = {'A': [1, 2, 3, 4 , 4, 5, 6],
'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}
df = pd.DataFrame(data)
#df = df[ ~df.duplicated()]
print(df)
執行上述程式碼，將得到與前面方法一相同的結果。
方法三：subset參數
drop_duplicates()方法也提供了subset參數，它可以指定一個或多個欄位來決定重複行。以下是一個程式碼範例：
import pandas as pd
data = {'A': [1, 2, 3, 4 , 4, 5, 6],
'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}df = pd.DataFrame(data)
df.drop_duplicates(subset= ['A', 'B'], inplace=True)
print(df)
#運行上述程式碼，將得到根據'A'和'B'列去除重複行的結果。
方法四：keep參數
drop_duplicates()方法的keep參數可以設定為'last'，從而保留重複值中的最後一個。以下是一個程式碼範例：
import pandas as pd
data = {'A': [1, 2, 3, 4 , 4, 5, 6],
'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}
df = pd.DataFrame(data)
df.drop_duplicates(keep= 'last', inplace=True)
print(df)
執行以上程式碼，將會得到保留重複值的最後一個的結果。
方法五：使用主鍵重
當處理包含多個列的DataFrame時，我們可以使用set_index()方法設定一個或多個列為主鍵，然後使用drop_duplicates()方法去除重複行。以下是一個程式碼範例：
import pandas as pd
data = {'A': [1, 2, 3, 4 , 4, 5, 6],
'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}df = pd.DataFrame(data)
df.set_index(['A', 'B'], inplace=True)
df = df[~df.index.duplicated()]
以上是學會這些技巧，讓數據更整潔：簡單介紹Pandas的去重方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！
