Pandas 중복 제거 방법 소개: 이러한 기술을 사용하여 데이터를 더 깔끔하게 만드는 방법을 배우십시오. 구체적인 코드 예제가 필요합니다.

개요:
데이터 분석 및 처리에서 중복 데이터를 처리해야 하는 상황에 자주 직면합니다. 중복된 데이터가 존재하면 분석 결과에 편향이 발생할 수 있으므로 중복 제거는 매우 중요하고 기본적인 데이터 처리 작업입니다. Pandas는 다양한 중복 제거 방법을 제공합니다. 이 기사에서는 일반적으로 사용되는 기술을 간략하게 소개하고 몇 가지 구체적인 코드 예제를 제공합니다.

방법 1: drop_duplicates()
Pandas의 drop_duplicates() 방법은 중복 제거에 가장 일반적으로 사용되는 방법 중 하나입니다. 지정된 열을 기반으로 데이터에서 중복 행을 제거할 수 있습니다. 기본적으로 이 방법은 첫 번째 중복 값 발생을 유지하고 이후 중복 값 발생을 삭제합니다. 다음은 코드 예입니다.

pandas를 pd로 가져오기

중복 데이터가 있는 DataFrame 만들기

data = {'A': [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}

df = pd.DataFrame(data)

drop_duplicates() 메서드를 사용하여 중복 행을 제거하세요

df.drop_duplicates(inplace=True)

print(df)

위 코드를 실행하면 중복 행이 제거된 DataFrame을 얻을 수 있습니다. .

방법 2: Duplicate() 및 ~ 연산자
drop_duplicates() 메서드 외에도 Duplicate() 메서드를 사용하여 각 행이 중복 행인지 확인한 다음 ~ 연산자를 사용하여 반전하여 선택할 수도 있습니다. 중복되지 않은 행. 다음은 코드 예입니다.

pandas를 pd로 가져오기

중복 데이터가 있는 DataFrame 만들기

data = {'A': [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}

df = pd.DataFrame(data)

duplicated() 및 ~ 연산자를 사용하여 중복 행 제거

df = df[~df.duplicated()]

print(df)

위 코드를 실행하면 동일한 결과를 얻을 수 있습니다. 결과는 이전 방법과 동일합니다.

방법 3: 하위 집합 매개변수
drop_duplicates() 메서드는 중복 행을 확인하기 위해 하나 이상의 열을 지정할 수 있는 하위 집합 매개변수도 제공합니다. 다음은 코드 예입니다.

pandas를 pd로 가져오기

중복 데이터가 있는 DataFrame 만들기

data = {'A': [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
    'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}

df = pd.DataFrame(data)

하위 집합 매개변수를 사용하여 특정 열의 중복 행 제거

df.drop_duplicates(subset=['A', 'B'], inplace=True)

print(df)

실행 위의 코드는 'A' 및 'B' 열을 기반으로 중복 행을 제거한 결과를 얻습니다.

방법 4: 매개변수 유지
drop_duplicates() 메서드의 유지 매개변수를 'last'로 설정하여 마지막 중복 값을 유지할 수 있습니다. 다음은 코드 예입니다.

pandas를 pd로 가져오기

중복 데이터가 있는 DataFrame 만들기

data = {'A': [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}

df = pd.DataFrame(data)

keep 매개변수를 사용하여 마지막 중복 값을 유지하세요

df.drop_duplicates(keep='last', inplace=True)

print(df)

위 코드를 실행하면 다음을 얻을 수 있습니다. 유지된 중복 항목 마지막 값의 결과입니다.

방법 5: 기본 키를 사용하여 중복 제거
여러 열이 포함된 DataFrame을 처리할 때 set_index() 메서드를 사용하여 하나 이상의 열을 기본 키로 설정한 다음 drop_duplicates() 메서드를 사용하여 중복을 제거할 수 있습니다. 행. 다음은 코드 예입니다.

pandas를 pd로 가져오기

중복 데이터가 있는 DataFrame 만들기

data = {'A': [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
    'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}

df = pd.DataFrame(data)

set_index() 메서드를 사용하여 'A' 및 'B' 열을 기본 키로 설정한 다음 drop_duplicates() 메서드를 사용하여 중복 행을 제거합니다

df.set_index(['A ', 'B'] , inplace=True)
df = df[~df.index.duplicated()]

print(df)

위 코드를 실행하면 열을 기준으로 중복 행을 제거한 결과를 얻을 수 있습니다. 'A'와 'B'.

요약:
이 기사에서는 drop_duplicates() 메서드, Duplicate() 및 ~ 연산자, 하위 집합 매개 변수, Keep 매개 변수, 기본 키를 사용하여 중복 제거하는 방법을 포함하여 Pandas에서 일반적으로 사용되는 몇 가지 중복 제거 방법을 간략하게 소개합니다. 이러한 기술을 학습하고 유연하게 적용함으로써 반복되는 데이터를 보다 편리하게 처리하고, 데이터를 보다 깔끔하게 만들고, 후속 데이터 분석 및 처리를 위한 안정적인 기반을 제공할 수 있습니다. 이 글이 여러분이 Pandas를 배우는 과정에 도움이 되기를 바랍니다.

위 내용은 데이터를 더욱 깔끔하게 만드는 기술을 알아보세요: Pandas의 복제 방법에 대한 간략한 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!