Comment supprimer les lignes indexées en double dans Pandas ?

Suppression des lignes indexées en double dans les pandas

Dans les pandas, des valeurs d'index en double peuvent survenir dans divers scénarios, par exemple lors de l'ajout de données provenant de plusieurs sources ou corriger des observations erronées. La suppression de ces lignes en double est essentielle pour la cohérence des données et la précision de l'analyse.

Une approche recommandée consiste à utiliser la méthode ~df3.index.duplicated(keep='first'). Cette méthode identifie et supprime efficacement les lignes en double tout en préservant les lignes uniques dans le dataframe :

df3 = df3[~df3.index.duplicated(keep='first')]

Cette méthode surpasse les autres techniques, telles que drop_duplicates et groupby, en termes de performances, en particulier pour les grands dataframes. De plus, il est plus lisible et facile à comprendre.

Pour les trames de données MultiIndex, la méthode ~df1.index.duplicated(keep='last') peut être utilisée, qui conserve la dernière occurrence de chaque valeur d'index unique. :

df1[~df1.index.duplicated(keep='last')]

L'utilisation de cette approche garantit que la trame de données résultante ne contient que des valeurs d'index uniques, éliminant ainsi les lignes redondantes qui peuvent interférer avec l'analyse des données et modélisation.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!