Python NaN : 4 façons de vérifier les valeurs manquantes en Python

Dans le monde de la science des données et de l'analyse, les données manquantes sont plus une règle qu'une exception. Les valeurs manquantes peuvent fausser l'analyse, conduire à des conclusions erronées et, d'une manière générale, perturber le flux de traitement des données. Il est essentiel de combler ces lacunes pour préserver l'intégrité de votre analyse. Cet article vise à vous équiper de différentes manières d'identifier les valeurs NaN (Not a Number) en Python.

La réponse courte : Utilisez soit la fonction isnan() ou la fonction Pandas .isna() méthode

Lorsque vous traitez des valeurs manquantes en Python, l'approche dépend largement de la structure de données avec laquelle vous travaillez.

Pour les valeurs individuelles ou les tableaux : Utiliser NumPy

La fonction isnan() de NumPy est idéale pour identifier les NaN dans les tableaux numériques ou les valeurs individuelles, offrant une solution simple et efficace. Le voici en action !

import numpy as np

# Single value check
my_missing_value = np.nan
print(np.isnan(my_missing_value))  # Output: True

# Array check
my_missing_array = np.array([1, np.nan, 3])
nan_array = np.isnan(my_missing_array)
print(nan_array)  # Output: [False  True False]

Pour les DataFrame : Utiliser les Pandas

Pandas fournit des méthodes complètes telles que .isna() et .isnull() pour détecter les valeurs manquantes dans les objets DataFrame ou Series, en s'intégrant de manière transparente aux flux de travail d'analyse des données.

import pandas as pd
import numpy as np

my_dataframe = pd.DataFrame({
    'Column1': ["I", "Love", np.nan], 
    'Column2': ["Python", np.nan, "The Best"]
})


print(my_dataframe.isna())

Lorsque vous exécutez ce code, la sortie indique la présence de valeurs NaN dans un contexte plus intéressant, comme indiqué ci-dessous :

   Column1  Column2
0    False    False
1    False     True
2     True    False

La différence entre NaN et None

Comprendre la distinction entre NaN et None est crucial en Python. NaN est une représentation en virgule flottante de "Not a Number" (pas un nombre), utilisée principalement dans les calculs numériques. None Par contre, est l'objet de Python qui représente l'absence de valeur, un peu comme null dans d'autres langages. Alors que NaN est utilisé dans les calculs mathématiques ou scientifiques, None est plus général et indique le manque de données.

4 façons de vérifier la présence de NaN en Python

La navigation dans les ensembles de données pour identifier les valeurs manquantes est une étape critique du prétraitement des données. Explorons quatre méthodes pratiques pour vérifier les valeurs NaN en Python, en poursuivant les exemples engageants que nous avons déjà utilisés.

1. Vérification de la présence de NaN avec np.isnan()

Comme nous l'avons vu précédemment, NumPy fournit une approche directe pour identifier les valeurs NaN dans les valeurs individuelles et les tableaux, ce qui est essentiel pour l'analyse des données numériques.

import numpy as np

# Checking a single value
print(np.isnan(np.nan))  # Output: True

# Checking an array
my_array = np.array([1, 5, np.nan])
print(np.isnan(my_array))  # Output: [False False  True]

2. Vérification de la présence de NaN en utilisant pd.isna()

Pandas simplifie la détection des valeurs NaN dans les structures de données, des scalaires aux DataFrame complexes, ce qui le rend inestimable pour les tâches de manipulation de données.

import pandas as pd

# Checking a single value
print(pd.isna(np.nan))  # Output: True

# Checking a pandas Series
my_series = pd.Series(["Python", np.nan, "The Best"])
print(my_series.isna())  # Output: [False  True  False]

# Checking a pandas DataFrame
my_dataframe = pd.DataFrame({
    'Column1': ["I", "Love", np.nan], 
    'Column2': ["Python", np.nan, "The Best"]
})


print(pd.isna(my_dataframe)) # Output a DataFrame with True for missing values

3. Vérification de la présence de NaN dans les DataFrame à l'aide de Pandas .isna() ou .isnull() méthodes

Les DataFrames de Pandas offrent également les méthodes .isna() et .isnull() pour repérer sans effort les valeurs manquantes dans les ensembles de données, offrant ainsi une vue d'ensemble claire de l'exhaustivité des données.

import pandas as pd

# Create a dataframe with missing values
my_dataframe = pd.DataFrame({
    'Column1': ["I", "Love", np.nan], 
    'Column2': ["Python", np.nan, "The Best"]
})

print(my_dataframe.isna())
# Output:
#    Column1  Column2
# 0    False    False
# 1    False     True
# 2     True    False

print(my_dataframe.isnull())
# Output:
#    Column1  Column2
# 0    False    False
# 1    False     True
# 2     True    False

4. Vérification de la présence de NaN dans les DataFrame à l'aide de math.isnan()

Pour les vérifications de nombres individuels, la fonction math.isnan() offre une solution simple mais efficace, en particulier lorsqu'il s'agit de types de données purement Python.

import math

# Assuming my_number is a float or can be converted to one
my_number = float('nan')
print(math.isnan(my_number))  # Output: True

Réflexions finales et ressources complémentaires

L'identification et la gestion des valeurs NaN est une étape fondamentale dans le nettoyage et la préparation de vos données pour l'analyse. Que vous travailliez avec des tableaux, des séries ou des cadres de données, il est essentiel de comprendre les outils et les méthodes disponibles dans Python pour traiter les données manquantes. Pour en savoir plus, consultez les ressources suivantes :

• Le cursus des fondamentaux de Python
• Cours d'introduction à Python
• Cours sur le nettoyage des données en Python
• Importer et nettoyer des données avec PythonCursus de compétences
• Nettoyage de données en Python Code-Along