Introduction à l’analyse factorielle en Python

L’analyse factorielle (AF) est une méthode d’exploration des données qui vise à identifier des facteurs sous-jacents influents, ou variables latentes, à partir d’un ensemble de variables observées. Elle facilite l’interprétation en réduisant le nombre de variables. Elle extrait la variance commune maximale de l’ensemble des variables et la résume dans un score commun.

L’analyse factorielle est largement utilisée en études de marché, publicité, psychologie, finance et recherche opérationnelle. Les chargés d’études s’en servent pour repérer les clients sensibles au prix, identifier les attributs de marque qui influencent le choix des consommateurs et mieux comprendre les critères de sélection des canaux de distribution.

Analyse factorielle

L’analyse factorielle est un modèle statistique linéaire. Elle sert à expliquer la variance entre des variables observées et à condenser un ensemble de variables observées en variables non observées appelées facteurs. Les variables observées sont modélisées comme une combinaison linéaire de facteurs et de termes d’erreur (Source). Un facteur, ou variable latente, est associé à plusieurs variables observées qui partagent des schémas de réponses communs. Chaque facteur explique une part de la variance des variables observées. Il facilite l’interprétation des données en réduisant le nombre de variables.

L’analyse factorielle cherche à déterminer si un ensemble de variables d’intérêt X1, X2, …, Xl, est linéairement lié à un plus petit nombre de facteurs non observables F1, F2, …, Fk.

Source : cette image est recréée d’après des notes d’analyse factorielle. Elle offre une vue d’ensemble du processus.

Hypothèses :

1. Pas de valeurs aberrantes dans les données.
2. La taille d’échantillon doit être supérieure au nombre de facteurs.
3. Pas de multicolinéarité parfaite.
4. Pas d’homoscédasticité entre les variables.

Types d’analyse factorielle

• Analyse factorielle exploratoire (AFE) : c’est l’approche la plus courante en sciences sociales et en management. L’hypothèse de base est que toute variable observée peut être directement associée à n’importe quel facteur.
• Analyse factorielle confirmatoire (AFC) : elle suppose que chaque facteur est associé à un ensemble précis de variables observées. L’AFC vient confirmer une structure attendue.

Comment fonctionne l’analyse factorielle ?

L’objectif principal est de réduire le nombre de variables observées et d’identifier des variables non observées. Ces variables latentes aident l’analyste à tirer des conclusions à partir d’une enquête. La transformation des variables observées en variables latentes se déroule en deux étapes :

• Extraction des facteurs : on choisit le nombre de facteurs et la méthode d’extraction via des approches de partition de variance comme l’analyse en composantes principales et l’analyse des facteurs communs.
• Rotation des facteurs : la rotation vise à rendre les facteurs non corrélés — l’objectif est d’améliorer l’interprétabilité globale. Plusieurs méthodes existent : Varimax, Quartimax, Promax, entre autres.

Terminologie

Qu’est-ce qu’un facteur ?

Un facteur est une variable latente qui décrit l’association entre plusieurs variables observées. Le nombre maximal de facteurs est égal au nombre de variables observées. Chaque facteur explique une part de la variance des variables observées. Les facteurs expliquant le moins de variance sont écartés. Les facteurs sont aussi appelés variables latentes, cachées, non observées ou hypothétiques.

Qu’est-ce que les charges factorielles ?

La matrice des charges factorielles montre la relation de chaque variable avec le facteur sous-jacent. Elle indique le coefficient de corrélation entre la variable observée et le facteur, et la part de variance expliquée par les variables observées.

Qu’est-ce que les valeurs propres (eigenvalues) ?

Les valeurs propres représentent la part de variance expliquée par chaque facteur sur la variance totale. On parle aussi de racines caractéristiques.

Qu’est-ce que les communalités ?

Les communalités sont la somme des carrés des charges pour chaque variable. Elles représentent la variance commune. Elles varient de 0 à 1, une valeur proche de 1 indiquant une plus grande variance expliquée.

Qu’est-ce que la rotation factorielle ?

La rotation est un outil pour améliorer l’interprétation. Elle peut être orthogonale ou oblique. Elle redistribue les communalités en clarifiant le motif des charges.

Choisir le nombre de facteurs

Le critère de Kaiser est une approche analytique : on retient les facteurs qui expliquent une proportion plus importante de variance. L’usage des valeurs propres est courant pour déterminer le nombre de facteurs ; en général, une valeur propre supérieure à 1 constitue un bon seuil de sélection.

L’approche graphique repose sur la représentation des valeurs propres des facteurs, appelée scree plot (test de Cattell). Le « coude » de la courbe aide à choisir le nombre de facteurs.

Source

Analyse factorielle vs analyse en composantes principales

• Les composantes de l’ACP expliquent un maximum de variance, tandis que l’analyse factorielle explique la covariance des données.
• Les composantes de l’ACP sont parfaitement orthogonales entre elles, alors que l’analyse factorielle n’impose pas l’orthogonalité des facteurs.
• En ACP, une composante est une combinaison linéaire des variables observées, alors qu’en AF, les variables observées sont des combinaisons linéaires des variables latentes (facteurs).
• Les composantes ACP sont souvent difficilement interprétables. En AF, les facteurs sous-jacents sont nommables et interprétables.
• L’ACP est une méthode de réduction de dimension, tandis que l’AF est une approche par variables latentes.
• L’ACP est parfois considérée comme un cas particulier d’analyse factorielle. L’ACP est observationnelle, alors que l’AF est une technique de modélisation.

Source

Analyse factorielle en Python avec le package factor_analyzer

Importer les bibliothèques nécessaires

# Import required libraries
import pandas as pd
from sklearn.datasets import load_iris
from factor_analyzer import FactorAnalyzer
import matplotlib.pyplot as plt

Chargement des données

Réalisons une analyse factorielle sur BFI (jeu de données issu d’un projet d’évaluation de la personnalité), collecté avec une échelle de réponse à 6 niveaux : 1 Very Inaccurate, 2 Moderately Inaccurate, 3 Slightly Inaccurate, 4 Slightly Accurate, 5 Moderately Accurate et 6 Very Accurate. Vous pouvez aussi télécharger ce jeu de données via le lien suivant : https://vincentarelbundock.github.io/Rdatasets/datasets.html

df= pd.read_csv("bfi.csv")

Prétraiter les données

df.columns

Index(['A1', 'A2', 'A3', 'A4', 'A5', 'C1', 'C2', 'C3', 'C4', 'C5', 'E1', 'E2',
       'E3', 'E4', 'E5', 'N1', 'N2', 'N3', 'N4', 'N5', 'O1', 'O2', 'O3', 'O4',
       'O5', 'gender', 'education', 'age'],
      dtype='object')

# Dropping unnecessary columns
df.drop(['gender', 'education', 'age'],axis=1,inplace=True)

# Dropping missing values rows
df.dropna(inplace=True)

df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2436 entries, 0 to 2799
Data columns (total 25 columns):
A1    2436 non-null float64
A2    2436 non-null float64
A3    2436 non-null float64
A4    2436 non-null float64
A5    2436 non-null float64
C1    2436 non-null float64
C2    2436 non-null float64
C3    2436 non-null float64
C4    2436 non-null float64
C5    2436 non-null float64
E1    2436 non-null float64
E2    2436 non-null float64
E3    2436 non-null float64
E4    2436 non-null float64
E5    2436 non-null float64
N1    2436 non-null float64
N2    2436 non-null float64
N3    2436 non-null float64
N4    2436 non-null float64
N5    2436 non-null float64
O1    2436 non-null float64
O2    2436 non-null int64
O3    2436 non-null float64
O4    2436 non-null float64
O5    2436 non-null float64
dtypes: float64(24), int64(1)
memory usage: 494.8 KB

df.head()

Test d’adéquation

Avant de mener une analyse factorielle, il faut évaluer la « factorabilité » du jeu de données, c’est-à-dire : peut-on y déceler des facteurs ? Deux méthodes permettent de vérifier la factorabilité ou l’adéquation de l’échantillonnage :

• Test de Bartlett
• Test de Kaiser-Meyer-Olkin

Le test de sphéricité de Bartlett examine si les variables observées sont inter-corrélées en comparant la matrice des corrélations observées à la matrice identité. Si le test n’est pas statistiquement significatif, vous ne devriez pas recourir à l’analyse factorielle.

from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value,p_value=calculate_bartlett_sphericity(df)
chi_square_value, p_value

(18146.065577234807, 0.0)

Dans ce test de Bartlett, la p-valeur est de 0. Le test est statistiquement significatif, indiquant que la matrice de corrélation observée n’est pas une matrice identité.

Le test de Kaiser-Meyer-Olkin (KMO) mesure la pertinence des données pour l’analyse factorielle. Il évalue l’adéquation pour chaque variable et pour le modèle global. Le KMO estime la proportion de variance commune entre toutes les variables observées. Une proportion plus élevée est plus favorable à l’analyse factorielle. Les valeurs de KMO vont de 0 à 1 ; une valeur inférieure à 0,6 est jugée insuffisante.

from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all,kmo_model=calculate_kmo(df)

kmo_model

0.8486452309468382

Le KMO global de nos données est de 0,84 : excellent. Vous pouvez donc poursuivre l’analyse factorielle prévue.

Choisir le nombre de facteurs

Pour déterminer le nombre de facteurs, utilisez le critère de Kaiser et le scree plot. Les deux reposent sur les valeurs propres.

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 25, rotation=None)
# Check Eigenvalues
ev, v = fa.get_eigenvalues()
ev

Ici, seules les 6 premières valeurs propres sont supérieures à 1. Nous retiendrons donc 6 facteurs (variables latentes).

# Create scree plot using matplotlib
plt.scatter(range(1,df.shape[1]+1),ev)
plt.plot(range(1,df.shape[1]+1),ev)
plt.title('Scree Plot')
plt.xlabel('Factors')
plt.ylabel('Eigenvalue')
plt.grid()
plt.show()

Le scree plot trace la série des valeurs propres par facteur. Le nombre de valeurs propres supérieures à 1 correspond au nombre de facteurs à retenir.

Ici, seules les 6 premières valeurs propres dépassent 1 ; nous choisissons donc 6 facteurs (variables latentes).

Réaliser l’analyse factorielle

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 6, rotation="varimax")

fa.loadings

• Le facteur 1 présente de fortes charges pour E1, E2, E3, E4 et E5 (Extraversion)
• Le facteur 2 présente de fortes charges pour N1, N2, N3, N4 et N5 (Névrosisme)
• Le facteur 3 présente de fortes charges pour C1, C2, C3, C4 et C5 (Conscience/propreté)
• Le facteur 4 présente de fortes charges pour O1, O2, O3, O4 et O5 (Ouverture)
• Le facteur 5 présente de fortes charges pour A1, A2, A3, A4 et A5 (Agréabilité)
• Le facteur 6 n’affiche pas de fortes charges pour une variable en particulier et reste difficile à interpréter. Mieux vaut donc retenir cinq facteurs.

Réalisons l’analyse factorielle avec 5 facteurs.

# Create factor analysis object and perform factor analysis using 5 factors
fa = FactorAnalyzer()
fa.analyze(df, 5, rotation="varimax")
fa.loadings

# Get variance of each factors
fa.get_factor_variance()

Au total, 42 % de la variance cumulée est expliquée par les 5 facteurs.

Avantages et limites de l’analyse factorielle

L’analyse factorielle explore de grands jeux de données et met en évidence des relations interdépendantes. Elle réduit les variables observées en quelques variables latentes ou identifie des groupes de variables corrélées, ce qui aide les équipes marketing à simplifier des situations de marché complexes et à révéler des liens cachés entre goûts, préférences et influences culturelles. Elle contribue aussi à améliorer les questionnaires pour de futures enquêtes. Les facteurs facilitent une interprétation plus naturelle des données.

Les résultats peuvent toutefois prêter à discussion. Les interprétations peuvent diverger, car plusieurs lectures d’un même ensemble de facteurs sont possibles. Après l’identification et la nomination des facteurs, une expertise métier est nécessaire.

Conclusion

Félicitations, vous êtes arrivé au bout de ce tutoriel !

Vous avez découvert ce qu’est l’analyse factorielle, ses différents types, son fonctionnement, les notions de base, comment choisir le nombre de facteurs, la comparaison entre l’analyse en composantes principales et l’analyse factorielle, son implémentation en Python avec le package FactorAnalyzer, ainsi que ses avantages et limites.

Vos retours et questions sont les bienvenus. Laissez un commentaire : je ferai de mon mieux pour vous répondre.

Pour aller plus loin avec les facteurs en Python, suivez le cours Unsupervised Learning in Python de DataCamp.