Introduzione all’analisi fattoriale in Python

L’analisi fattoriale (FA) è un metodo di analisi esplorativa dei dati usato per individuare fattori sottostanti o variabili latenti a partire da un insieme di variabili osservate. Aiuta l’interpretazione dei dati riducendo il numero di variabili. Estrae la massima varianza comune da tutte le variabili e la condensa in un punteggio comune.

L’analisi fattoriale è ampiamente utilizzata in ricerche di mercato, pubblicità, psicologia, finanza e ricerca operativa. I ricercatori di mercato la usano per identificare i clienti sensibili al prezzo, individuare le caratteristiche del brand che influenzano le scelte dei consumatori e comprendere i criteri di selezione dei canali per la distribuzione.

Analisi fattoriale

L’analisi fattoriale è un modello statistico lineare. Viene usata per spiegare la varianza tra le variabili osservate e condensare un insieme di variabili osservate in variabili non osservate chiamate fattori. Le variabili osservate sono modellate come combinazioni lineari di fattori e termini di errore (Fonte). Un fattore o variabile latente è associato a più variabili osservate che presentano schemi di risposta comuni. Ogni fattore spiega una certa quota di varianza nelle variabili osservate. Aiuta l’interpretazione dei dati riducendo il numero di variabili.

L’analisi fattoriale è un metodo per verificare se un certo numero di variabili di interesse X1, X2,……, Xl, sono linearmente collegate a un numero più piccolo di fattori non osservabili F1, F2,……, Fk.

Fonte: questa immagine è stata ricreata da un’immagine trovata in appunti di analisi fattoriale. L’immagine offre una vista completa dell’analisi fattoriale.

Assunzioni:

1. Non ci sono outlier nei dati.
2. La dimensione del campione dovrebbe essere maggiore del numero di fattori.
3. Non deve esserci multicollinearità perfetta.
4. Non dovrebbe esserci omoschedasticità tra le variabili.

Tipi di analisi fattoriale

• Analisi fattoriale esplorativa: è l’approccio più usato tra i ricercatori sociali e di management. L’assunzione di base è che qualsiasi variabile osservata possa essere direttamente associata a qualsiasi fattore.
• Analisi fattoriale confermativa (CFA): l’assunzione di base è che ogni fattore sia associato a un insieme specifico di variabili osservate. La CFA conferma quanto atteso sulla base del modello.

Come funziona l’analisi fattoriale?

L’obiettivo principale dell’analisi fattoriale è ridurre il numero di variabili osservate e trovare variabili non osservabili. Queste variabili non osservate aiutano il ricercatore di mercato a trarre conclusioni dal sondaggio. Questa conversione delle variabili osservate in variabili non osservate può essere ottenuta in due passaggi:

• Estrazione dei fattori: in questo passaggio, il numero di fattori e l’approccio di estrazione sono selezionati usando metodi di partizionamento della varianza, come l’analisi delle componenti principali e l’analisi dei fattori comuni.
• Rotazione dei fattori: in questo passaggio, la rotazione cerca di convertire i fattori in fattori non correlati — l’obiettivo principale è migliorare l’interpretabilità complessiva. Esistono molti metodi di rotazione, ad esempio: Varimax, Quartimax e Promax.

Terminologia

Cos’è un fattore?

Un fattore è una variabile latente che descrive l’associazione tra più variabili osservate. Il numero massimo di fattori è pari al numero di variabili osservate. Ogni fattore spiega una certa quota di varianza nelle variabili osservate. I fattori con la minore varianza vengono eliminati. I fattori sono noti anche come variabili latenti, nascoste, non osservate o ipotetiche.

Cosa sono i factor loadings?

I factor loadings sono una matrice che mostra la relazione di ciascuna variabile con il fattore sottostante. Mostra il coefficiente di correlazione tra variabile osservata e fattore. Indica la varianza spiegata dalle variabili osservate.

Cosa sono gli autovalori (Eigenvalues)?

Gli autovalori rappresentano la varianza spiegata da ciascun fattore rispetto alla varianza totale. Sono noti anche come radici caratteristiche.

Cosa sono le comunalità (Communalities)?

Le comunalità sono la somma dei loadings al quadrato per ciascuna variabile. Rappresentano la varianza comune. Vanno da 0 a 1 e valori vicini a 1 indicano più varianza.

Cos’è la rotazione dei fattori?

La rotazione è uno strumento per una migliore interpretazione dell’analisi fattoriale. La rotazione può essere ortogonale o obliqua. Ridistribuisce le comunalità con uno schema di loadings più chiaro.

Scelta del numero di fattori

Il criterio di Kaiser è un approccio analitico basato sulla selezione del fattore che spiega una quota più significativa di varianza. L’autovalore è un buon criterio per determinare il numero di fattori. In generale, un autovalore maggiore di 1 è considerato criterio di selezione della caratteristica.

L’approccio grafico si basa sulla rappresentazione visiva degli autovalori dei fattori, chiamata anche scree plot. Questo scree plot aiuta a determinare il numero di fattori nel punto in cui la curva forma un “gomito”.

Fonte

Analisi fattoriale vs Principal Component Analysis

• Le componenti PCA spiegano la massima quantità di varianza, mentre l’analisi fattoriale spiega la covarianza nei dati.
• Le componenti PCA sono completamente ortogonali tra loro, mentre l’analisi fattoriale non richiede fattori ortogonali.
• La componente PCA è una combinazione lineare delle variabili osservate, mentre in FA le variabili osservate sono combinazioni lineari della variabile non osservata o fattore.
• Le componenti PCA sono difficili da interpretare. In FA, i fattori sottostanti possono essere etichettati e interpretati.
• La PCA è un metodo di riduzione della dimensionalità, mentre l’analisi fattoriale è un metodo a variabili latenti.
• La PCA è un tipo di analisi fattoriale. La PCA è osservazionale, mentre la FA è una tecnica di modellazione.

Fonte

Analisi fattoriale in Python con il pacchetto factor_analyzer

Importare le librerie necessarie

# Import required libraries
import pandas as pd
from sklearn.datasets import load_iris
from factor_analyzer import FactorAnalyzer
import matplotlib.pyplot as plt

Caricare i dati

Eseguiamo l’analisi fattoriale su BFI (dataset basato su un progetto di valutazione della personalità), raccolto usando una scala di risposta a 6 punti: 1 Molto impreciso, 2 Moderatamente impreciso, 3 Leggermente impreciso, 4 Leggermente preciso, 5 Moderatamente preciso e 6 Molto preciso. Puoi anche scaricare questo dataset dal seguente link: https://vincentarelbundock.github.io/Rdatasets/datasets.html

df= pd.read_csv("bfi.csv")

Preprocessare i dati

df.columns

Index(['A1', 'A2', 'A3', 'A4', 'A5', 'C1', 'C2', 'C3', 'C4', 'C5', 'E1', 'E2',
       'E3', 'E4', 'E5', 'N1', 'N2', 'N3', 'N4', 'N5', 'O1', 'O2', 'O3', 'O4',
       'O5', 'gender', 'education', 'age'],
      dtype='object')

# Dropping unnecessary columns
df.drop(['gender', 'education', 'age'],axis=1,inplace=True)

# Dropping missing values rows
df.dropna(inplace=True)

df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2436 entries, 0 to 2799
Data columns (total 25 columns):
A1    2436 non-null float64
A2    2436 non-null float64
A3    2436 non-null float64
A4    2436 non-null float64
A5    2436 non-null float64
C1    2436 non-null float64
C2    2436 non-null float64
C3    2436 non-null float64
C4    2436 non-null float64
C5    2436 non-null float64
E1    2436 non-null float64
E2    2436 non-null float64
E3    2436 non-null float64
E4    2436 non-null float64
E5    2436 non-null float64
N1    2436 non-null float64
N2    2436 non-null float64
N3    2436 non-null float64
N4    2436 non-null float64
N5    2436 non-null float64
O1    2436 non-null float64
O2    2436 non-null int64
O3    2436 non-null float64
O4    2436 non-null float64
O5    2436 non-null float64
dtypes: float64(24), int64(1)
memory usage: 494.8 KB

df.head()

Test di adeguatezza

Prima di eseguire l’analisi fattoriale, devi valutare la “fattorizzabilità” del dataset. Fattorizzabilità significa: "possiamo trovare dei fattori nel dataset?". Esistono due metodi per verificare la fattorizzabilità o l’adeguatezza del campionamento:

• Test di Bartlett
• Test di Kaiser-Meyer-Olkin

Il test di Bartlett di sfericità verifica se le variabili osservate sono intercorrelate usando la matrice di correlazione osservata rispetto alla matrice identità. Se il test risulta statisticamente non significativo, non dovresti impiegare un’analisi fattoriale.

from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value,p_value=calculate_bartlett_sphericity(df)
chi_square_value, p_value

(18146.065577234807, 0.0)

In questo test di Bartlett, il p-value è 0. Il test è risultato statisticamente significativo, indicando che la matrice di correlazione osservata non è una matrice identità.

Il test Kaiser-Meyer-Olkin (KMO) misura l’idoneità dei dati all’analisi fattoriale. Determina l’adeguatezza per ciascuna variabile osservata e per l’intero modello. Il KMO stima la proporzione di varianza tra tutte le variabili osservate. Una proporzione inferiore è più adatta all’analisi fattoriale. I valori KMO variano tra 0 e 1. Un valore KMO inferiore a 0,6 è considerato inadeguato.

from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all,kmo_model=calculate_kmo(df)

kmo_model

0.8486452309468382

Il KMO complessivo per i nostri dati è 0,84, che è eccellente. Questo valore indica che puoi procedere con l’analisi fattoriale pianificata.

Scelta del numero di fattori

Per scegliere il numero di fattori, puoi usare il criterio di Kaiser e lo scree plot. Entrambi si basano sugli autovalori.

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 25, rotation=None)
# Check Eigenvalues
ev, v = fa.get_eigenvalues()
ev

Qui puoi vedere che solo per 6 fattori gli autovalori sono maggiori di uno. Significa che dobbiamo scegliere solo 6 fattori (o variabili non osservate).

# Create scree plot using matplotlib
plt.scatter(range(1,df.shape[1]+1),ev)
plt.plot(range(1,df.shape[1]+1),ev)
plt.title('Scree Plot')
plt.xlabel('Factors')
plt.ylabel('Eigenvalue')
plt.grid()
plt.show()

Il metodo dello scree plot traccia una linea per ciascun fattore e i suoi autovalori. Il numero di autovalori maggiori di uno è considerato il numero di fattori.

Qui puoi vedere che solo per 6 fattori gli autovalori sono maggiori di uno. Significa che dobbiamo scegliere solo 6 fattori (o variabili non osservate).

Esecuzione dell’analisi fattoriale

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 6, rotation="varimax")

fa.loadings

• Il Fattore 1 ha alti loadings per E1, E2, E3, E4 ed E5 (Estroversione)
• Il Fattore 2 ha alti loadings per N1, N2, N3, N4 e N5 (Nevroticismo)
• Il Fattore 3 ha alti loadings per C1, C2, C3, C4 e C5 (Coscienziosità)
• Il Fattore 4 ha alti loadings per O1, O2, O3, O4 e O5 (Apertura mentale)
• Il Fattore 5 ha alti loadings per A1, A2, A3, A4 e A5 (Amicalità)
• Il Fattore 6 non ha alti loadings per nessuna variabile ed è difficilmente interpretabile. È meglio considerare solo cinque fattori.

Eseguiamo l’analisi fattoriale con 5 fattori.

# Create factor analysis object and perform factor analysis using 5 factors
fa = FactorAnalyzer()
fa.analyze(df, 5, rotation="varimax")
fa.loadings

# Get variance of each factors
fa.get_factor_variance()

In totale il 42% della varianza cumulativa è spiegata dai 5 fattori.

Pro e contro dell’analisi fattoriale

L’analisi fattoriale esplora grandi dataset e trova associazioni interconnesse. Riduce le variabili osservate in poche variabili non osservate o identifica gruppi di variabili intercorrelate, aiutando i ricercatori di mercato a sintetizzare le situazioni di mercato e trovare le relazioni nascoste tra gusti, preferenze e influenze culturali dei consumatori. Inoltre, aiuta a migliorare i questionari per sondaggi futuri. I fattori rendono più naturale l’interpretazione dei dati.

I risultati dell’analisi fattoriale possono essere controversi. Le interpretazioni possono essere oggetto di discussione perché dalla stessa struttura fattoriale possono derivare più interpretazioni. Dopo l’identificazione dei fattori, l’assegnazione dei nomi richiede conoscenza del dominio.

Conclusione

Congratulazioni, sei arrivato alla fine di questo tutorial!

In questo tutorial hai imparato cos’è l’analisi fattoriale, i diversi tipi di analisi fattoriale, come funziona l’analisi fattoriale, la terminologia di base, come scegliere il numero di fattori, il confronto tra principal component analysis e analisi fattoriale, l’implementazione in Python usando il pacchetto FactorAnalyzer e i pro e contro dell’analisi fattoriale.

Sarei felice di ricevere feedback o domande. Puoi lasciare un commento con la tua domanda e farò del mio meglio per rispondere.

Se vuoi approfondire i fattori in Python, segui il corso di DataCamp Unsupervised Learning in Python.