Einführung in die Faktorenanalyse in Python

Die Faktorenanalyse (FA) ist ein exploratives Verfahren der Datenanalyse, mit dem einflussreiche zugrunde liegende Faktoren bzw. latente Variablen aus einer Menge beobachteter Variablen identifiziert werden. Sie unterstützt die Dateninterpretation, indem sie die Anzahl der Variablen reduziert. Dabei wird die maximale gemeinsame Varianz aus allen Variablen extrahiert und in einem gemeinsamen Score zusammengeführt.

Faktorenanalyse wird breit in Marktforschung, Werbung, Psychologie, Finanzen und Operations Research eingesetzt. Marktforscher nutzen sie, um preissensible Kundinnen und Kunden zu identifizieren, Markenmerkmale zu erkennen, die die Wahl beeinflussen, und die Kriterien der Kanalwahl für den Vertrieb besser zu verstehen.

Faktorenanalyse

Die Faktorenanalyse ist ein lineares statistisches Modell. Sie erklärt die Varianz unter beobachteten Variablen und verdichtet sie zu unbeobachteten Variablen, den sogenannten Faktoren. Beobachtete Variablen werden als lineare Kombination aus Faktoren und Fehlert ermen modelliert (Quelle). Ein Faktor bzw. eine latente Variable ist mit mehreren beobachteten Variablen verknüpft, die ähnliche Antwortmuster aufweisen. Jeder Faktor erklärt einen bestimmten Anteil der Varianz der beobachteten Variablen. Er unterstützt die Interpretation, indem er die Anzahl der Variablen reduziert.

Die Faktorenanalyse prüft, ob mehrere interessierende Variablen X1, X2, …, Xl linear mit einer kleineren Zahl unbeobachteter Faktoren F1, F2, …, Fk zusammenhängen.

Quelle: Diese Abbildung wurde nach einer Grafik aus Notizen zur Faktorenanalyse nachgestellt. Sie vermittelt einen Gesamtüberblick über die Faktorenanalyse.

Annahmen:

1. Es gibt keine Ausreißer in den Daten.
2. Die Stichprobengröße sollte größer als die Anzahl der Faktoren sein.
3. Keine perfekte Multikollinearität.
4. Keine Homoskedastizität zwischen den Variablen.

Arten der Faktorenanalyse

• Explorative Faktorenanalyse (EFA): Der gängigste Ansatz in den Sozial- und Wirtschaftswissenschaften. Grundannahme: Jede beobachtete Variable kann potenziell mit jedem Faktor zusammenhängen.
• Konfirmatorische Faktorenanalyse (CFA): Grundannahme: Jeder Faktor ist einem bestimmten Set beobachteter Variablen zugeordnet. CFA prüft, ob das erwartete Modell zu den Daten passt.

Wie funktioniert die Faktorenanalyse?

Ziel der Faktorenanalyse ist es, die Anzahl beobachteter Variablen zu reduzieren und unbeobachtete Variablen zu finden. Diese latenten Variablen helfen Marktforscherinnen und -forschern, Umfragen zu interpretieren. Die Umwandlung beobachteter in unbeobachtete Variablen erfolgt in zwei Schritten:

• Faktorextraktion: In diesem Schritt werden Anzahl der Faktoren und das Extraktionsverfahren anhand von Varianzzerlegungsmethoden wie Hauptkomponentenanalyse und gemeinsamer Faktorenanalyse gewählt.
• Faktorenrotation: In diesem Schritt werden die Faktoren rotiert, um unkorrelierte bzw. klarere Faktoren zu erhalten — Ziel ist eine bessere Interpretierbarkeit. Häufige Rotationsmethoden sind z. B. Varimax, Quartimax und Promax.

Begriffe

Was ist ein Faktor?

Ein Faktor ist eine latente Variable, die die Zusammenhänge zwischen mehreren beobachteten Variablen beschreibt. Die maximale Anzahl an Faktoren entspricht der Anzahl der beobachteten Variablen. Jeder Faktor erklärt einen Teil der Varianz der beobachteten Variablen. Faktoren mit sehr geringer erklärter Varianz werden verworfen. Synonyme sind latente, verborgene, unbeobachtete oder hypothetische Variablen.

Was sind Faktorladungen?

Die Faktorladungsmatrix zeigt die Beziehung jeder Variable zu den zugrunde liegenden Faktoren. Sie enthält die Korrelationskoeffizienten zwischen beobachteter Variable und Faktor und damit auch, wie viel Varianz die beobachteten Variablen erklären.

Was sind Eigenwerte?

Eigenwerte geben an, wie viel Varianz jeder Faktor von der Gesamtvarianz erklärt. Sie heißen auch charakteristische Wurzeln.

Was sind Kommunalitäten?

Kommunalitäten sind die Summe der quadrierten Ladungen je Variable. Sie repräsentieren die gemeinsame Varianz. Der Wert liegt zwischen 0 und 1; je näher an 1, desto mehr Varianz wird erklärt.

Was ist Faktorenrotation?

Rotation ist ein Werkzeug für eine bessere Interpretation. Sie kann orthogonal oder schiefwinklig (oblique) sein und verteilt die Kommunalitäten so um, dass ein klareres Ladungsmuster entsteht.

Auswahl der Faktoranzahl

Das Kaiser-Kriterium ist ein analytischer Ansatz: Faktoren mit einem größeren Anteil erklärter Varianz werden ausgewählt. Der Eigenwert ist ein gutes Kriterium für die Bestimmung der Faktoranzahl. Üblicherweise werden Faktoren mit einem Eigenwert größer als 1 beibehalten.

Der grafische Ansatz basiert auf der Visualisierung der Eigenwerte in einem Scree-Plot. Der Knick in der Kurve zeigt, wie viele Faktoren sinnvoll sind.

Quelle

Faktorenanalyse vs. Principal Component Analysis

• PCA-Komponenten erklären die maximale Varianz, während die Faktorenanalyse die Kovarianz in den Daten erklärt.
• PCA-Komponenten sind zueinander orthogonal, die Faktorenanalyse erfordert keine Orthogonalität.
• PCA-Komponenten sind lineare Kombinationen der beobachteten Variablen; bei FA sind die beobachteten Variablen lineare Kombinationen der latenten Variablen/Faktoren.
• PCA-Komponenten sind oft schwer zu interpretieren. In der FA sind die zugrunde liegenden Faktoren benennbar und interpretierbar.
• PCA ist ein Verfahren zur Dimensionsreduktion, die Faktorenanalyse ein Verfahren für latente Variablen.
• PCA kann als Sonderfall der Faktorenanalyse gesehen werden. PCA ist beobachtungsbasiert, FA ein Modellierungsansatz.

Quelle

Faktorenanalyse in Python mit dem Paket factor_analyzer

Benötigte Bibliotheken importieren

# Import required libraries
import pandas as pd
from sklearn.datasets import load_iris
from factor_analyzer import FactorAnalyzer
import matplotlib.pyplot as plt

Daten laden

Wir führen die Faktorenanalyse am BFI-Datensatz (Persönlichkeitsfragebogen) durch, erhoben auf einer 6-Punkte-Skala: 1 Sehr unzutreffend, 2 Eher unzutreffend, 3 Leicht unzutreffend, 4 Leicht zutreffend, 5 Eher zutreffend, 6 Sehr zutreffend. Du kannst den Datensatz unter folgendem Link herunterladen: https://vincentarelbundock.github.io/Rdatasets/datasets.html

df= pd.read_csv("bfi.csv")

Daten vorverarbeiten

df.columns

Index(['A1', 'A2', 'A3', 'A4', 'A5', 'C1', 'C2', 'C3', 'C4', 'C5', 'E1', 'E2',
       'E3', 'E4', 'E5', 'N1', 'N2', 'N3', 'N4', 'N5', 'O1', 'O2', 'O3', 'O4',
       'O5', 'gender', 'education', 'age'],
      dtype='object')

# Dropping unnecessary columns
df.drop(['gender', 'education', 'age'],axis=1,inplace=True)

# Dropping missing values rows
df.dropna(inplace=True)

df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2436 entries, 0 to 2799
Data columns (total 25 columns):
A1    2436 non-null float64
A2    2436 non-null float64
A3    2436 non-null float64
A4    2436 non-null float64
A5    2436 non-null float64
C1    2436 non-null float64
C2    2436 non-null float64
C3    2436 non-null float64
C4    2436 non-null float64
C5    2436 non-null float64
E1    2436 non-null float64
E2    2436 non-null float64
E3    2436 non-null float64
E4    2436 non-null float64
E5    2436 non-null float64
N1    2436 non-null float64
N2    2436 non-null float64
N3    2436 non-null float64
N4    2436 non-null float64
N5    2436 non-null float64
O1    2436 non-null float64
O2    2436 non-null int64
O3    2436 non-null float64
O4    2436 non-null float64
O5    2436 non-null float64
dtypes: float64(24), int64(1)
memory usage: 494.8 KB

df.head()

Eignungstest

Bevor du eine Faktorenanalyse durchführst, solltest du die "Faktorisierbarkeit" deines Datensatzes prüfen. Faktorisierbarkeit bedeutet: Können wir in den Daten Faktoren finden? Zwei gängige Verfahren zur Prüfung der Eignung bzw. Stichprobenadäquanz sind:

• Bartlett-Test
• Kaiser-Meyer-Olkin-Test

Der Bartlett-Test auf Sphärizität prüft anhand der Korrelationsmatrix gegen die Einheitsmatrix, ob die beobachteten Variablen überhaupt miteinander korrelieren. Fällt der Test nicht signifikant aus, sollte keine Faktorenanalyse angewandt werden.

from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value,p_value=calculate_bartlett_sphericity(df)
chi_square_value, p_value

(18146.065577234807, 0.0)

Im Bartlett-Test ist der p-Wert 0. Der Test ist hochsignifikant und zeigt, dass die beobachtete Korrelationsmatrix keine Einheitsmatrix ist.

Kaiser-Meyer-Olkin- (KMO-)Test misst die Eignung der Daten für die Faktorenanalyse. Er bewertet die Adäquanz für jede beobachtete Variable und für das Gesamtmodell. KMO schätzt den Anteil der Varianz, der durch gemeinsame Faktoren erklärt wird. Ein höherer Anteil ist günstiger. KMO-Werte liegen zwischen 0 und 1; Werte unter 0,6 gelten als unzureichend.

from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all,kmo_model=calculate_kmo(df)

kmo_model

0.8486452309468382

Der gesamte KMO für unsere Daten beträgt 0,84 — ein ausgezeichneter Wert. Du kannst also mit der geplanten Faktorenanalyse fortfahren.

Anzahl der Faktoren bestimmen

Zur Bestimmung der Faktoranzahl kannst du das Kaiser-Kriterium und den Scree-Plot nutzen. Beide basieren auf Eigenwerten.

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 25, rotation=None)
# Check Eigenvalues
ev, v = fa.get_eigenvalues()
ev

Hier sind nur für 6 Faktoren die Eigenwerte größer als 1. Das heißt, wir sollten 6 Faktoren (latente Variablen) auswählen.

# Create scree plot using matplotlib
plt.scatter(range(1,df.shape[1]+1),ev)
plt.plot(range(1,df.shape[1]+1),ev)
plt.title('Scree Plot')
plt.xlabel('Factors')
plt.ylabel('Eigenvalue')
plt.grid()
plt.show()

Der Scree-Plot zeigt pro Faktor seinen Eigenwert. Die Anzahl der Eigenwerte > 1 wird als Anzahl der Faktoren herangezogen.

Hier sind nur für 6 Faktoren die Eigenwerte größer als 1. Das heißt, wir sollten 6 Faktoren (latente Variablen) auswählen.

Faktorenanalyse durchführen

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 6, rotation="varimax")

fa.loadings

• Faktor 1 hat hohe Ladungen für E1, E2, E3, E4 und E5 (Extraversion).
• Faktor 2 hat hohe Ladungen für N1, N2, N3, N4 und N5 (Neurotizismus).
• Faktor 3 hat hohe Ladungen für C1, C2, C3, C4 und C5 (Gewissenhaftigkeit).
• Faktor 4 hat hohe Ladungen für O1, O2, O3, O4 und O5 (Offenheit).
• Faktor 5 hat hohe Ladungen für A1, A2, A3, A4 und A5 (Verträglichkeit).
• Faktor 6 weist keine klar hohen Ladungen auf und ist schwer interpretierbar. Es ist sinnvoll, nur fünf Faktoren zu verwenden.

Lass uns die Faktorenanalyse mit 5 Faktoren durchführen.

# Create factor analysis object and perform factor analysis using 5 factors
fa = FactorAnalyzer()
fa.analyze(df, 5, rotation="varimax")
fa.loadings

# Get variance of each factors
fa.get_factor_variance()

In Summe erklären die 5 Faktoren 42% der Varianz.

Vor- und Nachteile der Faktorenanalyse

Die Faktorenanalyse untersucht große Datensätze und findet verbundene Zusammenhänge. Sie reduziert beobachtete Variablen auf wenige latente Variablen oder identifiziert Gruppen zusammenhängender Variablen. So lassen sich Marktsituationen verdichten und verborgene Beziehungen in Geschmack, Präferenzen und kulturellem Einfluss der Konsumentinnen und Konsumenten aufdecken. Außerdem hilft sie, Fragebögen für künftige Erhebungen zu verbessern. Faktoren erleichtern eine natürliche Interpretation der Daten.

Die Ergebnisse der Faktorenanalyse sind teils umstritten. Interpretationen können variieren, weil sich ein und dieselben Faktoren unterschiedlich deuten lassen. Nach der Identifikation und Benennung der Faktoren ist Domänenwissen gefragt.

Fazit

Glückwunsch, du hast das Ende dieses Tutorials erreicht!

Du hast gelernt, was Faktorenanalyse ist, welche Arten es gibt, wie sie funktioniert, zentrale Begriffe, wie du die Anzahl der Faktoren bestimmst, den Vergleich zwischen Principal Component Analysis und Faktorenanalyse, die Umsetzung in Python mit dem Paket FactorAnalyzer sowie die Vor- und Nachteile der Methode.

Ich freue mich auf Feedback und Fragen. Stell sie gerne in den Kommentaren, und ich gebe mein Bestes, sie zu beantworten.

Wenn du mehr über Faktoren in Python lernen möchtest, schau dir den DataCamp-Kurs Unsupervised Learning in Python an.