Pengantar Analisis Faktor di Python

Analisis Faktor (FA) adalah metode analisis data eksploratori yang digunakan untuk mencari faktor bawah permukaan atau variabel laten yang berpengaruh dari sekumpulan variabel teramati. Metode ini membantu interpretasi data dengan mengurangi jumlah variabel. FA mengekstrak varians umum maksimum dari semua variabel dan memasukkannya ke dalam skor umum.

Analisis faktor banyak digunakan dalam riset pasar, periklanan, psikologi, keuangan, dan riset operasi. Peneliti pasar menggunakan analisis faktor untuk mengidentifikasi pelanggan yang sensitif terhadap harga, mengidentifikasi fitur merek yang memengaruhi pilihan konsumen, serta membantu memahami kriteria pemilihan kanal untuk saluran distribusi.

Analisis Faktor

Analisis faktor adalah model statistik linear. Metode ini digunakan untuk menjelaskan varians di antara variabel teramati dan memadatkan sekumpulan variabel teramati menjadi variabel tak teramati yang disebut faktor. Variabel teramati dimodelkan sebagai kombinasi linear dari faktor dan suku galat (Sumber). Faktor atau variabel laten terkait dengan beberapa variabel teramati yang memiliki pola respons yang sama. Setiap faktor menjelaskan sejumlah varians tertentu pada variabel teramati. Metode ini membantu interpretasi data dengan mengurangi jumlah variabel.

Analisis faktor adalah metode untuk menyelidiki apakah sejumlah variabel yang diminati X1, X2,……., Xl, berkaitan secara linear dengan sejumlah faktor tak teramati yang lebih kecil F1, F2,..……, Fk.

Sumber: Gambar ini dibuat ulang dari gambar yang saya temukan di catatan analisis faktor. Gambar tersebut memberikan gambaran lengkap tentang analisis faktor.

Asumsi:

1. Tidak ada pencilan (outlier) dalam data.
2. Ukuran sampel harus lebih besar daripada jumlah faktor.
3. Tidak boleh ada multikolinieritas sempurna.
4. Tidak boleh ada homoskedastisitas antar variabel.

Jenis Analisis Faktor

• Exploratory Factor Analysis: Ini adalah pendekatan analisis faktor yang paling populer di kalangan peneliti sosial dan manajemen. Asumsi dasarnya adalah setiap variabel teramati dapat berasosiasi langsung dengan faktor mana pun.
• Confirmatory Factor Analysis (CFA): Asumsi dasarnya adalah setiap faktor terkait dengan sekumpulan variabel teramati tertentu. CFA mengonfirmasi apa yang diharapkan berdasarkan asumsi tersebut.

Bagaimana Cara Kerja Analisis Faktor?

Tujuan utama analisis faktor adalah mengurangi jumlah variabel teramati dan menemukan variabel tak teramati. Variabel tak teramati ini membantu peneliti pasar menyimpulkan hasil survei. Konversi dari variabel teramati ke variabel tak teramati dapat dilakukan dalam dua langkah:

• Ekstraksi Faktor: Pada langkah ini, jumlah faktor dan pendekatan ekstraksi dipilih menggunakan metode pemartisian varians seperti principal components analysis dan common factor analysis.
• Rotasi Faktor: Pada langkah ini, rotasi berupaya mengubah faktor menjadi faktor yang tidak berkorelasi — tujuan utamanya untuk meningkatkan keterjelasan interpretasi. Tersedia banyak metode rotasi seperti: metode rotasi Varimax, Quartimax, dan Promax.

Terminologi

Apa itu faktor?

Faktor adalah variabel laten yang menggambarkan keterkaitan di antara sejumlah variabel teramati. Jumlah faktor maksimum sama dengan jumlah variabel teramati. Setiap faktor menjelaskan varians tertentu pada variabel teramati. Faktor dengan jumlah varians terendah dihapus. Faktor juga dikenal sebagai variabel laten, variabel tersembunyi, variabel tak teramati, atau variabel hipotetik.

Apa itu factor loading?

Factor loading adalah matriks yang menunjukkan hubungan setiap variabel dengan faktor dasarnya. Matriks ini menunjukkan koefisien korelasi antara variabel teramati dan faktor. Matriks ini menunjukkan varians yang dijelaskan oleh variabel teramati.

Apa itu Eigenvalues?

Eigenvalues merepresentasikan varians yang dijelaskan masing-masing faktor dari total varians. Nilai ini juga dikenal sebagai akar karakteristik.

Apa itu Communalities?

Commonalities adalah jumlah kuadrat loading untuk setiap variabel. Nilai ini merepresentasikan varians umum. Rentangnya 0-1 dan nilai yang mendekati 1 merepresentasikan varians yang lebih besar.

Apa itu Rotasi Faktor?

Rotasi adalah alat untuk interpretasi analisis faktor yang lebih baik. Rotasi dapat bersifat ortogonal atau oblik. Rotasi mendistribusikan ulang commonalities dengan pola loading yang lebih jelas.

Menentukan Jumlah Faktor

Kriteria Kaiser adalah pendekatan analitis yang didasarkan pada proporsi varians yang lebih besar yang dijelaskan oleh faktor akan dipilih. Eigenvalue adalah kriteria yang baik untuk menentukan jumlah faktor. Umumnya, eigenvalue lebih besar dari 1 akan dianggap sebagai kriteria pemilihan fitur.

Pendekatan grafis didasarkan pada representasi visual eigenvalue faktor yang juga disebut scree plot. Scree plot ini membantu kita menentukan jumlah faktor pada titik di mana kurva membentuk siku (elbow).

Sumber

Analisis Faktor vs. Principal Component Analysis

• Komponen PCA menjelaskan jumlah varians maksimum sedangkan analisis faktor menjelaskan kovarians dalam data.
• Komponen PCA sepenuhnya ortogonal satu sama lain sedangkan analisis faktor tidak mensyaratkan faktor bersifat ortogonal.
• Komponen PCA adalah kombinasi linear dari variabel teramati, sedangkan pada FA, variabel teramati adalah kombinasi linear dari variabel tak teramati atau faktor.
• Komponen PCA tidak dapat ditafsirkan. Dalam FA, faktor dasar dapat diberi label dan ditafsirkan.
• PCA adalah jenis metode reduksi dimensi sedangkan analisis faktor adalah metode variabel laten.
• PCA adalah salah satu jenis analisis faktor. PCA bersifat observasional sedangkan FA adalah teknik pemodelan.

Sumber

Analisis Faktor di Python menggunakan paket factor_analyzer

Impor Pustaka yang Diperlukan

# Import required libraries
import pandas as pd
from sklearn.datasets import load_iris
from factor_analyzer import FactorAnalyzer
import matplotlib.pyplot as plt

Memuat Data

Mari lakukan analisis faktor pada BFI (dataset berdasarkan proyek asesmen kepribadian), yang dikumpulkan menggunakan skala respons 6 poin: 1 Sangat Tidak Akurat, 2 Cukup Tidak Akurat, 3 Agak Tidak Akurat, 4 Agak Akurat, 5 Cukup Akurat, dan 6 Sangat Akurat. Anda juga dapat mengunduh dataset ini dari tautan berikut: https://vincentarelbundock.github.io/Rdatasets/datasets.html

df= pd.read_csv("bfi.csv")

Praproses Data

df.columns

Index(['A1', 'A2', 'A3', 'A4', 'A5', 'C1', 'C2', 'C3', 'C4', 'C5', 'E1', 'E2',
       'E3', 'E4', 'E5', 'N1', 'N2', 'N3', 'N4', 'N5', 'O1', 'O2', 'O3', 'O4',
       'O5', 'gender', 'education', 'age'],
      dtype='object')

# Dropping unnecessary columns
df.drop(['gender', 'education', 'age'],axis=1,inplace=True)

# Dropping missing values rows
df.dropna(inplace=True)

df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2436 entries, 0 to 2799
Data columns (total 25 columns):
A1    2436 non-null float64
A2    2436 non-null float64
A3    2436 non-null float64
A4    2436 non-null float64
A5    2436 non-null float64
C1    2436 non-null float64
C2    2436 non-null float64
C3    2436 non-null float64
C4    2436 non-null float64
C5    2436 non-null float64
E1    2436 non-null float64
E2    2436 non-null float64
E3    2436 non-null float64
E4    2436 non-null float64
E5    2436 non-null float64
N1    2436 non-null float64
N2    2436 non-null float64
N3    2436 non-null float64
N4    2436 non-null float64
N5    2436 non-null float64
O1    2436 non-null float64
O2    2436 non-null int64
O3    2436 non-null float64
O4    2436 non-null float64
O5    2436 non-null float64
dtypes: float64(24), int64(1)
memory usage: 494.8 KB

df.head()

Uji Kelayakan

Sebelum Anda melakukan analisis faktor, Anda perlu mengevaluasi "factorability" dari dataset kita. Factorability berarti "dapatkah kita menemukan faktor dalam dataset?". Ada dua metode untuk memeriksa factorability atau kecukupan sampel:

• Uji Bartlett
• Uji Kaiser-Meyer-Olkin

Uji sferisitas Bartlett memeriksa apakah variabel teramati saling berkorelasi dengan menggunakan matriks korelasi teramati terhadap matriks identitas. Jika uji ini tidak signifikan secara statistik, Anda sebaiknya tidak melakukan analisis faktor.

from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value,p_value=calculate_bartlett_sphericity(df)
chi_square_value, p_value

(18146.065577234807, 0.0)

Pada uji Bartlett ini, nilai p adalah 0. Uji ini signifikan secara statistik, yang menunjukkan bahwa matriks korelasi teramati bukan matriks identitas.

Uji Kaiser-Meyer-Olkin (KMO) mengukur kesesuaian data untuk analisis faktor. Uji ini menentukan kecukupan untuk setiap variabel teramati dan untuk model secara keseluruhan. KMO mengestimasi proporsi varians di antara semua variabel teramati. Proporsi yang lebih rendah lebih sesuai untuk analisis faktor. Nilai KMO berkisar antara 0 dan 1. Nilai KMO kurang dari 0,6 dianggap tidak memadai.

from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all,kmo_model=calculate_kmo(df)

kmo_model

0.8486452309468382

Nilai KMO keseluruhan untuk data kita adalah 0,84, yang sangat baik. Nilai ini menunjukkan bahwa Anda dapat melanjutkan analisis faktor yang direncanakan.

Menentukan Jumlah Faktor

Untuk menentukan jumlah faktor, Anda dapat menggunakan kriteria Kaiser dan scree plot. Keduanya didasarkan pada eigenvalue.

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 25, rotation=None)
# Check Eigenvalues
ev, v = fa.get_eigenvalues()
ev

Di sini, Anda dapat melihat hanya untuk 6 faktor eigenvalue lebih besar dari satu. Ini berarti kita perlu memilih hanya 6 faktor (atau variabel tak teramati).

# Create scree plot using matplotlib
plt.scatter(range(1,df.shape[1]+1),ev)
plt.plot(range(1,df.shape[1]+1),ev)
plt.title('Scree Plot')
plt.xlabel('Factors')
plt.ylabel('Eigenvalue')
plt.grid()
plt.show()

Metode scree plot menggambar garis untuk setiap faktor dan eigenvalue-nya. Jumlah eigenvalue yang lebih besar dari satu dianggap sebagai jumlah faktor.

Di sini, Anda dapat melihat hanya untuk 6 faktor eigenvalue lebih besar dari satu. Ini berarti kita perlu memilih hanya 6 faktor (atau variabel tak teramati).

Melakukan Analisis Faktor

# Create factor analysis object and perform factor analysis
fa = FactorAnalyzer()
fa.analyze(df, 6, rotation="varimax")

fa.loadings

• Faktor 1 memiliki factor loading tinggi untuk E1,E2,E3,E4, dan E5 (Ekstraversi)
• Faktor 2 memiliki factor loading tinggi untuk N1,N2,N3,N4, dan N5 (Neurotisisme)
• Faktor 3 memiliki factor loading tinggi untuk C1,C2,C3,C4, dan C5 (Ketaatan/Conscientiousness)
• Faktor 4 memiliki factor loading tinggi untuk O1,O2,O3,O4, dan O5 (Keterbukaan/Openness)
• Faktor 5 memiliki factor loading tinggi untuk A1,A2,A3,A4, dan A5 (Keramahan/Agreeableness)
• Faktor 6 tidak memiliki loading tinggi pada variabel mana pun dan tidak mudah ditafsirkan. Lebih baik jika kita mengambil hanya lima faktor.

Mari lakukan analisis faktor untuk 5 faktor.

# Create factor analysis object and perform factor analysis using 5 factors
fa = FactorAnalyzer()
fa.analyze(df, 5, rotation="varimax")
fa.loadings

# Get variance of each factors
fa.get_factor_variance()

Total 42% Varians kumulatif dijelaskan oleh 5 faktor.

Kelebihan dan Kekurangan Analisis Faktor

Analisis faktor mengeksplorasi dataset besar dan menemukan keterkaitan yang saling terhubung. Metode ini mengurangi variabel teramati menjadi beberapa variabel tak teramati atau mengidentifikasi kelompok variabel yang saling berkaitan, yang membantu peneliti pasar meringkas situasi pasar dan menemukan hubungan tersembunyi di antara selera, preferensi, dan pengaruh budaya konsumen. Selain itu, metode ini membantu memperbaiki kuesioner untuk survei di masa depan. Faktor memudahkan interpretasi data yang lebih alami.

Hasil analisis faktor dapat memicu perdebatan. Interpretasinya bisa diperdebatkan karena lebih dari satu interpretasi dapat dibuat dari faktor data yang sama. Setelah identifikasi faktor, penamaan faktor memerlukan pengetahuan domain.

Kesimpulan

Selamat, Anda telah sampai di akhir tutorial ini!

Dalam tutorial ini, Anda telah mempelajari apa itu analisis faktor. Jenis-jenis analisis faktor, bagaimana analisis faktor bekerja, terminologi dasar analisis faktor, penentuan jumlah faktor, perbandingan antara principal component analysis dan analisis faktor, implementasi di Python menggunakan paket FactorAnalyzer untuk Python, serta kelebihan dan kekurangannya.

Saya menantikan masukan atau pertanyaan apa pun. Anda dapat mengajukan pertanyaan dengan meninggalkan komentar dan saya akan berusaha sebaik mungkin untuk menjawabnya.

Jika Anda ingin mempelajari lebih lanjut tentang faktor di Python, ikuti kursus DataCamp Unsupervised Learning in Python.