Pengujian Hipotesis dalam Machine Learning

Proses pengujian hipotesis adalah menarik inferensi atau suatu kesimpulan tentang keseluruhan populasi atau data dengan melakukan beberapa uji statistik pada sebuah sampel. Inferensi yang sama ditarik untuk berbagai model machine learning melalui uji T (T-test) yang akan saya bahas dalam tutorial ini.

Untuk menarik suatu inferensi, kita harus membuat beberapa asumsi yang mengarah pada dua istilah yang digunakan dalam pengujian hipotesis.

• Hipotesis nol: Ini berkaitan dengan asumsi bahwa tidak ada pola anomali atau meyakini sesuai dengan asumsi yang dibuat.

• Hipotesis alternatif: Berlawanan dengan hipotesis nol, ini menunjukkan bahwa pengamatan merupakan hasil dari efek yang nyata.

Nilai P

Ini juga dapat disebut sebagai bukti atau tingkat signifikansi untuk hipotesis nol atau dalam algoritme machine learning. Ini adalah tingkat signifikansi prediktor terhadap target.

Umumnya, kita memilih tingkat signifikansi sebesar 5%, tetapi ini juga dapat menjadi bahan diskusi untuk beberapa kasus. Jika Anda memiliki pengetahuan awal yang kuat tentang fungsionalitas data Anda, Anda dapat menentukan tingkat signifikansi.

Sebaliknya, jika nilai p kurang dari 0,05 dalam sebuah model machine learning terhadap suatu variabel independen, maka variabel tersebut dianggap relevan, yang berarti terdapat perilaku heterogen dengan target yang bermanfaat dan dapat dipelajari oleh algoritme machine learning.

Langkah-langkah dalam pengujian hipotesis adalah sebagai berikut:

• Asumsikan hipotesis nol; biasanya dalam algoritme machine learning kita menganggap tidak ada anomali antara target dan variabel independen.

• Kumpulkan sampel

• Hitung statistik uji

• Putuskan untuk menerima atau menolak hipotesis nol

Menghitung statistik uji atau T

Untuk menghitung statistik T, kita membuat sebuah skenario.

Misalkan ada perusahaan pembuat kontainer pengiriman yang mengklaim bahwa setiap kontainer berbobot 1000 kg, tidak kurang, tidak lebih. Klaim seperti itu tampak meragukan, jadi kita lanjutkan dengan mengumpulkan data dan membuat sampel.

Setelah mengumpulkan sampel 30 kontainer, kita menemukan bahwa berat rata-rata kontainer adalah 990 kg dengan simpangan baku 12,5 kg.

Jadi menghitung statistik uji:

T = (Rata-rata - Klaim)/ (Simpangan baku / Ukuran Sampel^(1/2))

Hasilnya -4,3818 setelah memasukkan semua angka.

Sekarang kita menghitung nilai t untuk signifikansi 0,05 dan derajat kebebasan.

Catatan: Degree of Freedom = Sample Size - 1

Dari tabel T nilainya adalah -1,699.

Setelah perbandingan, kita dapat melihat bahwa statistik yang dihasilkan lebih kecil daripada statistik pada tingkat signifikansi yang diinginkan. Jadi kita dapat menolak klaim yang dibuat.

Anda dapat menghitung nilai t menggunakan fungsi stats.t.ppf() dari kelas stats pada pustaka scipy.

Kesalahan

Karena pengujian hipotesis dilakukan pada sampel data, bukan seluruh populasi, akibat keterbatasan ketersediaan sumber daya dalam hal data. Karena inferensi ditarik dari data sampel, pengujian hipotesis dapat menimbulkan kesalahan, yang dapat diklasifikasikan menjadi dua bagian:

• Kesalahan Tipe I: Dalam kesalahan ini, kita menolak hipotesis nol padahal hipotesis tersebut benar.

• Kesalahan Tipe II: Dalam kesalahan ini, kita menerima hipotesis nol padahal hipotesis tersebut salah.

Pendekatan Lain

Banyak pendekatan berbeda tersedia untuk pengujian hipotesis terhadap dua model, misalnya membuat dua model pada fitur yang tersedia. Satu model mencakup semua fitur dan yang lain dengan satu fitur lebih sedikit. Dengan demikian kita dapat menguji signifikansi fitur individual. Namun, saling ketergantungan antarfitur memengaruhi metode sederhana seperti ini.

Dalam masalah regresi, kita umumnya mengikuti aturan nilai P; fitur yang melanggar tingkat signifikansi dihapus, sehingga secara iteratif meningkatkan model.

Pendekatan yang berbeda tersedia untuk setiap algoritme guna menguji hipotesis pada fitur yang berbeda.

Jika Anda ingin mempelajari lebih lanjut tentang dasar-dasar inferensi Bayesian, ikuti kursus Fundamentals of Bayesian Data Analysis in R dari DataCamp.

Lihat tutorial Dasar-dasar Machine Learning kami.