[Infografik] Daftar Periksa Proyek Data Science

Bagaimana melakukannya?

Identifikasi masalah bisnis yang diselesaikan

Ini harus memperjelas mengapa proyek dilakukan sejelas mungkin. 

Identifikasi para pemangku kepentingan

Peran dapat mencakup manajer proyek, data scientist, account manager, administrator data.

Tinjau pekerjaan sebelumnya

Tinjau proyek yang ada yang membahas hal serupa.

• Apa hasil utama proyek tersebut?
• Dapatkah pekerjaan atau aset apa pun digunakan kembali dalam proyek ini?
• Kesalahan apa yang dibuat dan harus dihindari?

Tentukan indikator kinerja utama (KPI atau metrik) untuk mengukur keberhasilan

Metrik harus menggunakan kriteria SMART.

• Spesifik: Terdefinisi dengan baik, sehingga semua orang di tim dapat memahaminya.
• Terukur: Dapat ditentukan apakah KPI telah tercapai atau belum.
• Dapat dicapai: Tim memiliki keterampilan dan sumber daya untuk mencapai KPI.
• Relevan: KPI terkait dengan tujuan organisasi yang lebih luas.
• Berwaktu: Ada tenggat waktu untuk mencapai tujuan.

Contoh tidak SMART: "Meningkatkan konversi situs web"

Contoh SMART: "Optimalkan desain dan pengalaman pengguna situs untuk meningkatkan tingkat konversi situs web sebesar 10% pada akhir Kuartal 2"

Tentukan ruang lingkup

• Apa saja hasil (deliverable) proyek?
• Apa persyaratan untuk setiap deliverable?
• Apa yang tidak akan disertakan dalam proyek?

Tulis rencana proyek

• Tetapkan tonggak untuk langkah-langkah antara dalam proyek.
• Tentukan linimasa untuk mencapai setiap tonggak.
• Tulis deskripsi singkat untuk setiap langkah.

Perkirakan dampak proyek

• Kuantifikasi manfaat bagi organisasi jika tujuan tercapai.
• Jika ada ketidakpastian dalam perhitungan, berikan rentang atau interval kepercayaan untuk manfaatnya.
• Daftarkan manfaat kualitatif apa pun yang tidak dapat dikuantifikasi.

Perkirakan upaya proyek

• Berapa biaya proyek?
• Berapa lama waktu yang dibutuhkan?
• Sumber daya apa yang dibutuhkan?

Perkirakan risiko proyek

• Daftarkan semua risiko terhadap proyek.
• Untuk setiap risiko, hitung dampaknya sebagai probabilitas terjadinya dikalikan dengan tingkat keparahannya.

Putuskan apakah akan melanjutkan proyek atau tidak

Berdasarkan dampak yang diharapkan relatif terhadap upaya dan risiko, putuskan apakah akan

• melanjutkan proyek sekarang.
• menunda proyek demi proyek berprioritas lebih tinggi.
• membatalkan proyek.

Tentukan tanggung jawab setiap pemangku kepentingan

Gunakan model RACI. Untuk setiap tugas, tentukan siapa yang

• Responsible: orang yang mengerjakan tugas.
• Accountable: orang yang bertanggung jawab atas keputusan kunci.
• Consulted: siapa pun yang dimintai pendapat untuk keputusan kunci.
• Informed: siapa pun yang harus diberi tahu tentang keputusan kunci.

Tentukan strategi komunikasi

• Bagaimana Anda akan tetap terhubung?
• Seberapa sering pertemuan akan diadakan?

Identifikasi sumber data

• Apakah Anda sudah memiliki akses ke data ini?
• Di mana data disimpan?
• Dalam bentuk apa datanya?
• Seberapa besar dataset-nya?
• Apakah Anda memiliki kamus data yang menjelaskan arti datanya?
• Dapatkah data sintetis dibuat untuk digunakan dalam bukti konsep?

Antisipasi kebutuhan regulasi

• Apakah ada deliverable (seperti model keuangan) yang akan diaudit?
• Dapatkah semua sumber data atau fitur digunakan secara legal?

Pilih tumpukan teknologi

• Sepakati alat untuk menyimpan, memproses, dan memodelkan data.

Tulis piagam proyek

• Rangkum keputusan untuk proyek dalam dokumen singkat, termasuk tujuan, pemangku kepentingan, KPI, rencana, sumber data, tumpukan teknologi, dan strategi komunikasi.

Bagaimana melakukannya?

Beri data scientist akses ke semua dataset

• Atur izin yang sesuai untuk setiap dataset.
• Beli dataset komersial apa pun atau gunakan data sintetis dengan karakteristik serupa.

Masukkan data

• Untuk setiap sumber data, pindahkan ke lingkungan analitik.

Eksplorasi data

• Visualisasikan distribusi setiap variabel dengan histogram atau diagram batang.
• Kuantifikasi nilai hilang untuk setiap variabel.
• Visualisasikan hubungan antara fitur dan variabel target dengan scatter plot, histogram, box plot, atau heatmap.

Tulis laporan kualitas data

Untuk setiap dataset

• Berikan ringkasan dataset.
• Jelaskan masalah kualitas data tingkat tinggi.
• Jelaskan kualitas variabel target.
• Jelaskan kualitas setiap fitur.
• Jelaskan hubungan antara setiap fitur dan variabel target.

Putuskan apakah akan melanjutkan proyek atau tidak

Berdasarkan laporan kualitas data, putuskan apakah akan

• melanjutkan proyek.
• menjeda proyek sambil mengumpulkan lebih banyak data.
• membatalkan proyek.

Bangun pipeline data

Biasanya data perlu diperbarui secara berkala seiring kemajuan proyek. Pipeline data 

• harus mengotomatiskan proses pemasukan dan pembersihan.
• harus berjalan terjadwal (pembaruan batch) atau berjalan terus-menerus (pembaruan streaming).

Dokumentasikan pipeline data

• Buat diagram langkah-langkah dalam pipeline data beserta dependensinya.
• Jelaskan apa yang terjadi pada setiap langkah.

Bagaimana melakukannya?

Bangun hipotesis

• Apakah hipotesis masuk akal dalam domain bisnis?
• Bisakah Anda mengukur hasilnya?
• Apakah Anda memiliki data yang cukup untuk melihat efek yang signifikan secara statistik?
• Apakah ada bias statistik yang perlu diperhitungkan?

Bagi data Anda menjadi set pelatihan dan pengujian

Pastikan melakukan ini sebelum mulai melakukan rekayasa fitur agar terhindar dari kebocoran data.

Rekayasa fitur

Buat fitur untuk model Anda melalui teknik berikut:

• Pusatkan atau skala variabel numerik.
• Buat variabel kategorikal dari variabel numerik dengan pembandingan (binning).
• Terapkan transformasi Box-Cox atau Yeo-Johnston pada variabel numerik agar mengikuti distribusi normal.
• Gabungkan kategori langka atau terkait dari variabel kategorikal.
• Ekstrak atau gabungkan bagian-bagian dari datetime.
• Buat variabel baru dari statistik ringkasan.
• Ekstrak metrik kuantitatif dari teks dan data tak terstruktur lainnya.

Latih model, atau jalankan eksperimen

• Mulailah dengan memodelkan yang paling sederhana dan tingkatkan kompleksitas secara bertahap.
• Untuk dataset besar, pertimbangkan pemodelan dengan sampel.

Evaluasi hasil

Gunakan metrik seperti akurasi, presisi, dan recall untuk mengkuantifikasi kinerja model Anda. Jika kinerjanya belum cukup baik:

• Dapatkah Anda mengumpulkan data tambahan?
• Dapatkah Anda merekayasa lebih banyak fitur?
• Dapatkah Anda menggunakan algoritma lain?

Laporan hasil

• Secara berkala berikan umpan balik kepada pemangku kepentingan.
• Sesuaikan bahasa Anda untuk pemangku kepentingan bisnis vs. pemangku kepentingan teknis.
• Laporkan kegagalan maupun keberhasilan.

Bagaimana melakukannya?

Buat rangkaian pengujian

Tentukan pengujian yang berjalan otomatis untuk memeriksa kinerja model atau eksperimen Anda dan menemukan bug yang mungkin muncul saat iterasi. Ini dapat mencakup:

• Uji unit kode.
• Backtest untuk portofolio atau deret waktu lainnya.

Validasi dampak bisnis

Sekarang Anda memiliki metrik kinerja model, Anda dapat mengkuantifikasi dampak yang diharapkan pada bisnis dengan lebih baik. Diskusikan dampaknya dengan pemangku kepentingan bisnis.

Validasi pendekatan teknis

Periksa bahwa model akhir sesuai secara teknis.

• Apakah asumsi model Anda valid?
• Apakah hasilnya sensitif terhadap data yang Anda sampel?
• Apakah hiperparameter yang digunakan sesuai?
• Dapatkah orang lain mereproduksi model Anda?

Validasi kemampuan implementasi

• Dapatkah semua kemungkinan nilai masukan atau kasus penggunaan ditangani?
• Apakah semua sumber data yang dibutuhkan tersedia di produksi?
• Dapatkah model gagal dengan aman jika beberapa sumber data tidak tersedia?
• Dapatkah prediksi dibuat dengan cukup cepat?

Simpan hasil nol

Semua yang tidak akan masuk ke produksi harus didokumentasikan dalam repositori pengetahuan agar proyek di masa depan tidak menghabiskan waktu mencoba hal yang sama.

Bagaimana melakukannya?

Kembangkan pipeline data

• Siapkan Directed Acyclic Graph (DAG) untuk semua sumber data ke lingkungan produksi.
• Jadwalkan pembaruan data agar berjalan otomatis.

Kembangkan pipeline model

• Bagi alur model menjadi tugas-tugas, dan gabungkan menjadi pipeline.

Operasionalkan model

Sediakan API untuk model Anda yang dapat diakses oleh dasbor atau situs web atau perangkat lunak lainnya.

Rancang rencana pemantauan

• Tentukan metrik yang akan dilacak, termasuk metrik kinerja dan metrik keselamatan yang akan menunjukkan jika Anda memperkenalkan bug.
• Tentukan batas untuk rentang yang dapat diterima bagi metrik tersebut.
• Putuskan bagaimana Anda ingin diberi peringatan jika metrik berada di luar rentang.

Rilis melalui uji A/B

• Sediakan fitur atau model baru kepada sampel acak pengguna.
• Pantau metrik yang dipilih dengan saksama, tetapi tahan godaan untuk menyatakan grup pemenang hingga Anda mencapai signifikansi statistik.

Analisis dan laporkan hasil uji A/B

• Bandingkan metrik yang Anda pilih untuk dilacak pada setiap grup.
• Laporkan hasilnya, meskipun pengujiannya tidak berhasil.

Rilis ke sebagian besar atau seluruh pengguna

Jika pengujian berhasil, rilis fitur atau model ke sebagian besar atau seluruh pengguna.

• Menyertakan grup cadangan kecil yang tidak menerima fitur atau model memungkinkan Anda mendapatkan data jangka panjang tentang seberapa besar peningkatan kinerja dari fitur atau model baru.

Bagaimana melakukannya?

Tulis laporan penutup

Rangkum status proyek dan apa yang Anda pelajari.

• Berikan gambaran umum proyek.
• Rangkum masalah bisnis yang Anda coba selesaikan.
• Jelaskan sumber data dan bagaimana pemrosesannya.
• Jelaskan teknik pemodelan yang digunakan dan bagaimana model divalidasi.
• Ringkas arsitektur solusi.
• Uraikan manfaat proyek bagi perusahaan dan pelanggan.
• Jelaskan pembelajaran terkait eksekusi proyek, data science, domain bisnis, dan produk.
• Uraikan langkah selanjutnya.

Dapatkan umpan balik pelanggan

• Lakukan survei dan wawancara pengguna.
• Pantau ulasan, penilaian, dan media sosial.

Bagaimana melakukannya?

Kembangkan pipeline pemantauan

Siapkan pipeline untuk melacak secara otomatis metrik kinerja dan keselamatan yang didefinisikan dalam rencana pemantauan.

Buat dasbor

Buat dasbor untuk melacak perubahan metrik tersebut dari waktu ke waktu.

Siapkan peringatan

Siapkan peringatan untuk memberi tahu Anda melalui email, Slack, dll., saat metrik berada di luar rentang yang dapat diterima.