Human-in-the-Loop: Pendekatan untuk Pengawasan AI

Human-in-the-Loop (HITL) adalah salah satu istilah yang begitu sering digunakan hingga kehilangan maknanya. Setelah lebih dari satu dekade bekerja dengan sistem AI, saya melihatnya direduksi menjadi kotak centang yang menyatakan "seorang manusia telah meninjau ini" sebelum keputusan otomatis dibuat. 

Jadi, apa artinya memiliki manusia di dalam loop? Intinya, HITL berarti manusia berpartisipasi aktif dalam pengembangan, pelatihan, evaluasi, dan pengoperasian model AI. Ini menjadi semakin relevan seiring sistem AI semakin bersifat agen. 

Pengawasan manusia menghadirkan lapisan penting berupa pemahaman kontekstual, penilaian etis, dan adaptabilitas untuk mengoperasionalkan AI secara efektif. 

Dalam artikel ini, kita akan melampaui definisi abstrak HITL dan memfokuskan padanya sebagai disiplin desain sistem. 

Apa Itu Human-in-the-Loop (HITL)?

HITL adalah integrasi terencana masukan manusia di seluruh siklus hidup sistem pembelajaran mesin, termasuk sebelum, selama, dan setelah eksekusi model. Ini adalah pola desain yang menanamkan penilaian manusia untuk memandu, memvalidasi, dan meningkatkan perilaku sistem. 

Tentu saja, partisipasi manusia terlihat berbeda tergantung pada posisi Anda dalam siklus hidup ML.

Pelabelan dan kurasi data

Pada tahap data, manusia memberi anotasi pada masukan mentah untuk membuat dataset berlabel yang menjadi bahan pembelajaran model. Di sinilah sebagian besar tim kurang berinvestasi. Pelabelan yang keliru pada tahap ini berdampak pada semua hal di hilir, dan yang paling buruk adalah kesalahannya tidak tampak jelas hingga muncul titik buta sistematis beberapa bulan kemudian.

Pelatihan model

Umpan balik manusia adalah kebenaran emas dan merupakan prinsip inti di balik proses pembelajaran dalam sistem adaptif.

Evaluasi dan validasi

Manusia menilai keluaran untuk menakar ketepatan, nuansa, dan relevansinya dengan dunia nyata — bagian ini jelas. Namun yang sering tidak diperhitungkan adalah bahwa evaluasi memiliki banyak dimensi dan tidak terbatas pada “akurasi” standar atau skor tolok ukur. Versi yang lebih berguna adalah menampilkan keluaran model kepada orang-orang yang akan benar-benar menggunakan sistem dan mencatat kekhawatiran mereka.

Penerapan dan pemantauan

Pada tahap penerapan, sebagian besar tim memiliki manusia untuk menangani pengecualian dan mengantisipasi risiko yang berkembang. Misalnya, sistem deteksi penipuan menandai transaksi mencurigakan, tetapi analis manusia yang membuat keputusan akhir apakah akan memblokir akun.

Sebelum kita membahas HITL lebih jauh, ada baiknya membedakannya dari dua istilah terkait yang sering disamakan dengannya:

• Human-on-the-Loop (HOTL) berarti manusia mengawasi tetapi hanya turun tangan saat ada sesuatu yang ditandai. Pikirkan HOTL sebagai sistem moderasi konten yang secara otomatis menghapus konten yang ditandai namun menampilkan kasus batas untuk ditinjau manusia.
• Human-out-of-the-Loop (HOOTL) adalah otonomi penuh. Algoritme perdagangan frekuensi tinggi yang mengeksekusi ribuan transaksi per detik adalah salah satu contoh di mana manusia berada di luar loop.

Sebagian besar penerapan di dunia nyata merupakan campuran dari ketiganya. Sistem pencitraan medis mungkin secara otomatis meloloskan pemindaian rutin (Human-out-of-the-Loop) sambil mengarahkan apa pun yang memiliki anomali ke ahli radiologi (Human-in-the-Loop). Mendapatkan kalibrasi ini dengan benar — yakni mengetahui di mana menempatkan manusia dalam proses — adalah salah satu keputusan desain paling kritis dalam merancang sistem AI apa pun.

Fitur kunci sistem HITL adalah bahwa partisipasi manusia dianggap integral bagi fungsinya. Manusia menjadi peserta aktif dalam proses pengambilan keputusan atau pembelajaran sistem semacam ini, memastikan loop tidak tertutup tanpa masukan mereka. Sistem dirancang dengan ekspektasi bahwa masukan manusia akan terus membentuk perilakunya.

Bagaimana HITL Bekerja?

Terdapat dua sisi cara kerja HITL dalam praktik: cara manusia berinteraksi dengan sistem, dan implementasi teknis yang mendukung interaksi tersebut.

Metode interaksi manusia

Salah satu pertanyaan yang sering diajukan tentang menyematkan manusia dalam loop adalah bagaimana, kapan, dan di mana manusia harus diintegrasikan. Sistem HITL yang efektif memastikan bahwa intervensi bukan bersifat ad hoc, melainkan titik sentuh yang direkayasa dengan cermat.

Pelabelan data

Ini adalah bentuk HITL yang paling umum dan mendasar, di mana manusia memberi anotasi pada data mentah, termasuk gambar, teks, dan audio, untuk membuat dataset berlabel.

Saat ahli radiologi memberi anotasi pada rontgen, atau pekerja lepas memberi label pada gambar untuk deteksi objek, mereka mendefinisikan apa arti "benar" bagi model. Kualitas label ini berperan besar dalam cara model belajar memahami lingkungan, dan juga menentukan kinerja model. Hanya memberikan rubrik kepada anotator dapat menghasilkan dataset yang bias terhadap orang yang Anda pekerjakan, instruksi yang Anda tulis, dan kasus tepi yang Anda antisipasi.

Pendekatan yang lebih baik adalah iteratif: Anda melabeli satu set batch, melatih model, dan menilai di mana model gagal untuk merevisi pedoman, lalu melabeli lagi. Dapat dipahami bahwa iterasi dapat membuat keseluruhan proses lebih lambat, tetapi ini juga satu-satunya cara membangun sesuatu yang andal.

Evaluasi model

Manusia mengevaluasi sistem AI dan membagikan umpan balik kualitatif saat hasil model menyimpang dari yang diharapkan. Mereka sering kali adalah pakar materi, yang membawa pengetahuan domain.

Saya melihat bahwa menjalankan hasil model melalui pengguna akhir adalah cara terbaik menemukan celah. Dalam salah satu inisiatif AI terbaru, saya memvalidasi hasil asisten cerdas berdasarkan kegunaan, ketepatan, dan nada melalui tim yang pada akhirnya akan menggunakan sistem tersebut. Evaluasi semacam ini penting dalam kasus di mana kebenaran bersifat subjektif atau bergantung konteks.

Active learning

Alih-alih melabeli data secara acak, active learning membalik hubungan tersebut. Model mengidentifikasi contoh tak berlabel mana yang paling tidak pasti dan meminta manusia untuk melabeli contoh itu secara spesifik. Intuisinya adalah model belajar lebih banyak dari satu contoh yang membingungkannya daripada dari seratus contoh yang sudah kira-kira benar. Saya melihat ini secara dramatis mengurangi biaya anotasi dalam praktik. 

Reinforcement learning dengan umpan balik manusia (RLHF)

RLHF adalah teknik yang menyelaraskan model generatif seperti GPT-5.5 dan Claude Opus 4.8 dengan preferensi manusia. Jika Anda berinteraksi dengan model bahasa besar mana pun dalam beberapa tahun terakhir, Anda telah merasakan dampak hilir HITL dalam skala besar. Ini melibatkan model dasar yang menghasilkan beberapa respons untuk sebuah prompt dan memerlukan umpan balik manusia atas keluaran model, yang membentuk model penghargaan. Model dasar kemudian di-fine-tune menggunakan reinforcement learning untuk memaksimalkan skor model penghargaan.

Implementasi teknis

HITL sering dipandang sebagai “langkah manusia” yang ditambahkan ke dalam pipeline yang ada. Dalam sistem agen, di mana model mengambil urutan tindakan alih-alih menghasilkan satu keluaran, hal ini lebih rumit dari itu. Harus ada kemampuan untuk menghentikan eksekusi pada momen yang tepat dan mengumpulkan konteks yang cukup agar manusia dapat membuat keputusan yang terinformasi baik. 

Alat alur kerja seperti LangGraph mendukung fungsi interupsi yang dapat dipicu berdasarkan ambang ketidakpastian atau pelanggaran kebijakan. Bagian tersulit adalah memutuskan di mana menempatkan checkpoint, karena terlalu sedikit checkpoint membuat Anda berhadapan dengan kotak hitam, sementara terlalu banyak akan membebani peninjau manusia karena mereka harus meninjau begitu banyak keputusan.

Pentingnya HITL dalam Pembelajaran Mesin

HITL menjembatani kesenjangan saat model mencapai batas pelatihannya, dan membantu sistem beradaptasi ketika dunia nyata bergeser di bawahnya.

Menjembatani kesenjangan

Model pembelajaran mesin sangat baik dalam menemukan pola pada data yang pernah mereka lihat. Masalah muncul ketika realitas lapangan hadir dalam bentuk masukan yang tidak lengkap, konteks yang ambigu, atau situasi yang memerlukan penilaian yang tidak sepenuhnya tercakup oleh set pelatihan mana pun.

Di sinilah sistem HITL mampu menangani ketidakpastian, menambahkan nuansa, serta menarik isyarat kontekstual dan penalaran yang, ketika digabungkan dengan kekuatan pembelajaran mesin, menjadikannya kombinasi pemenang.

Adaptabilitas

Berbicara tentang lingkungan dunia nyata, dinamika adalah hal yang melekat. Preferensi pengguna bergeser, bahasa yang digunakan orang di media sosial berubah, dan taktik penipuan berubah secara khusus untuk mengakali sistem deteksi.

Model yang diterapkan pada Januari bisa diam-diam menurun pada Juli karena dunia tempatnya beroperasi bergeser dari dunia tempatnya dilatih. Manusia dalam loop dapat melihat keluaran yang melenceng dan memicu pelatihan ulang untuk menyesuaikan, memperbarui, dan menyempurnakan pemahaman model.

Manfaat Human-in-the-Loop (HITL)

Keunggulan HITL muncul dalam berbagai cara, dari kualitas keluaran hingga kepercayaan pengguna.

Akurasi dan keandalan yang lebih baik

Dampak tingkat pertama dari sistem HITL adalah lebih akurat dan andal, terlebih pada tugas yang melibatkan konteks dan keahlian domain. Pengawasan manusia menangkap kesalahan yang dapat luput dari sistem otomatis, terutama pada kasus tepi.

Mitigasi bias

Setiap dataset mencerminkan keadaan saat dibuat, yang berarti setiap model berisiko menyandi dan memperkuat bias yang ada. Ketika peninjau manusia disematkan pada tahap pelabelan, pelatihan, dan evaluasi, terbuka ruang untuk mengidentifikasi dan mengoreksi bias ini sebelum menjalar ke hilir. Ini bukan perbaikan satu kali. Bias dapat masuk kembali melalui data baru, menjadikan HITL berkelanjutan sebagai suatu keharusan.

Transparansi dan keterjelasan

Salah satu kekhawatiran lama pada sistem pembelajaran mesin adalah pengambilan keputusannya yang buram. Proses HITL, karena sifatnya, menghasilkan dokumentasi berupa label, log umpan balik, dan keputusan peninjauan. Jejak audit ini memudahkan penjelasan perilaku model dan penelusuran masalah ke sumbernya, yang sangat penting di industri teregulasi.

Peningkatan kepercayaan pengguna

Pengguna cenderung lebih percaya pada sistem yang menyertakan manusia dalam proses pengawasan, baik itu menyetujui pinjaman, menafsirkan hasil diagnostik, atau menentukan apakah suatu konten melanggar standar komunitas. Pengawasan manusia memberi sinyal kepercayaan kepada pengguna, bahkan ketika mereka tidak berinteraksi langsung dengan mekanisme pengawasan.

Peningkatan berkelanjutan

Berbeda dengan perangkat lunak berbasis aturan tetap, sistem HITL dapat belajar dan meningkat dari waktu ke waktu. Setiap siklus umpan balik menghasilkan data yang membuat iterasi berikutnya lebih andal. Peningkatan yang terakumulasi ini adalah salah satu sifat paling bermanfaat dari sistem HITL yang dirancang dengan baik.

Contoh HITL

Beberapa domain mengilustrasikan pola ini dengan sangat baik.

Klasifikasi gambar

Model AI untuk mendeteksi anomali pada rontgen dada, MRI, dan slide patologi hampir selalu melibatkan ahli radiologi atau patologi manusia untuk meninjau kasus yang ditandai AI. Kombinasi kecerdasan manusia-AI ini lebih akurat daripada keduanya bekerja sendiri-sendiri. Alasannya berhasil adalah karena biaya salah diagnosis cukup tinggi untuk membenarkan overhead, dan manusia membawa keahlian sejati yang tidak dapat ditiru model.

Pemrosesan bahasa alami

Nuansa linguistik halus dalam aplikasi seperti penerjemahan mesin, analisis sentimen, dan penyaringan spam sering memerlukan interpretasi manusia untuk mendeteksi sarkasme, idiom budaya, dan makna bergantung konteks yang membingungkan pendekatan algoritmik.

Pembuatan dan peninjauan konten

Platform yang menangani konten buatan pengguna dalam skala besar mengandalkan AI untuk melakukan triase dan menandai potensi pelanggaran kebijakan untuk ditinjau manusia. Ini adalah kasus klasik kolaborasi manusia-AI di mana AI menangani volume, sementara manusia menangani kasus tepi yang memerlukan konteks budaya bernuansa dan pemahaman ironi.

Aplikasi khusus

Keputusan kredit, deteksi penipuan, dan sistem perdagangan algoritmik beroperasi di bawah persyaratan regulasi yang mewajibkan akuntabilitas manusia. Mekanisme HITL memastikan keputusan yang berdampak dapat ditinjau, dijelaskan, dan diperdebatkan, sehingga memenuhi standar hukum dan kewajiban etis.

Prinsip Desain untuk Sistem HITL

Perbedaan antara HITL yang bekerja dan yang hanya terlihat baik bergantung pada beberapa prinsip.

Menghargai agensi manusia

Sistem HITL yang paling efektif memperlakukan masukan manusia sebagai sesuatu yang benar-benar berharga, bukan sekadar solusi sementara atau cadangan. Ini memerlukan perancangan tugas yang memanfaatkan kemampuan manusia yang khas berupa penilaian kontekstual, penalaran etis, dan evaluasi kreatif, alih-alih memanfaatkan manusia untuk melakukan pekerjaan yang dapat ditangani otomatisasi dengan memadai.

Granularitas kontrol

HITL yang efektif jarang berarti keterlibatan manusia secara total atau nihil. Sistem terbaik menerapkan checkpoint manusia yang sangat terperinci, melibatkan peninjauan manusia untuk kasus tepi dan keputusan berisiko tinggi sambil mengizinkan model beroperasi secara otonom untuk situasi rutin dengan keyakinan tinggi. Pendekatan terkalibrasi ini memaksimalkan nilai perhatian manusia.

Antarmuka yang intuitif

Kualitas keluaran HITL dibatasi oleh kualitas antarmuka tempat manusia memberikannya. Alat anotasi, dasbor peninjauan, dan antarmuka umpan balik harus meminimalkan beban kognitif, menampilkan konteks relevan, dan memudahkan peninjau manusia memberikan masukan yang presisi dan dapat ditindaklanjuti. Antarmuka yang buruk dan kikuk memperkenalkan bentuk kebisingannya sendiri ke dalam sinyal pelatihan.

Menyeimbangkan otomatisasi dan interaksi

Setiap penerapan HITL memerlukan keseimbangan antara otomatisasi dan interaksi manusia. Terlalu sedikit keterlibatan manusia dapat membuat Anda kehilangan manfaat pengawasan, sementara terlalu banyak dapat memperlambat sistem sehingga keuntungan efisiensi dari otomatisasi hilang. Menemukan keseimbangan yang tepat bergantung pada konteks dan memerlukan pengujian empiris, kalibrasi berkelanjutan, serta penilaian jujur tentang di mana penilaian manusia benar-benar menambah nilai.

Keterbatasan HITL

Meski bernilai, HITL juga memiliki trade-off nyata.

Kesalahan manusia

Keterlibatan manusia tidak menghilangkan kesalahan sepenuhnya. Sistem HITL juga memiliki keterbatasan, dan hanya sebaik para manusia yang berpartisipasi di dalamnya. Kelelahan anotator, standar yang tidak konsisten, bias kognitif, dan celah pengetahuan semuanya memengaruhi kualitas umpan balik manusia. Namun ada cara untuk menguranginya melalui pendekatan seperti skor kesepakatan antar-anotator, sesi pelatihan dan kalibrasi, serta peninjauan berlapis untuk label berisiko tinggi.

Skalabilitas

Salah satu keterbatasan inti manusia dalam loop adalah kemampuan bekerja dalam skala besar. Ya, perhatian manusia adalah hambatan fundamental. Saat dataset tumbuh menjadi miliaran contoh dan model beroperasi pada skala internet, rasio peninjau manusia terhadap keputusan menjadi sangat kecil. Meski active learning, pengambilan sampel ketidakpastian, dan perutean cerdas membantu memusatkan upaya manusia pada hal yang paling penting, penskalaan HITL tetap menjadi salah satu masalah utama yang belum terpecahkan.

Biaya

Dari perspektif dinamika biaya, anotasi dan peninjauan manusia itu mahal, terlebih di bidang yang memerlukan keahlian domain. Anotasi citra medis oleh ahli radiologi terlatih, peninjauan dokumen hukum oleh pengacara berkualifikasi, atau peninjauan kode oleh insinyur senior membawa biaya per jam yang dapat membuat aplikasi HITL tertentu menjadi tantangan secara ekonomis pada skala besar.

Kompleksitas integrasi

Menyematkan mekanisme HITL ke dalam pipeline ML yang ada sama besarnya terkait proses institusional untuk mendefinisikan jalur eskalasi dan struktur akuntabilitas seperti halnya membangun infrastruktur teknis. Sementara tim rekayasa perlu membangun sistem perutean, penandaan, dan pengumpulan umpan balik, saya telah bekerja dengan tim Mops (Manual operations) yang membutuhkan perhatian setara dalam penempatan staf dan pengelolaan antrean peninjauan.

Kapan HITL Gagal?

HITL tidak akan menyelesaikan semua kekhawatiran “sistem AI tidak bekerja sebagaimana mestinya”. Ada skenario jelas di mana ini tidak berfungsi.

Sistem frekuensi tinggi

Dalam lingkungan yang memerlukan respons dalam hitungan milidetik, seperti menstabilkan drone, intervensi manusia terlalu lambat dan tidak praktis. Memaksakan HITL ke dalam konteks ini menciptakan keterlambatan yang dapat merusak fungsi sistem.

Kelelahan dan masalah konsistensi

Sesi anotasi atau peninjauan yang berkepanjangan menurunkan kinerja manusia. Riset tentang pekerjaan moderasi konten, khususnya, menunjukkan biaya psikologis dan kognitif yang tinggi bagi pekerja yang meninjau volume besar materi berbahaya. Peninjau yang lelah menghasilkan label tidak konsisten yang dapat menurunkan kinerja model.

Ketergantungan berlebihan pada otomatisasi

Lalu ada bias otomatisasi, yakni kecenderungan manusia yang terlalu mempercayai sistem untuk berhenti mengevaluasi keluarannya secara kritis. Jika peninjau Anda menyetujui 98% dari apa yang dihasilkan model, Anda telah membayar untuk pengawasan tanpa mendapatkannya. Ini sering terlihat ketika peninjau manusia menilai aksen tertentu lebih atau kurang profesional, atau secara konsisten menerapkan asumsi budaya yang tidak dapat digeneralisasi. 

Arah Masa Depan

Masa depan HITL terletak pada integrasi yang lebih baik, bukan intervensi yang lebih banyak.

Perangkat canggih

Platform yang muncul memudahkan orkestrasi umpan balik manusia dan pelacakan keputusan.

Kerangka etis

Seiring sistem AI diterapkan di domain yang berdampak, tekanan regulasi untuk mempertahankan pengawasan manusia yang bermakna meningkat. EU AI Act, misalnya, menetapkan persyaratan untuk pengawasan manusia dalam aplikasi AI berisiko tinggi. HITL menjadi persyaratan kepatuhan, dan kerangka kerja untuk menerapkannya secara bertanggung jawab sedang aktif dikembangkan.

Integrasi AI generatif

Model AI generatif yang dapat menghasilkan keluaran dalam skala besar memerlukan evaluasi manusia pada cakupan yang melampaui kapasitas anotasi tradisional.

Perkembangan yang lebih menarik adalah peninjauan berbantuan AI yang menggunakan model untuk membantu manusia menangani volume yang sebaliknya melampaui kapasitas mereka. Ini adalah rekursi yang aneh: menggunakan AI untuk membuat pengawasan manusia terhadap AI menjadi layak. Namun kemungkinan besar ke sanalah bidang ini menuju, dan mencari cara melakukannya tanpa mengorbankan kualitas pengawasan adalah masalah terbuka.

Kesimpulan

Janji sistem otonom sepenuhnya terdengar menarik, karena membawa manfaat efisiensi, pengurangan biaya, dan skala. Namun skala itu juga menyiratkan bahwa kegagalan dapat termanifestasi dalam skala yang sama. 

Human-in-the-Loop adalah paradigma untuk membangun sistem AI yang lebih baik dengan menggabungkan kekuatan mesin dan manusia guna menghadirkan sistem yang lebih akurat, adaptif, dan tepercaya.

Tujuannya adalah menempatkan keterlibatan manusia yang tepat pada momen yang tepat, dengan antarmuka yang tepat, oleh orang-orang yang tidak kelelahan karena terlalu banyak peringatan namun juga tidak asal menyetujui. Mendapatkan kalibrasi itu dengan benar lebih sulit daripada kedengarannya, tetapi ini juga salah satu masalah rekayasa terpenting dalam AI saat ini.