Apa itu Machine Listening? Definisi, Jenis, dan Penggunaannya

Machine listening mengacu pada kemampuan mesin untuk menafsirkan dan memahami sinyal audio, mirip dengan cara manusia memproses suara. Dalam ranah machine learning dan artificial intelligence, bidang ini penting karena memungkinkan mesin berinteraksi dengan, menganalisis, dan merespons dunia auditori di sekitarnya.

Penjelasan Machine Listening

Pada intinya, machine listening adalah tentang mengajarkan mesin untuk "mendengar" dan memahami makna dari suara. Ini tidak hanya berarti mengenali kata-kata (itu adalah pengenalan ujaran), tetapi memahami semua jenis suara, dari melodi sebuah lagu hingga dengungan lemari es. Teknologi ini digunakan agar mesin lebih interaktif dan responsif terhadap rangsangan berbasis suara.

Manusia menggunakan telinga dan otak untuk menafsirkan suara. Telinga kita menangkap gelombang suara, yang kemudian diterjemahkan menjadi sinyal listrik yang diproses otak. Machine listening berupaya meniru proses ini, meskipun dengan cara yang lebih matematis dan terstruktur. Jika manusia mengandalkan pengalaman dan konteks bertahun-tahun, mesin memerlukan data dan pelatihan dalam jumlah besar untuk mencapai hasil serupa.

Dengan dataset audio, machine listening melibatkan penggunaan algoritma yang menganalisis sinyal audio. Algoritma ini dapat mengidentifikasi pola, frekuensi, dan karakteristik lain dari suatu suara. Misalnya, dengan menganalisis frekuensi dan pola gelombang suara, mesin dapat menentukan apakah yang didengar adalah suara manusia, alat musik, atau hewan.

Machine listening terutama bergantung pada model deep learning, khususnya Convolutional Neural Networks (CNN) dan Recurrent Neural Networks (RNN). Model-model ini dapat mengidentifikasi pola dalam dataset yang sangat besar. Misalnya, CNN dapat digunakan untuk mendeteksi fitur spesifik dalam gelombang audio, sementara RNN, dengan kemampuan memorinya, dapat dimanfaatkan untuk memahami urutan dalam ujaran atau musik. Fourier Transform adalah model penting lainnya, yang mengubah sinyal berbasis waktu menjadi komponen frekuensi, sehingga memudahkan analisis oleh algoritma.

Jenis-Jenis Machine Listening

Machine listening adalah domain multifaset yang mencakup berbagai tugas untuk menghadapi beragam tantangan auditori, seperti:

• Pengenalan ujaran (speech recognition). Ini mungkin jenis machine listening yang paling dikenal. Melibatkan mesin yang mengidentifikasi dan memproses ujaran manusia untuk mengonversi kata-kata yang diucapkan menjadi teks atau perintah. Asisten suara populer seperti Siri, Alexa, dan Google Assistant sangat bergantung pada pengenalan ujaran untuk berinteraksi dengan pengguna. Seiring kemajuan teknologi, sistem ini kian mahir memahami aksen, dialek, bahkan banyak bahasa.
• Music Information Retrieval (MIR). Lebih dari sekadar memutar lagu, MIR berfokus pada analisis musik untuk mengekstrak informasi. Ini dapat mencakup identifikasi genre dan ketukan hingga memahami emosi yang disampaikan dalam sebuah lagu. Misalnya, platform streaming musik dapat menggunakan MIR untuk merekomendasikan lagu berdasarkan kebiasaan mendengarkan pengguna.
• Klasifikasi suara lingkungan. Ini adalah kemampuan mesin untuk mengenali dan mengategorikan suara-suara khas di suatu lingkungan. Bayangkan sistem rumah pintar yang dapat membedakan bunyi bel pintu, tangisan bayi, atau gonggongan anjing. Sistem semacam ini dapat diprogram untuk mengambil tindakan spesifik berdasarkan suara yang terdeteksi, sehingga meningkatkan otomatisasi dan pengalaman pengguna.

Penggunaan Machine Listening

Dari perangkat sehari-hari hingga sektor khusus, berikut dampak machine listening:

• Asisten pintar. Perangkat seperti Google Home, Amazon Echo, dan HomePod milik Apple telah menjadi perlengkapan rumah tangga. Perangkat ini mengandalkan machine listening untuk memproses perintah pengguna, memutar musik, mengatur pengingat, atau bahkan mengendalikan perangkat rumah pintar.
• Kesehatan. Bidang medis memanfaatkan machine listening dengan cara-cara inovatif. Mesin dapat dilatih untuk mendengarkan dan menganalisis detak jantung, pola pernapasan, atau bahkan suara halus pergerakan sendi. Ini dapat membantu deteksi dini anomali atau kondisi tertentu, berpotensi menyelamatkan nyawa. Misalnya, stetoskop pintar sedang dikembangkan untuk memberikan analisis waktu nyata atas suara jantung dan paru-paru, menawarkan umpan balik segera kepada tenaga kesehatan.
• Sistem keamanan. Sistem keamanan canggih tidak lagi hanya soal pengawasan video. Machine listening dapat mendeteksi suara tidak biasa, seperti kaca pecah, masuk tanpa izin, atau bahkan bisikan percakapan. Ini menambah lapisan perlindungan ekstra, memastikan ancaman terdeteksi secara visual dan auditori.
• Industri otomotif. Mobil modern dilengkapi sensor yang memanfaatkan machine listening. Sistem ini dapat memperingatkan pengemudi terhadap suara eksternal, seperti sirene atau klakson, terutama jika tidak langsung terdengar jelas.

Tantangan Machine Listening

Tantangan muncul dari kompleksitas pemrosesan audio dan keragaman besar suara di dunia nyata, seperti:

• Gangguan kebisingan. Salah satu tantangan utama adalah kebisingan latar. Di lingkungan ramai, membedakan suara atau suara tertentu dari hiruk-pikuk bisa sulit. Misalnya, asisten suara di dapur yang bising mungkin kesulitan mengenali perintah pengguna di tengah suara air mendidih atau blender yang menyala. Teknik peredam bising tingkat lanjut sedang dikembangkan untuk mengatasi hal ini, namun mencapai kejernihan sempurna tetap menjadi tantangan.
• Pemrosesan waktu nyata. Untuk banyak aplikasi, terutama di bidang keselamatan atau komunikasi, analisis suara waktu nyata sangat penting. Ini menuntut daya komputasi besar dan algoritma yang efisien. Pemrosesan yang tertunda dapat menyebabkan perintah terlewat atau respons terlambat, sehingga mengurangi efektivitas sistem.
• Variabilitas dalam ujaran manusia. Ujaran manusia sangat beragam, dengan aksen, dialek, dan gangguan bicara yang menambah kompleksitas. Melatih mesin untuk memahami setiap nuansa dan variasi adalah tugas besar. Meski sudah banyak kemajuan, masih ada ruang perbaikan, terutama dalam memahami bahasa yang kurang umum atau aksen regional.
• Pertimbangan etis. Saat digunakan di ruang publik atau tanpa persetujuan eksplisit, machine listening dapat menimbulkan kekhawatiran privasi. Menguping atau pengumpulan data audio tanpa izin dapat menyebabkan pelanggaran privasi pribadi yang serius. Meskipun ini sering kali menjadi pertimbangan kebijakan, penting juga bagi pengembang dan pengguna untuk menyadari kekhawatiran ini dan mendorong penggunaan yang bertanggung jawab.

Menerapkan Machine Listening

Memulai proyek machine listening memerlukan perpaduan alat yang tepat, metodologi, dan pemahaman mendalam tentang domain auditori.

Alat

• TensorFlow dan PyTorch. Ini adalah beberapa kerangka kerja deep learning paling populer, dan menawarkan pustaka serta alat ekstensif untuk pemrosesan audio. Keduanya serbaguna untuk berbagai tugas machine listening, dari klasifikasi suara dasar hingga pengenalan ujaran yang lebih kompleks.
• LibROSA. Paket Python yang dirancang khusus untuk analisis musik dan audio. Paket ini menyediakan blok bangunan yang diperlukan untuk membuat sistem music information retrieval. Spesialisasinya pada audio menjadikannya andalan banyak peneliti dan pengembang di bidang ini.

Sementara alat serbaguna seperti TensorFlow dapat menangani spektrum tugas yang luas, alat khusus seperti LibROSA menawarkan fungsionalitas yang disesuaikan untuk analisis audio. Pemilihan alat yang tepat sering bergantung pada kebutuhan spesifik proyek, apakah itu pemrosesan waktu nyata, analisis musik, atau pengenalan ujaran.

Proses

• Pengumpulan data. Fondasi dari setiap sistem machine listening adalah data tempat ia dilatih. Ini melibatkan pengumpulan himpunan sampel audio yang beragam dan mewakili suara-suara yang akan dihadapi sistem.
• Prapemrosesan. Data audio sering memerlukan pembersihan dan normalisasi. Teknik seperti Fourier Transform dapat digunakan untuk mengubah sinyal berbasis waktu menjadi komponen frekuensi, sehingga lebih mudah dianalisis.
• Pelatihan model. Dengan data yang telah dipraproses, model machine learning dilatih untuk mengenali dan menafsirkan suara. Ini sering melibatkan teknik deep learning, memanfaatkan arsitektur seperti Convolutional Neural Networks (CNN) atau Recurrent Neural Networks (RNN).
• Pengujian dan penyempurnaan. Setelah dilatih, model diuji pada data baru yang belum pernah dilihat. Umpan balik dari pengujian ini digunakan untuk menyempurnakan dan meningkatkan model, memastikan kinerjanya andal dalam skenario dunia nyata.

Tips untuk Proyek Pengenalan Ujaran

Secara pribadi saya mempelajari pengenalan ujaran dengan berpartisipasi dalam kompetisi. Dulu saya membutuhkan satu bulan riset dan eksperimen untuk mencapai peringkat lima besar dan, dalam beberapa kasus, membangun model mutakhir untuk banyak bahasa.

Berdasarkan pengalaman ini, berikut beberapa tips dan saran yang dapat Anda gunakan untuk meningkatkan model pengenalan ujaran Anda, khususnya saat menangani banyak bahasa.

1. Fokus pada pembersihan data—baik data audio maupun teks pendamping. Cobalah menambah atau menghapus kebisingan dalam dataset audio. Hapus karakter khusus dari teks dan pastikan dataset mencakup seluruh alfabet yang relevan.
2. Lakukan optimisasi hyperparameter. Ini sangat penting karena dapat secara signifikan meningkatkan akurasi prediksi model Anda.
3. Coba berbagai arsitektur model dan fokus pada model pra-latih.
4. Bereksperimen, bereksperimen, dan meneliti. Selalu bermanfaat jika Anda mempelajari teknik baru untuk meningkatkan kinerja model.
5. Tingkatkan model yang sudah dilatih menggunakan n-gram (model bahasa).
6. Cobalah memahami pustaka transformer dan ekosistem Hugging Face.
7. Ikut serta dalam kompetisi kolaboratif. Ini akan membantu Anda mempelajari teknik dan algoritme baru.

Pengenalan ujaran masih perlu ditingkatkan; meskipun kita memiliki model yang kinerjanya lebih baik, kita masih jauh dari model yang sempurna. Mulailah perjalanan Anda dengan membangun model pengenalan ujaran otomatis sendiri melalui tutorial Fine-Tune Wav2Vec2 for English ASR in Hugging Face with Transformers ini.

Ingin belajar lebih banyak tentang AI? Lihat sumber daya berikut:

• Cara menjadi machine learning engineer
• Apa itu prompt engineering?
• Kursus Pengantar ChatGPT