Wat is machine listening? Definitie, typen, use cases

Machine listening verwijst naar het vermogen van een machine om audiosignalen te interpreteren en te begrijpen, net zoals mensen geluiden verwerken. In de wereld van machine learning en kunstmatige intelligentie is het een belangrijk vakgebied, omdat het machines in staat stelt te interageren met, te analyseren en te reageren op de auditieve wereld om hen heen.

Machine listening uitgelegd

In de kern draait machine listening om het leren "horen" van machines en het betekenis geven aan geluiden. Dat betekent niet alleen woorden herkennen (dat is spraakherkenning), maar ook allerlei andere geluiden begrijpen, van de melodie van een lied tot het gezoem van een koelkast. Het wordt gebruikt om machines interactiever te maken en beter te laten reageren op prikkels op basis van geluid.

Mensen gebruiken hun oren en hersenen om geluiden te interpreteren. Onze oren vangen geluidsgolven op, die vervolgens worden vertaald naar elektrische signalen die de hersenen verwerken. Machine listening probeert dit proces na te bootsen, zij het op een meer wiskundige en gestructureerde manier. Waar mensen vertrouwen op jarenlange ervaring en context, hebben machines enorme hoeveelheden data en training nodig om vergelijkbare resultaten te bereiken.

Met audiodatasets omvat machine listening het inzetten van algoritmen die audiosignalen analyseren. Deze algoritmen kunnen patronen, frequenties en andere kenmerken van een geluid identificeren. Door bijvoorbeeld de frequentie en het patroon van een geluidsgolf te analyseren, kan een machine bepalen of het een menselijke stem, een muziekinstrument of een dier hoort.

Machine listening is grotendeels afhankelijk van deep learning-modellen, met name Convolutional Neural Networks (CNN's) en Recurrent Neural Networks (RNN's). Deze modellen kunnen patronen herkennen in grote datasets. Zo kan een CNN worden gebruikt om specifieke kenmerken in een audiogolfvorm te detecteren, terwijl een RNN, met zijn geheugencapaciteiten, kan worden ingezet om sequenties in spraak of muziek te begrijpen. De Fourier-transformatie is een ander belangrijk model dat tijdgebaseerde signalen omzet in frequentiecomponenten, waardoor algoritmen ze eenvoudiger kunnen analyseren.

Typen machine listening

Machine listening is een veelzijdig domein met uiteenlopende taken die inspelen op verschillende auditieve uitdagingen, zoals:

• Spraakherkenning. Dit is misschien wel het bekendste type machine listening. Het houdt in dat machines menselijke spraak identificeren en verwerken om gesproken woorden om te zetten in tekst of commando's. Populaire spraakassistenten zoals Siri, Alexa en Google Assistant steunen sterk op spraakherkenning om met gebruikers te communiceren. Naarmate de technologie voortschrijdt, worden deze systemen beter in het begrijpen van accenten, dialecten en zelfs meerdere talen.
• Music Information Retrieval (MIR). MIR gaat verder dan alleen muziek afspelen en draait om het analyseren van muziek om informatie te extraheren. Dit kan variëren van het identificeren van genres en beats tot het begrijpen van de emoties die in een nummer worden overgebracht. Muziekstreamingplatforms kunnen MIR bijvoorbeeld gebruiken om nummers aan te bevelen op basis van het luistergedrag van een gebruiker.
• Classificatie van omgevingsgeluiden. Dit is het vermogen van machines om typische geluiden in een omgeving te herkennen en te categoriseren. Stel je een smarthomesysteem voor dat een verschil kan maken tussen een deurbel, een huilende baby of een blaffende hond. Dergelijke systemen kunnen worden geprogrammeerd om specifieke acties te ondernemen op basis van de gedetecteerde geluiden, wat de automatisering en gebruikerservaring verbetert.

Use cases voor machine listening

Van alledaagse apparaten tot gespecialiseerde sectoren: zo maakt machine listening impact:

• Slimme assistenten. Apparaten zoals Google Home, Amazon Echo en Apple's HomePod zijn vaste prik in huis. Ze vertrouwen op machine listening om gebruikerscommando's te verwerken, muziek af te spelen, herinneringen in te stellen of zelfs smarthome-apparaten te bedienen.
• Gezondheidszorg. De medische sector benut machine listening op innovatieve manieren. Machines kunnen worden getraind om naar hartslagen, ademhalingspatronen of zelfs subtiele geluiden van gewrichtsbewegingen te luisteren en deze te analyseren. Dit kan helpen bij het vroegtijdig opsporen van afwijkingen of aandoeningen en mogelijk levens redden. Zo worden slimme stetoscopen ontwikkeld die realtime analyses van hart- en longgeluiden bieden, met directe feedback voor zorgprofessionals.
• Beveiligingssystemen. Geavanceerde beveiligingssystemen draaien niet langer alleen om camerabewaking. Machine listening kan ongewone geluiden detecteren, zoals het breken van glas, ongeautoriseerde toegang of zelfs gefluisterde gesprekken. Dit voegt een extra beschermingslaag toe, zodat dreigingen zowel visueel als auditief worden opgemerkt.
• Auto-industrie. Moderne auto's zijn uitgerust met sensoren die machine listening gebruiken. Deze systemen kunnen bestuurders waarschuwen voor externe geluiden, zoals sirenes of claxons, vooral als die niet meteen opvallen.

Uitdagingen bij machine listening

De uitdagingen komen voort uit de complexiteit van audiobewerking en de enorme variatie aan geluiden in de echte wereld, zoals:

• Ruisinterferentie. Een van de grootste uitdagingen is achtergrondgeluid. In een drukke omgeving kan het lastig zijn om een specifiek geluid of een stem te onderscheiden uit de kakofonie. Een spraakassistent in een rumoerige keuken kan bijvoorbeeld moeite hebben om een commando te herkennen boven het geluid van kokend water of een draaiende blender. Geavanceerde ruisonderdrukkingstechnieken worden ontwikkeld om dit te verminderen, maar perfecte helderheid blijft een uitdaging.
• Realtime verwerking. Voor veel toepassingen, vooral op het gebied van veiligheid of communicatie, is analyse van geluid in realtime cruciaal. Dit vergt veel rekenkracht en efficiënte algoritmen. Vertraagde verwerking kan leiden tot gemiste commando's of late reacties, waardoor de effectiviteit van het systeem afneemt.
• Variatie in menselijke spraak. Menselijke spraak is enorm divers; accenten, dialecten en spraakstoornissen voegen extra lagen complexiteit toe. Het is een gigantische opgave om een machine te trainen om elke nuance en variatie te begrijpen. Hoewel er grote stappen zijn gezet, is er nog ruimte voor verbetering, vooral bij het begrijpen van minder gangbare talen of regionale accenten.
• Ethiek en privacy. Bij gebruik in openbare ruimtes of zonder expliciete toestemming kan machine listening privacyzorgen oproepen. Afluisteren of ongeautoriseerde verzameling van audiogegevens kan leiden tot ernstige inbreuken op de persoonlijke levenssfeer. Hoewel dit vaak een beleidskwestie is, is het ook belangrijk dat ontwikkelaars en gebruikers zich hiervan bewust zijn en verantwoord gebruik stimuleren.

Machine listening implementeren

Aan de slag gaan met een machine-listeningproject vraagt om de juiste tools, methodologieën en een diep begrip van het auditieve domein.

Tools

• TensorFlow en PyTorch. Dit zijn twee van de populairste frameworks voor deep learning en ze bieden uitgebreide bibliotheken en tools voor audiobewerking. Door hun veelzijdigheid zijn ze geschikt voor een breed scala aan machine-listeningtaken, van eenvoudige geluidsclassificatie tot complexere spraakherkenning.
• LibROSA. Een Python-pakket dat specifiek is ontworpen voor muziek- en audioanalyse. Het biedt de bouwstenen die nodig zijn om systemen voor music information retrieval te maken. Door de specialisatie in audio is het een favoriet onder veel onderzoekers en ontwikkelaars in het veld.

Hoewel generieke tools zoals TensorFlow een breed spectrum aan taken aankunnen, bieden gespecialiseerde tools zoals LibROSA functionaliteit die is toegespitst op audioanalyse. De juiste tool kiezen hangt vaak af van de specifieke eisen van het project, of het nu om realtime verwerking, muziekanalyse of spraakherkenning gaat.

Proces

• Dataverzameling. De basis van elk machine-listeningsysteem is de data waarop het getraind wordt. Dit houdt in dat je een diverse set audiosamples verzamelt die de geluiden vertegenwoordigen waarmee het systeem te maken krijgt.
• Preprocessing. Audiodata moet vaak worden opgeschoond en genormaliseerd. Technieken zoals de Fourier-transformatie kunnen worden gebruikt om tijdgebaseerde signalen om te zetten in frequentiecomponenten, waardoor ze beter te analyseren zijn.
• Modeltraining. Met de voorbewerkte data train je een machinelearningmodel om geluiden te herkennen en te interpreteren. Dit omvat vaak deep learning-technieken met architecturen zoals Convolutional Neural Networks (CNN's) of Recurrent Neural Networks (RNN's).
• Testen en verfijnen. Na training wordt het model getest op nieuwe, onbekende data. Feedback uit deze tests wordt gebruikt om het model te verfijnen en te verbeteren, zodat het betrouwbaar presteert in praktijksituaties.

Tips voor spraakherkenningsprojecten

Zelf heb ik spraakherkenning geleerd door mee te doen aan competities. Het kostte me vroeger een maand onderzoek en experimenteren om de top vijf te halen en in sommige gevallen state-of-the-art modellen voor meerdere talen te bouwen.

Op basis van deze ervaring vind je hier een paar tips en adviezen die je kunt gebruiken om je spraakherkenningsmodellen te verbeteren, vooral wanneer je met meerdere talen werkt.

1. Focus op het opschonen van de data – zowel de audio als de bijbehorende tekstdata. Probeer ruis toe te voegen of te verwijderen in de audiodataset. Verwijder speciale tekens uit de tekst en zorg dat de dataset alle relevante alfabetten dekt.
2. Voer hyperparameteroptimalisatie uit. Dit is erg belangrijk, omdat het de voorspellende nauwkeurigheid van je model aanzienlijk kan verbeteren.
3. Probeer verschillende modelarchitecturen en focus op pretrained modellen.
4. Experimenteer, experimenteer, en doe onderzoek. Het helpt altijd als je nieuwe technieken leert om de prestaties van je model te verbeteren.
5. Boost je al getrainde model met n-grams (taalmodellen).
6. Probeer de transformer-bibliotheek en het Hugging Face-ecosysteem te begrijpen.
7. Doe mee aan een gezamenlijke competitie. Dat helpt je nieuwe technieken en algoritmen te leren.

Spraakherkenning kan nog steeds beter; ook al hebben we beter presterende modellen, we zijn nog ver van een perfect model. Begin je reis door je eigen automatische spraakherkenningsmodel te bouwen met deze tutorial Fine-Tune Wav2Vec2 for English ASR in Hugging Face with Transformers.

Wil je meer leren over AI? Bekijk dan de volgende resources:

• Hoe word je machine learning engineer
• Wat is prompt engineering?
• Cursus Introductie tot ChatGPT