Mean Absolute Error uitgelegd: de nauwkeurigheid van je model meten

Je hebt een model gedraaid en nu moet je het evalueren. De juiste modelmetriek kiezen kan verwarrend zijn, want er zijn opties als MAE, MSE, RMSE en meer. 

Al deze metriekken meten de fout, maar ze vertellen net even andere verhalen over hoe je model presteert. In dit artikel focussen we op een veelgebruikte metriek die je als data scientist moet kennen: mean absolute error (MAE). Zoals je zult zien, biedt MAE een eenvoudige kijk op de voorspellingsnauwkeurigheid zonder het onnodig ingewikkeld te maken.

Wat is Mean Absolute Error (MAE)?

Als je een duidelijke manier nodig hebt om te meten hoe nauwkeurig je voorspellingen zijn, is mean absolute error een goed startpunt. Het vertelt je gemiddeld hoe ver de voorspellingen van je model afwijken van de werkelijke waarden, zonder je druk te maken over of die voorspellingen te hoog of te laag waren.

In deze formule is n het totale aantal voorspellingen. De absolute waarde, aangegeven met verticale strepen, zorgt ervoor dat alle fouten als positief worden behandeld, zodat zowel over- als ondervoorspellingen even zwaar tellen. Het is een eenvoudige, directe maat voor de gemiddelde voorspellingsfout van je model, en daarom wordt het zo vaak gebruikt.

Waarom is MAE belangrijk?

Ik gaf het al aan: MAE is vooral handig omdat het makkelijk te begrijpen is. Als je MAE 5 is, betekent dat dat de voorspellingen van je model gemiddeld 5 eenheden afwijken.

Om dit te waarderen, moet je denken aan mean squared error, afgekort MSE, dat grote fouten zwaarder laat meewegen door ze te kwadrateren. Met MSE kunnen uitschieters je evaluatie te veel vertekenen.

Hoe bereken je MAE? (Met Python-voorbeeld)

Laten we een snel voorbeeld met Python doornemen. Stel, je hebt een model gebouwd om de maandelijkse verkoop te voorspellen en je wilt nu controleren hoe nauwkeurig het was. Zo bereken je MAE:

import numpy as np

actual = np.array([100, 150, 200, 250])
predicted = np.array([110, 140, 210, 240])

mae = np.mean(np.abs(actual - predicted))
print("MAE:", mae)Mogelijk gemaakt door

MAE: 10.0Mogelijk gemaakt door

Deze code berekent het absolute verschil tussen elke werkelijke en voorspelde waarde en neemt vervolgens het gemiddelde. Het resultaat (hier 10,0) is de typische grootte van de voorspellingsfout.

Waar wordt MAE gebruikt?

Retailers gebruiken MAE vaak om te controleren hoe goed hun voorspellingen overeenkomen met de daadwerkelijke verkoop. Dit is een heel gangbare usecase. Een hoge MAE kan betekenen dat het model opnieuw getraind of bijgesteld moet worden. Ook in de zorg kun je je voorstellen dat MAE meet hoe dicht voorspelde hersteltijden bij de echte uitkomsten liggen. Een lagere MAE geeft meer vertrouwen dat het model bruikbare schattingen oplevert.

Dit zijn slechts een paar voorbeelden, maar MAE is te gebruiken in elke situatie waarin je voorspelde en werkelijke numerieke waarden vergelijkt. De mogelijkheden zijn te talrijk om op te noemen!

Hoe verhoudt MAE zich tot andere metriekken?

MAE is niet de enige manier om voorspellingsfouten te evalueren. Afhankelijk van welke fouten je het belangrijkst vindt, kunnen andere metriekken beter passen.

MAE vs. MSE

MSE kijkt ook naar het verschil tussen voorspelde en werkelijke waarden, maar kwadrateert elke fout voordat het gemiddelde wordt genomen. Daardoor is het gevoeliger voor grote fouten. Als grote missers in jouw usecase zwaarder wegen, kan MSE beter geschikt zijn.

MAE vs. RMSE

RMSE is de wortel uit MSE. Het zet de fout terug in de oorspronkelijke eenheden, wat het makkelijker te interpreteren maakt dan MSE. Maar net als MSE weegt het grote fouten zwaarder mee.

Als je alle fouten gelijk wilt behandelen en het eenvoudig wilt houden, is MAE een goede keuze. Maar als je je meer zorgen maakt over de impact van grote fouten, kunnen MSE of RMSE passender zijn.

Conclusie

MAE is een duidelijke en praktische manier om te meten hoe ver je voorspellingen afwijken van werkelijke waarden. Het is makkelijk te berekenen, makkelijk uit te leggen en bruikbaar in een breed scala aan toepassingen.

Hoewel het grote fouten niet uitlicht zoals MSE of RMSE dat doen, geeft het een eerlijk beeld van de algehele nauwkeurigheid. Gebruik het wanneer je een directe maat wilt die niet te veel wordt beïnvloed door een paar grote missers.

Dat gezegd hebbende, je wilt MAE naast andere metriekken gebruiken, vooral wanneer je modellen vergelijkt of de prestaties fijnstemt. Na verloop van tijd krijg je gevoel voor wanneer MAE genoeg is en wanneer een andere metriek meer inzicht geeft. Volg onze cursus Understanding Data Science en onze cursus Introduction to Regression with statsmodels in Python om zowel je skills als je intuïtie te ontwikkelen.