Foutpropagatie: hoe onzekerheid zich verspreidt in berekeningen

Wanneer we berekeningen uitvoeren met gemeten waarden, werken we met onzekerheden. Elke meting heeft een bepaalde onzekerheid, vaak uitgedrukt als absolute of relatieve fout. Deze onzekerheden verdwijnen niet zomaar wanneer we metingen in berekeningen gebruiken; ze combineren zich en kunnen toenemen, afhankelijk van de wiskundige bewerkingen die je toepast. 

Foutpropagatie, ook wel de propagatie van onzekerheid genoemd, is het proces waarbij je bepaalt hoe onzekerheden in gemeten variabelen de onzekerheid in een berekend resultaat beïnvloeden.

In deze tutorial behandelen we de wiskundige regels die bepalen hoe onzekerheden zich verspreiden door verschillende bewerkingen en verkennen we methoden om onzekerheid te kwantificeren. We werken door praktische voorbeelden die laten zien hoe je onzekerheden berekent in realistische scenario’s, van eenvoudige rekenkunde tot complexe functies met correlatie en geavanceerde simulatie­technieken.

Belangrijke concepten bij foutpropagatie

Voordat we in de wiskundige regels duiken, bekijken we eerst een paar concepten achter foutpropagatie:

• Absolute fout is de daadwerkelijke afwijking van de ware waarde, uitgedrukt in dezelfde eenheden als de meting. Als we een lengte meten als 10,0 ± 0,2 cm, dan is de absolute fout 0,2 cm.
• Relatieve fout drukt onzekerheid uit als een fractie of percentage van de gemeten waarde. Voor onze lengtemeting is de relatieve fout 0,2/10,0 = 0,02 of 2%.
• Standaardafwijking is in de meeste wetenschappelijke contexten onze primaire maat voor onzekerheid en geeft de spreiding rond het gemiddelde weer. Als we een meting uitdrukken als x ± σ, staat σ voor één standaardafwijking.
• Variantie is het kwadraat van de standaardafwijking. De varianten van onafhankelijke willekeurige variabelen tellen direct op, een eigenschap die veel berekeningen vereenvoudigt.
• Covariantie meet hoe twee variabelen zich ten opzichte van elkaar bewegen. Wanneer onzekerheden gecorreleerd zijn, moeten we covariatietermen opnemen in onze propagatieformules om nauwkeurige resultaten te krijgen.

Het is ook belangrijk om het verschil te begrijpen tussen onafhankelijke en gecorreleerde onzekerheden. Onafhankelijke onzekerheden ontstaan uit afzonderlijke, niet-gerelateerde bronnen, zoals afleesfouten van verschillende instrumenten. Gecorreleerde onzekerheden delen een gemeenschappelijke bron, zoals het gebruik van dezelfde kalibratiestandaard voor meerdere metingen.

Hoewel we ons in deze tutorial richten op willekeurige fouten die statistische patronen volgen, is het goed om te weten dat systematische fouten (constante vertekeningen) een andere aanpak vereisen.

Wiskundige regels voor foutpropagatie

De propagatie van onzekerheid volgt specifieke regels afhankelijk van de wiskundige bewerking. Laten we deze bewerkingen stuk voor stuk bekijken:

Optellen en aftrekken

Bij het optellen of aftrekken van metingen met onzekerheden tel je de absolute onzekerheden in kwadratuur op (de wortel uit de som van de kwadraten) voor standaardafwijkingen.

Voor z = x ± y, waarbij x een onzekerheid σₓ heeft en y een onzekerheid σᵧ:

σz = √(σₓ² + σᵧ²)

Neem een voorbeeld waarin we de totale lengte van twee staven meten. Staaf A meet 15,3 ± 0,2 cm en staaf B 8,7 ± 0,1 cm. De totale lengte is:

Length = 15.3 + 8.7 = 24.0 cm
Uncertainty = √(0.2² + 0.1²) = √(0.04 + 0.01) = √0.05 = 0.22 cm

Daarom is de totale lengte 24,0 ± 0,22 cm.

Vermenigvuldigen en delen

Voor vermenigvuldigen en delen werken we met relatieve onzekerheden. De relatieve onzekerheid van het resultaat is gelijk aan de kwadratuursom van de relatieve onzekerheden van de invoer.

Voor z = xy of z = x/y:

(σz/z)² = (σₓ/x)² + (σᵧ/y)²

Stel dat we de oppervlakte van een rechthoek willen berekenen met een lengte van 5,0 ± 0,1 m en een breedte van 3,0 ± 0,05 m.

Area = 5.0 × 3.0 = 15.0 m²
Relative uncertainty in length = 0.1/5.0 = 0.02
Relative uncertainty in width = 0.05/3.0 = 0.0167
Relative uncertainty in area = √(0.02² + 0.0167²) = √(0.0004 + 0.000278) = 0.026
Absolute uncertainty in area = 15.0 × 0.026 = 0.39 m²

Daarom is de oppervlakte 15,0 ± 0,39 m².

Machten en wortels

Wanneer je een meting tot een macht n verheft, wordt de relatieve onzekerheid vermenigvuldigd met de absolute waarde van de macht.

Voor z = xⁿ:

σz/z = |n| × (σₓ/x)

Neem een scenario waarin we de straal van een bol meten als 2,5 ± 0,05 cm en het volume willen berekenen met V = (4/3)πr³.

Volume = (4/3)π(2.5)³ = 65.45 cm³
Relative uncertainty in radius = 0.05/2.5 = 0.02
Relative uncertainty in volume = 3 × 0.02 = 0.06
Absolute uncertainty in volume = 65.45 × 0.06 = 3.93 cm³

Daarom is het volume 65,5 ± 3,9 cm³.

Logaritmische en exponentiële functies

Voor de natuurlijke logaritme: 

If z = ln(x), then σz = σₓ/x

Voor de exponentiële functie: 

If z = eˣ, then σz/z = σₓ

Stel dat we een waarde x = 10,0 ± 0,3 meten en y = ln(x) berekenen.

y = ln(10.0) = 2.303
Uncertainty in y = 0.3/10.0 = 0.03

Dus ln(10,0) = 2,303 ± 0,030.

Nu we de specifieke regels voor verschillende bewerkingen hebben bekeken, gaan we naar de eenduidige wiskundige basis die hieraan ten grondslag ligt.

Afleiding met calculus

Om intuïtie op te bouwen: denk aan partiële afgeleiden als het antwoord op de vraag: “Als ik deze invoer een beetje verander, hoeveel verandert mijn uitvoer dan?” 

Die gevoeligheid voor verandering is precies wat we nodig hebben om te begrijpen hoe onzekerheden zich voortplanten. Een grote partiële afgeleide betekent dat de invoer een sterke invloed heeft op de uitvoer, dus draagt de onzekerheid daarvan meer bij aan de uiteindelijke onzekerheid.

Laten we beginnen met de wiskundige basis. Voor een functie z = f(x, y) vertelt het totale differentiaal ons:

dz = (∂f/∂x)dx + (∂f/∂y)dy

Als we dx en dy interpreteren als kleine onzekerheden en de variantie (σz²) willen vinden, kwadrateren we beide kanten en nemen we de verwachtingswaarde. 

Dit leidt tot de algemene foutpropagatieformule:

σz² = (∂f/∂x)² σₓ² + (∂f/∂y)² σᵧ² + 2(∂f/∂x)(∂f/∂y)σₓᵧ

Hier stelt σₓᵧ de covariantie tussen x en y voor. Voor onafhankelijke variabelen verdwijnt deze term, wat de eenvoudigere vorm oplevert die we meestal gebruiken.

Laten we deze formule verifiëren door onze vermenigvuldigingsregel af te leiden. 

Voor z = xy:

• Partiële afgeleide naar x: ∂z/∂x = y
• Partiële afgeleide naar y: ∂z/∂y = x

Invullen in onze algemene formule (aangenomen dat x en y onafhankelijk zijn):

σz² = y²σₓ² + x²σᵧ²

Beide kanten delen door z^² = (xy)^²:

σz²/z² = σₓ²/x² + σᵧ²/y²

De wortel nemen geeft ons:

(σz/z)² = (σₓ/x)² + (σᵧ/y)²

wat precies onze vermenigvuldigingsregel is voor het optellen van relatieve onzekerheden in kwadratuur.

Deze algemene aanpak is nuttig bij complexe functies waarvoor geen uit-het-hoofd-regels gelden. 

Als we bijvoorbeeld de onzekerheid moeten berekenen in z = x^²sin(y) + e^xy, dan kunnen we systematisch partiële afgeleiden toepassen in plaats van meerdere regels te combineren. De formule werkt voor elke differentieerbare functie en is daarmee ons meest bruikbare hulpmiddel voor onzekerheidsanalyse bij complexe berekeningen.

Correlatie en covariantie bij foutpropagatie

Tot nu toe gingen onze foutpropagatieformules uit van onafhankelijke onzekerheden, maar wat gebeurt er als dat niet zo is? 

Correlatie tussen onzekerheden komt vaker voor dan je misschien denkt en kan je resultaten aanzienlijk beïnvloeden. Correlatie ontstaat wanneer metingen een gemeenschappelijke bron van onzekerheid delen. 

Denk aan het meten van de lengte en breedte van een metalen blok met dezelfde liniaal. Als die liniaal eigenlijk 1% te kort is, worden beide metingen op dezelfde manier systematisch beïnvloed en zijn ze positief gecorreleerd. Evenzo, als temperatuur meerdere sensoren in een experiment beïnvloedt, delen alle metingen op hetzelfde moment deze omgevingsinvloed.

Wanneer de ene meting de neiging heeft hoog te zijn terwijl een andere ook hoog is (positieve correlatie), of wanneer de ene hoog is terwijl de andere laag is (negatieve correlatie), moeten we met deze relatie rekening houden in onze onzekerheidsberekeningen.

Als variabelen gecorreleerd zijn, voegen we de covariatieterm σₓᵧ toe in onze propagatieformule. Voor twee gecorreleerde variabelen met een correlatiecoëfficiënt ρ:

σₓᵧ = ρσₓσᵧ

De volledige formule voor optellen wordt dan:

σz² = σₓ² + σᵧ² + 2ρσₓσᵧ

We begrijpen dit concept beter met een voorbeeld. 

Laten we de omtrek van een rechthoekige metalen plaat meten bij verhoogde temperatuur. We meten lengte L = 10,0 ± 0,1 cm en breedte W = 5,0 ± 0,05 cm. De omtrek is P = 2L + 2W.

Zonder correlatie mee te nemen:

P = 2(10.0) + 2(5.0) = 30.0 cm
σₚ = √[(2 × 0.1)² + (2 × 0.05)²] = √[0.04 + 0.01] = 0.22 cm

Maar thermische uitzetting beïnvloedt beide afmetingen op vergelijkbare wijze. Als we vaststellen dat de correlatiecoëfficiënt ρ = 0,7 is (sterke positieve correlatie):

Covariance term: 2 × 2 × 2 × 0.7 × 0.1 × 0.05 = 0.028
σₚ = √[0.04 + 0.01 + 0.028] = √0.078 = 0.28 cm

Door correlatie te negeren onderschatten we onze onzekerheid met ongeveer 25%, een aanzienlijk verschil dat onze conclusies kan beïnvloeden.

We moeten covariantie opnemen wanneer:

• Meerdere metingen hetzelfde instrument of dezelfde kalibratiestandaard gebruiken.
• Omgevingscondities (temperatuur, druk, vochtigheid) alle metingen tegelijk beïnvloeden.
• Variabelen bekende fysische relaties hebben (zoals afmetingen die samen uitzetten).

We kunnen covariantie veilig weglaten wanneer metingen echt onafhankelijk zijn, wanneer ze met verschillende instrumenten of op verschillende tijdstippen zijn genomen, of wanneer de correlatie te verwaarlozen is ten opzichte van andere onzekerheidsbronnen. Twijfel je, en zouden veranderende omstandigheden beide metingen in dezelfde richting beïnvloeden, dan zijn ze waarschijnlijk gecorreleerd en moet je dit meenemen in je analyse.

Geavanceerde methoden voor het omgaan met onzekerheid

Wanneer functies voorwaardelijke logica, iteratieve berekeningen of complexe niet-lineaire relaties bevatten, is Monte Carlo-simulatie een goed alternatief.

Monte Carlo-simulaties

Monte Carlo-simulatie kiest een directe aanpak: in plaats van onzekerheden via formules te propageren, simuleren we duizenden mogelijke scenario’s en bekijken we de verdeling van de resultaten. 

Het proces is:

1. Genereer willekeurige steekproeven uit de verdeling van elke invoervariabele.
2. Bereken het resultaat voor elke set steekproeven.
3. Analyseer de uitvoerverdeling om de onzekerheid te bepalen.

Je kunt leren hoe je een Monte Carlo-simulatie in Excel uitvoert via onze uitgebreide gids. Voor de volledigheid van deze tutorial bekijken we echter opnieuw een scenario waarin analytische methoden complex worden. 

Neem z = x^²/y waarbij x = 10,0 ± 0,5 en y = 2,0 ± 0,2. Hoewel we partiële afgeleiden zouden kunnen gebruiken, bekijken we conceptueel hoe Monte Carlo dit aanpakt:

for each of 10,000 iterations:
   x_sample = random value from normal(mean=10.0, std=0.5)
   y_sample = random value from normal(mean=2.0, std=0.2)
   z_sample = x_sample² / y_sample
  
result = mean of all z_samples = 50.2
uncertainty = standard deviation of z_samples = 5.3

Het mooie van deze aanpak is dat hij:

• Met elk type verdeling werkt: onze invoer hoeft niet normaal verdeeld te zijn.
• Correlatie natuurlijk afhandelt: herinner je onze gecorreleerde omtrekmeting? Monte Carlo kan direct gecorreleerde willekeurige steekproeven genereren.
• Een compleet beeld van de output geeft: we krijgen de volledige verdeling van resultaten, inclusief scheefheid of meerdere pieken die alleen met standaardafwijking mogelijk niet zichtbaar worden.
• Werkt met complexe logica: functies met if/then-voorwaarden of min/max-bewerkingen zijn mogelijk.

Wanneer kiezen we Monte Carlo boven analytische methoden? Overweeg dit wanneer:

• Onze functie voorwaardelijke statements of iteratieve berekeningen bevat.
• Variabelen niet-normale verdelingen volgen (uniform, exponentieel, enz.)
• We de volledige uitvoerverdeling nodig hebben, niet alleen de standaardafwijking.
• De analytische aanpak complexe afgeleiden vereist waarvan we de berekening niet vertrouwen.

Voor praktische implementatie geven 10.000 steekproeven doorgaans goede schattingen voor de meeste toepassingen, terwijl 100.000 steekproeven hoge precisie bieden. Moderne computers kunnen deze simulaties in seconden uitvoeren voor eenvoudige functies.

Rekenkundige overwegingen

Voor rekenintensieve modellen, zoals eindige-elementen­simulaties of klimaatmodellen, waarbij één berekening uren kan duren, zijn surrogaatmodellen goed geschikt. 

Surrogaatmodellen zijn vereenvoudigde wiskundige functies die het gedrag van complexe modellen benaderen: een sneller alternatief dat de input-outputrelaties van het oorspronkelijke model vastlegt.

Voor de meeste data-analysetaken biedt directe Monte Carlo-simulatie echter de ideale balans tussen nauwkeurigheid en eenvoud.

Conclusie

Dit artikel introduceerde foutpropagatie, het wiskundige raamwerk om te begrijpen hoe onzekerheden in metingen berekende resultaten beïnvloeden. We hebben de basisregels geleerd om onzekerheden door verschillende wiskundige bewerkingen te propageren, begrepen hoe correlatie tussen variabelen onzekerheidsberekeningen beïnvloedt, en Monte Carlo-simulatie verkend als rekenkundig alternatief voor complexe scenario’s.

Wil je je vaardigheden in het omgaan met onzekerheid en statistische analyse in praktijksituaties verdiepen, bekijk dan ons Machine Learning Scientist with Python-traject. Dit traject behandelt supervised en unsupervised learning, feature engineering, tijdreeksanalyse en deep learning, waar inzicht in onzekerheid en foutanalyse belangrijk wordt voor het evalueren van modelprestaties, betrouwbaarheidsintervallen en het doen van betrouwbare voorspellingen in data­scienceprojecten.