Markov-analyse in spreadsheets: tutorial

Als je meer wilt leren over spreadsheets, volg dan DataCamp’s cursus Introduction to Statistics in Spreadsheets.

Echte bedrijfssystemen zijn van nature erg dynamisch. Het is niet eenvoudig voor marktonderzoekers om een probabilistisch model te ontwerpen dat alles kan vangen. Dat betekent dat de onderzoeker geavanceerdere modellen nodig heeft om klantgedrag te begrijpen terwijl een bedrijfsproces zich ontwikkelt. Een waarschijnlijkheidsmodel voor een bedrijfsproces dat in de tijd groeit, noemen we een stochastisch proces. Het stochastische proces beschrijft consumentengedrag over een bepaalde periode. De Markov-keten is een van de technieken om een stochastisch proces uit te voeren, waarbij de toekomstige toestand van de klant wordt voorspeld op basis van de huidige toestand.

De Markov-analysetechniek is vernoemd naar de Russische wiskundige Andrei Andrejevitsj Markov, die het onderzoek naar stochastische processen introduceerde, processen waarbij toeval een rol speelt (Bron). Deze analyse helpt bij het genereren van een nieuwe reeks willekeurige maar samenhangende gebeurtenissen die lijken op de oorspronkelijke. Het is nuttig bij het analyseren van afhankelijke willekeurige gebeurtenissen, d.w.z. gebeurtenissen die alleen afhangen van wat er als laatste is gebeurd. Markov-analyse is een probabilistische techniek die helpt bij het nemen van beslissingen door een waarschijnlijkheidsbeschrijving van verschillende uitkomsten te geven.

Wat is Markov-analyse?

Het Markov-model is een stochastisch model dat wordt gebruikt om willekeurig veranderende systemen te modelleren. Het gaat ervan uit dat toekomstige gebeurtenissen alleen afhangen van de huidige gebeurtenis, niet van het verleden. Het resultaat zijn waarschijnlijkheden van de toekomstige gebeurtenis ter ondersteuning van besluitvorming.

Aannames van het Markov-model:

• De kansen om van een toestand naar alle andere te gaan tellen op tot één.
• De kansen zijn van toepassing op alle deelnemers in het systeem.
• De kansen zijn constant in de tijd, en
• De toestanden zijn onafhankelijk in de tijd.

Je hebt een set toestanden S= {S_1, S_2, S_3…….S_r }. Het proces begint in een van deze toestanden en gaat vervolgens successievelijk van de ene naar de andere. Als het systeem zich momenteel in Si bevindt, gaat het bij de volgende stap met kans Pij naar toestand Sj, en deze kans hangt niet af van in welke toestand het systeem zich vóór de huidige toestand bevond.

Bron: https://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/Chapter11.pdf

Terminologie

• Stochastische processen: Hierbij gaat het om een verzameling toevalsvariabelen geïndexeerd door een bepaalde set, zodat je de dynamiek van het systeem kunt bestuderen.

• Onafhankelijke gebeurtenissen: Een van de beste manieren om dit te begrijpen is met het voorbeeld van een munt opgooien; elke worp heeft geen geheugen van wat er eerder gebeurde. De reeks kop en munt hangt niet samen; het zijn dus onafhankelijke gebeurtenissen.

• Afhankelijke gebeurtenissen: Twee gebeurtenissen heten afhankelijk als de uitkomst van de eerste gebeurtenis de uitkomst van een andere gebeurtenis beïnvloedt.

• Toevalsvariabelen: Een variabele waarvan de waarde afhangt van de uitkomst van een willekeurig experiment/fenomeen.

• Stationaire (steady-state) kansen: Naarmate je het Markov-proces voortzet, blijkt dat de kans dat het systeem zich na een groot aantal perioden in een bepaalde toestand bevindt, onafhankelijk is van de begintoestand van het systeem. De kansen die je na meerdere overgangen vindt, staan bekend als stationaire kansen.

Bron: An Introduction to Management Science Quantitative Approaches to Decision Making door David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Voorbeeld van Markov-analyse

Laten we het marktaandeel en de klantloyaliteit analyseren voor de supermarkten Murphy’s Foodliner en Ashley’s Supermarket. Onze primaire focus is de volgorde van winkelbezoeken van een klant. Je kunt ervan uitgaan dat klanten één winkelbezoek per week doen bij óf Murphy’s Foodliner óf Ashley’s Supermarket, maar niet bij beide.

Met de terminologie van Markov-processen noem je de wekelijkse perioden of winkelbezoeken de proeven (trials) van het proces. In elke proef kan de klant winkelen bij Murphy’s Foodliner of bij Ashley’s Supermarket. De specifieke winkel die in een bepaalde week wordt gekozen, is de toestand van het systeem in die week, omdat de klant in elke proef twee opties of toestanden heeft om te winkelen. Met een eindig aantal toestanden kun je de toestanden als volgt identificeren:

• Toestand 1: De klant winkelt bij Murphy’s Foodliner.

• Toestand 2: De klant winkelt bij Ashley’s Supermarket. De gegeven overgangskansen zijn:

Op dezelfde manier,

Daarom kun je de kans op Murphy’s na twee weken berekenen door de matrix met kansen van de huidige toestand te vermenigvuldigen met de matrix met overgangskansen om de kansen voor de volgende toestand te krijgen.

Algemene formule:

Waar P1, P2, …, Pr de kansen van de procestoestanden van het systeem voorstellen, en n de toestand aangeeft.

Bron: An Introduction to Management Science Quantitative Approaches to Decision Making door David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Markov-analyse uitvoeren in spreadsheets

Laten we hetzelfde probleem oplossen met Microsoft Excel –

Stap 1: Stel dat in het begin sommige klanten bij Murphy’s hebben gewinkeld en sommige bij Ashley’s. Dit kan worden weergegeven door de identiteitsmatrix, omdat de klanten die bij Murphy’s waren niet tegelijk bij Ashley’s kunnen zijn en omgekeerd.

Stap 2: Laten we ook een tabel maken voor de matrix met overgangskansen.

Stap 3: Nu wil je de kansen bij beide winkels in de eerste periode: laten we eerst een tabel maken waarin je de waarden wilt laten berekenen:

Stap 4: Laten we nu de toestandkansen voor toekomstige perioden berekenen, te beginnen met een klant van Murphy’s. Kansen kunnen worden berekend met de Excel-functie =MMULT(array1, array2). Selecteer hiervoor eerst beide cellen in de tabel voor Murphy’s-klant bij week 1.

Nadat je deze formule hebt ingevoerd, sluit je de formulehaak en druk je tegelijk op Control+Shift+Enter. Dan zie je de kanswaarden.

Stap 5: Zoals je de kansen hebt berekend voor toestand 1 en week 1, gaan we nu op dezelfde manier rekenen voor toestand 2. Het enige wat verandert zijn de kansen van de huidige toestand. De kansen van week 1 worden gebruikt om de toekomstige toestandkansen te berekenen.

Je kunt nu simpelweg de formule uit de weekcellen bij Murphy’s en Ashley’s kopiëren en plakken in de cellen tot en met de periode die je wilt.

Als je met 1000 Murphy-klanten was begonnen — dus 1000 klanten die het laatst bij Murphy’s hadden gewinkeld — dan geeft onze analyse aan dat tijdens de vijfde wekelijkse winkelperiode 723 potentiële klanten bij Murphy’s zouden zijn en 277 bij Ashley’s. Bovendien zouden er tijdens de tiende wekelijkse winkelperiode 676 potentiële klanten bij Murphy’s zijn en 324 bij Ashley’s.

Bron: An Introduction to Management Science Quantitative Approaches to Decision Making door David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Stap 6: Laten we nu op dezelfde manier de toestandkansen voor toekomstige perioden berekenen, te beginnen met een klant van Murphy’s.

Voor week 1:

Voor week 2:

Sleep de formule vanaf week 2 door tot en met de periode die je wilt.

In de vijfde winkelperiode is de kans dat de klant bij Murphy’s winkelt 0,555 en de kans dat de klant bij Ashley’s winkelt 0,445. In de tiende periode is de kans dat een klant bij Murphy’s winkelt 0,648 en de kans dat een klant bij Ashley’s winkelt 0,352.

Bron: An Introduction to Management Science Quantitative Approaches to Decision Making door David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Je kunt ook grafisch bekijken hoe het aandeel bij Murphy’s daalt en bij Ashley’s stijgt voor klanten die het laatst bij Murphy’s hebben gewinkeld.

Voor- en nadelen

Voordelen:

• Door het analytische karakter zijn snelheid en nauwkeurigheid sterke punten.
• Het is ook sneller en nauwkeuriger dan Monte Carlo-simulatie.
• Het Markov-model is relatief eenvoudig af te leiden uit opvolgingsgegevens.
• De overgangsmatrix vat alle essentiële parameters van dynamische verandering samen.
• Het geeft diep inzicht in veranderingen in het systeem in de tijd.

Nadelen:

• De Markov-eigenschappenaannames kunnen ongeldig zijn voor het gemodelleerde systeem; daarom is zorgvuldige modellering nodig.
• Klanten kunnen op elk moment de markt betreden en verlaten, waardoor de markt nooit stabiel is.
• Markov-analyse kan geen toekomstige uitkomsten voorspellen in een situatie waarin informatie over eerdere uitkomsten ontbrak.

Conclusie

Gefeliciteerd, je bent aan het einde van deze tutorial gekomen!

In deze tutorial heb je veel geleerd over Markov-analyse. Je hebt ontdekt wat Markov-analyse is, de gebruikte terminologie, voorbeelden van Markov-analyse en hoe je voorbeelden oplost in spreadsheets. Ook hebben we de voor- en nadelen besproken.

Hopelijk kun je de concepten van Markov-analyse nu toepassen in marketing analytics. Bedankt voor het lezen van deze tutorial!

Als je meer wilt leren over spreadsheets, volg dan de volgende cursussen van DataCamp: