Tutorial de análisis de Markov en hojas de cálculo

Si quieres aprender más sobre hojas de cálculo, haz el curso de DataCamp Introduction to Statistics in Spreadsheets.

Los sistemas empresariales reales son muy dinámicos por naturaleza. No es sencillo para los analistas de mercado diseñar un modelo probabilístico que lo capture todo. Esto implica que se necesitan modelos más sofisticados para entender el comportamiento del cliente a medida que evoluciona el negocio. Un modelo de probabilidad para un proceso empresarial que cambia con el tiempo se denomina proceso estocástico. Un proceso estocástico describe el comportamiento del consumidor a lo largo del tiempo. La cadena de Markov es una de las técnicas para modelar un proceso estocástico que, basándose en el estado presente, predice el estado futuro del cliente.

La técnica de análisis de Markov debe su nombre al matemático ruso Andrei Andreyevich Markov, quien introdujo el estudio de los procesos estocásticos, es decir, procesos que dependen del azar (Fuente). Este análisis ayuda a generar una nueva secuencia de eventos aleatorios pero relacionados, que se parecerán a la original. Es útil para analizar eventos aleatorios dependientes, es decir, eventos que solo dependen de lo que ocurrió inmediatamente antes. El análisis de Markov es una técnica probabilística que facilita la toma de decisiones al ofrecer una descripción probabilística de distintos resultados.

¿Qué es el análisis de Markov?

El modelo de Markov es un modelo basado en procesos estocásticos que se utiliza para representar sistemas que cambian aleatoriamente. Supone que los eventos futuros dependen únicamente del evento presente, no del pasado. Así se obtienen las probabilidades de los eventos futuros para la toma de decisiones.

Supuestos del modelo de Markov:

• La suma de las probabilidades de pasar de un estado a todos los demás es uno.
• Las probabilidades se aplican a todos los participantes del sistema.
• Las probabilidades son constantes en el tiempo, y
• Los estados son independientes a lo largo del tiempo.

Tienes un conjunto de estados S= {S_1, S_2, S_3…….S_r }. El proceso comienza en uno de estos estados y pasa sucesivamente de un estado a otro. Si el sistema está actualmente en S_i, pasará al estado S_j en el siguiente paso con una probabilidad P_ij, y esta probabilidad no depende de en qué estado estuvo el sistema antes del estado actual.

Fuente: https://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/Chapter11.pdf

Terminología

• Procesos estocásticos: Tratan con colecciones de variables aleatorias indexadas por algún conjunto para estudiar la dinámica del sistema.

• Eventos independientes: Una forma sencilla de entenderlo es con el ejemplo de lanzar una moneda: cada lanzamiento no tiene memoria de lo que ocurrió antes. La secuencia de caras y cruces no está relacionada; por tanto, son eventos independientes.

• Eventos dependientes: Dos eventos son dependientes si el resultado del primero afecta al resultado del segundo.

• Variables aleatorias: Variable cuyo valor depende del resultado de un experimento o fenómeno aleatorio.

• Probabilidades en régimen estacionario: Al continuar el proceso de Markov, se observa que la probabilidad de que el sistema esté en un estado concreto tras un gran número de periodos es independiente del estado inicial del sistema. Las probabilidades que se obtienen después de varias transiciones se conocen como probabilidades estacionarias.

Fuente: An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Ejemplo de análisis de Markov

Analicemos la cuota de mercado y la fidelidad de los clientes de los supermercados Murphy's Foodliner y Ashley's Supermarket. Nuestro objetivo principal es revisar la secuencia de compras semanales de un cliente. Puedes suponer que los clientes hacen un único viaje de compras por semana a Murphy's Foodliner o a Ashley's Supermarket, pero no a ambos.

Usando la terminología de los procesos de Markov, llamamos ensayos del proceso a los periodos semanales o viajes de compra. En cada ensayo, el cliente puede comprar en Murphy’s Foodliner o en Ashley’s Supermarket. La tienda elegida en una semana concreta es el estado del sistema en esa semana, porque el cliente tiene dos opciones o estados en cada ensayo. Con un número finito de estados, podemos identificarlos así:

• Estado 1: El cliente compra en Murphy’s Foodliner.

• Estado 2: El cliente compra en Ashley’s Supermarket. Las probabilidades de transición dadas son:

De forma similar,

Por tanto, la probabilidad de Murphy’s tras dos semanas puede calcularse multiplicando la matriz de probabilidades del estado actual por la matriz de probabilidades de transición para obtener las probabilidades del siguiente estado.

Fórmula general:

Donde P1, P2, …, Pr representan las probabilidades de los estados del sistema en el proceso, y n indica el estado.

Fuente: An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Cómo hacer un análisis de Markov en hojas de cálculo

Vamos a resolver el mismo problema con Microsoft Excel:

Paso 1: Supongamos que al principio algunos clientes compraron en Murphy’s y otros en Ashley’s. Esto puede representarse con la matriz identidad porque los clientes que estaban en Murphy’s no pueden estar a la vez en Ashley’s y viceversa.

Paso 2: Crea también una tabla para la matriz de probabilidades de transición.

Paso 3: Ahora, queremos las probabilidades en ambas tiendas en el primer periodo. Primero, diseñemos una tabla donde calcularemos los valores:

Paso 4: Calculemos ahora las probabilidades de estado para periodos futuros empezando inicialmente con un cliente de Murphy’s. Las probabilidades pueden calcularse con la función de Excel =MMULT(array1, array2). Para usarla, selecciona primero las dos celdas de la tabla de clientes de Murphy’s en la fila de la semana 1.

Después de aplicar la fórmula, cierra el paréntesis y pulsa Control+Shift+Enter a la vez. Verás los valores de probabilidad.

Paso 5: Como ya has calculado las probabilidades en el estado 1 y la semana 1, ahora, de forma similar, calcúlalo para el estado 2. Lo único que cambia son las probabilidades del estado actual. Las probabilidades de la semana 1 se usarán para calcular las probabilidades de los estados futuros.

Ahora puedes copiar la fórmula de las celdas de semanas en Murphy’s y Ashley’s y pegarla hasta el periodo que quieras.

Si hubieras empezado con 1000 clientes de Murphy’s —es decir, 1000 clientes cuya última compra fue en Murphy’s—, nuestro análisis indica que durante el quinto periodo semanal de compras habría 723 clientes potenciales de Murphy’s y 277 de Ashley’s. Además, en el décimo periodo semanal habría 676 clientes potenciales de Murphy’s y 324 de Ashley’s.

Fuente: An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Paso 6: De manera similar, calculemos ahora las probabilidades de estado para periodos futuros comenzando inicialmente con un cliente de Murphy’s.

Para la semana 1:

Para la semana 2:

Solo tienes que arrastrar la fórmula desde la semana 2 hasta el periodo que quieras.

En el quinto periodo de compra, la probabilidad de que el cliente compre en Murphy’s es 0,555 y la de que compre en Ashley’s es 0,445. En el décimo periodo, la probabilidad de que un cliente compre en Murphy’s es 0,648 y la de que compre en Ashley’s es 0,352.

Fuente: An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

También puedes ver gráficamente cómo baja la cuota en Murphy’s y aumenta en Ashley’s entre los clientes cuya última compra fue en Murphy’s.

Pros y contras

Pros:

• Ofrece velocidad y precisión gracias a su naturaleza analítica.
• Es más rápido y preciso que la simulación de Monte Carlo.
• El modelo de Markov es relativamente fácil de derivar a partir de datos secuenciales.
• La matriz de transición resume todos los parámetros esenciales del cambio dinámico.
• Aporta una visión profunda de cómo cambia el sistema con el tiempo.

Contras:

• Los supuestos de la propiedad de Markov pueden no cumplirse en el sistema modelado; por eso requiere un diseño cuidadoso.
• El cliente puede entrar y salir del mercado en cualquier momento, de modo que el mercado nunca es estable.
• El análisis de Markov no puede predecir resultados futuros cuando falta información sobre el resultado previo.

Conclusión

¡Enhorabuena, has llegado al final de este tutorial!

En este tutorial has visto muchos detalles sobre el análisis de Markov. Has aprendido qué es, la terminología utilizada, ejemplos de análisis de Markov y cómo resolverlos en hojas de cálculo. También hemos comentado sus pros y contras.

Con suerte, ahora podrás aplicar los conceptos de análisis de Markov en analítica de marketing. ¡Gracias por leer!

Si quieres aprender más sobre hojas de cálculo, echa un vistazo a los siguientes cursos de DataCamp: