Les dejo una pequeña simulación del problema 4)  de la guía de Markov. El problema se resuelve simulando las posibles movidas (pasos) en varias jugadas siguiendo las probabilidades de transición del problema.  Así, empezando todas las partidas con ninguna ficha blanca, si contamos en cada movida en cuantas jugadas (partidas) hay  0, 1 o 2 fichas blancas en la urna A obtenemos la probabilidad

También es interesante ver como depende esta probabilidad para un número de jugadas (partidas) pequeño, como les muestro aca:

El programa escrito para Matlab / Octave está  en este link, fichas .