Les dejo una pequeña simulación del problema 4)  de la guía de Markov. El problema se resuelve simulando las posibles movidas (pasos) en varias jugadas siguiendo las probabilidades de transición del problema.  Así, empezando todas las jugadas con ninguna ficha blanca, si contamos en cada movida en cuantas jugadas hay  0, 1 o 2 fichas blancas en la urna A obtenemos la probabilidad

También es interesante ver como varía esta probabilidad para un número de jugadas pequeño, como les muestro aca:

El programa escrito para Matlab / Octave está  aca .