• El libro de Grinstead y Snell, Introduction to Probability. El capítulo 11 es acerca de cadenas de Markov finitas. Tiene todas las demostraciones acerca de las matrices N, Q, R, etc., y muchísimos ejercicios, varios de los cuales están en la Guía 3.
• El libro de Honerkamp, Statistical Physics – An Advanced Approach With Applications. El capítulo 5 tiene muchos ejemplos resueltos de ecuaciones maestras, del estilo de los últimos ejercicios de la Guía 3.
• El libro de Reif, Fundamentals of Statistical And Thermal Physics. El capítulo 1 es una introducción a los métodos estocásticos, centrada en las caminatas al azar. No trata propiamente de cadenas de Markov. Se recomienda leer de principio a fin la sección 1.5.
• El libro de Reichl, A modern course in statistical physics. Bastante avanzado; el capítulo 5 tiene todos los temas pero es más difícil de seguir.

En el Mathematica, para bajar [aquí].

1) El problema de los reencuentros, problema 14 de la Guía 2.

2) El problema del sistema de dos niveles en tiempo discreto, problema 3 de la Guía 3.

3) El problema 4 de la Guía 3: hay 6 fichas, 2 blancas y 4 rojas; hay 2 urnas, una con 2 fichas y otra con 4. Las fichas se van intercambiando de una urna a la otra. El gráfico de abajo muestra una simulación de este problema. Cada celda es una copia del sistema, y el color de la celda representa el número de fichas blancas en la urna con 2 fichas.

parece que nos quisiera decir algo