El libro de Grinstead y Snell, Introduction to Probability. El capítulo 11 es acerca de cadenas de Markov finitas. Tiene todas las demostraciones acerca de las matrices N, Q, R, etc., y muchísimos ejercicios, varios de los cuales están en la Guía 3.
El libro de Honerkamp, Statistical Physics – An Advanced Approach With Applications. El capítulo 5 tiene muchos ejemplos resueltos de ecuaciones maestras, del estilo de los últimos ejercicios de la Guía 3.
El libro de Reif, Fundamentals of Statistical And Thermal Physics. El capítulo 1 es una introducción a los métodos estocásticos, centrada en las caminatas al azar. No trata propiamente de cadenas de Markov. Se recomienda leer de principio a fin la sección 1.5.
El libro de Reichl, A modern course in statistical physics. Bastante avanzado; el capítulo 5 tiene todos los temas pero es más difícil de seguir.