La [Guía 5] trata acerca de entropía e información. Tienen que estimar la entropía de Moby Dick, en inglés y en español. Necesitarán el siguiente [archivo] con las dos versiones del libro. Aunque no hay nada muy complicado de programar, es un ejercicio que puede llevarles bastante tiempo, de manera que están prevenidos.

Lecturas recomendadas: los papers originales de Shannon, Prediction of entropy of writeen English [1951], A Mathematical Theory of Communication [1948]; un paper más reciente con lo que pasó en el medio, Entropy of natural languages: Theory and experiment; el experimento del título es con seres humanos vivos.

Como alguien notó en clase, usando la estadística de palabras es posible generar textos al azar capaces de engañar a lectores distraídos, por ejemplo, editores de revistas científicas. Vean por caso lo que pasó con el SCIgen-gate [X] [X], aunque este generador en particular no parece ser markoviano. [Aquí] hay uno que sí lo es. Aliméntenlo con un texto de su escritor preferido y generen sus obras inéditas.

Un poco más al margen, [aquí] pueden leer la aventura de Feynman y los códices mayas.