El otro día introducimos la entropía como una medida de “Información”, asignándole a un evento con probabilidad p una cantidad que de  alguna exprese cuanta “sorpresa” nos genera observar ese evento, o cuanta “información” ganamos al hacerlo. Como motivación adicional para el uso de la palabra “información”, mencionamos además que la cantidad que definimos como entropía tiene una interpretación operacional clara en términos de los recursos que se necesitan para transmitir un mensaje. Para los que quieran saber mas al respecto, una introducción sencilla e informal al tema pueden ser estos dos artículos:

1) Information is surprise (esto es lo que explicamos en clase, mas o menos)

2) Information is bits

Aunque hay infinidad de material al respecto (la página de wikipedia es una buena fuente de referencias).

No es casualidad que esta noción de información este relacionada con la entropía termodinámica descubierta muchos años antes. La relación entre la teoría de la información y la termodinámica tiene una historia larga y muy interesante, que se extiende hasta hoy. De nuevo, para el que le interese, los siguientes son algunos de los temas que exploran esta relación:

1) Principio de Landauer: el borrado de información está siempre acompañado de un aumento de entropía (por ejemplo, disipación de calor). Este principio puede ser usado para resolver la paradoja del demonio de Maxwell, como se explica en este artículo que recomiendo mucho: Demons, Engines and the Second Law.

2) Principio de Máxima Entropía de Jaynes: la termodinámica puede ser planteada como un problema de inferencia dada cierta información sobre un sistema. Desde este punto de vista la entropía no sería una propiedad objetiva (“física”) de un sistema sino una medida de cuanta información tenemos sobre el (lo cual no debería resultarles fácil de aceptar… ni de rechazar ). De esto quizás hablemos un poco cuando terminemos de ver ensambles.

3) La termodinámica de agujeros negros y el principio holográfico también tienen que ver con la relación entre entropía termodinámica e información.

Nahuel.