Stanislaw Lem fue un escritor polaco, autor de Solaris. El libro fue la base para el guión de la película Solaris (1972) dirigida por Andrei Tarkovsky (no estoy hablando de la remake de Hollywood). En Solaris, Lem imagina el oceano de un planeta que desarrolla en forma espontánea su propia conciencia (con un claro vínculo con los cerebros de Boltzmann del post previo). Pero las novelas y cuentos de Stanislaw Lem tienen otros vínculos interesantes con la termodinámica y la mecánica estadística.

En Ciberíada, Lem escribe cuentos breves sobre las aventuras de dos constructores, Trurl y Clapaucio. Ambos tienen poderes y capacidad de construcción sobrehumanos, y fueron ilustrados, en la edición original de Ciberíada, por Daniel Mróz, un artista polaco responsable de la ilustración de otros libros y novelas de Lem.

En una de las historias de Ciberíada, ambos son capturados por un pirata con un doctorado sediento de información. Para escapar, Trurl y Clapaucio construyen un demonio del segundo tipo (un demonio del primer tipo, para Lem, es un demonio de Maxwell, considerado una trivialidad por Trurl y Clapaucio). El demonio de Lem puede observar todas las moléculas de un gas en cada microestado posible, y extraer información de sus configuraciones. ¿Al fin y al cabo, siendo todos los microestados posibles, algunos microestados pueden corresponder a ordenamientos de las moléculas que revelen leyes fundamentales o secretos insondables del universo, no? Esto es nada más y nada menos que le versión gaseosa de La Biblioteca de Babel de Borges.

“Si primero jura solemnemente, de arriba abajo y cruzando su corazón, que nos dejará ir, le daremos información, información sobre información infinita, es decir, le haremos su propio Demonio de Segundo Tipo, que es mágico y termodinámico, no-clásico y estocástico, y de cualquier viejo barril o estornudo extraerá información para usted sobre todo lo que fue, es, puede ser o será. ¡Y no hay demonio más allá de este Demonio, porque es del Segundo Tipo, y si lo quiere, dígalo ahora!“

Stanislaw Lem, Ciberíada (1965)

Pero, ¿qué es un demonio de Maxwell, o el despreciado demonio del primer tipo de Lem? Imaginemos un gas en un recinto, separado por un tabique. En el tabique agregamos una compuerta con un resorte, como se muestra en la siguiente figura:

En 1867, James Clerk Maxwell imaginó un demonio que podía conocer el estado de cada una de las partículas en este gas. Este demonio es puesto a controlar la compuerta de la figura. Cada vez que una molécula del lado B se acerca a la compuerta, el demonio observa su energía cinética. Si es grande, el demonio cierra la compuerta. Pero si su energía cinética es pequeña, el demonio abre la compuerta y deja pasar la molécula al recinto A. De esta forma, el demonio puede bajar la temperatura y disminuir la entropía del gas en el recinto A, violando (aparentemente) la segunda ley de la termodinámica.

La solución a esta paradoja está relacionada con que el proceso de medir, almacenar, y borrar información del estado de cada molécula requiere realizar trabajo. Los primeros argumentos contra el demonio de Maxwell, de Szilárd Y Brillouin en 1929, consideraban simplemente el trabajo asociado a medir la velocidad de cada molécula, y su costo energético. En este caso, considerando el sistema completo (el gas en ambos recintos y el demonio de Maxwell), la entropía crece y el segundo principio está salvado. Con el tiempo las restricciones en el mínimo de energía necesario para medir el estado de la molécula fueron bajando, y argumentos más modernos contra el demonio de Maxwell usan teoría de la información para estimar el mínimo costo energético necesario para procesar la información adquirida por el demonio. La buena noticia es que aún con las cotas más modernas, el segundo principio no puede ser violado por el demonio de Maxwell, sin importar cuán omnisciente sea (y probablemente Trurl y Clapaucio tampoco puedan violarlo). Los que quieran aprender más sobre este tema pueden leer este excelente artículo, encontrado en cuatrimestres previos por Guillem Pérez Nadal:

• Demons, Engines and the Second Law

Hoy hablaremos sobre cerebros de Boltzmann y su presencia ubicua en la cultura popular. Pueden leer este post mientras escuchan la banda de sonido de Guardianes de la Galaxia (ya se enterarán por qué es relevante en este tema).

El concepto de cerebros de Boltzmann se origina en un paper de Boltzmann de 1895 publicado en Nature, en el que Boltzmann defiende su teoría cinética de diversas críticas. Boltzmann mostró que para un gas diluido, una cantidad que llamó “H” (la entropía de Boltzmann) crecía siempre hasta alcanzar un máximo. Esto llevó a que la gente se pregunte por qué el universo no se encuentra entonces en el estado más desordenado posible. La respuesta posible (y la primer respuesta que dió Boltzmann) es que el universo debe haber comenzado en un estado de muy baja entropía, y actualmente se encuentra evolucionando hacia un estado cada vez más desordenado y con mayor entropía. Pero la segunda respuesta posible (idea de un asistente de Boltzmann, el Dr. Schuetz) es la siguiente:

“Supongamos que todo el universo está, y descansa para siempre, en equilibrio térmico. La probabilidad de que una (solo una) parte del universo se encuentre en un cierto estado, es menor cuanto más lejos esté este estado del equilibrio térmico. Pero esta probabilidad es mayor cuanto mayor es el universo. Si asumimos que el universo es lo suficientemente grande, podemos hacer que la probabilidad de que una parte relativamente pequeña del universo esté en cualquier estado (sin importar el estado de equilibrio) sea tan grande como queramos. También podemos aumentar la probabilidad de que, aunque todo el universo esté en equilibrio térmico, nuestro mundo esté en su estado actual.“

Es decir, de la misma forma que la probabilidad de que todas las partículas de un gas en una habitación estén espontáneamente en una esquina de la habitación es muy baja pero no nula, también existe una probabilidad muy baja (pero no nula) de que en un estado de equilibrio térmico desordenado muy extenso, una fluctuación cree la Tierra con todos nosotros y tal como la vemos ahora. De la misma forma, una fluctuación también podría crear espontáneamente los libros de la Bibioteca de Babel de Borges, o los diálogos de una película de David Lynch.

Si una fluctuación (con muy baja probabilidad) podría hacer esto, ¿por qué no podemos imaginar otros microestados posibles? Como una forma de reducir al absurdo este segundo argumento de Boltzmann, se propuso entonces el concepto de los cerebros de Boltzmann: Una fluctuación podría generar espontáneamente un cerebro completo, flotando en el espacio, con todos sus falsos recuerdos de haber existido previamente. ¿Cómo sabemos que nosotros no somos cerebros de Boltzmann, y que actualmente no estamos decayendo hasta apagarnos en el baño térmico del universo?

El argumento en contra de esta idea fue desarrollado por Sir Arthur Eddington en 1931, y más tarde Richard Feynmann también lo consideró en sus Feynman Lectures. Feynman, luego de explicar que si fueramos una fluctuación del universo, al realizar mediciones en zonas que no observamos antes deberíamos ver un nivel de aleatoriedad diferente al que recordamos, concluye:

“Por lo tanto, concluimos que el universo no es una fluctuación, y que el orden es un recuerdo de las condiciones cuando las cosas comenzaron. Esto no quiere decir que comprendamos la lógica de esto. Por alguna razón el universo tuvo una entropía muy baja inicialmente, y desde entonces la entropía ha aumentado. Así que ese es el camino hacia el futuro. Ese es el origen de toda irreversibilidad, eso es lo que hace que los procesos de crecimiento y decadencia, que nos hace recordar el pasado y no el futuro, nos recuerden las cosas que están más cerca de ese momento en la historia del universo cuando el orden era más alto que ahora, y por qué no podemos recordar cosas donde el desorden es más alto que ahora, al que llamamos el futuro.”

En años más recientes el concepto de cerebros de Boltzmann también se usó para reducir al absurdo algunas ideas en ciertas teorías cosmológicas. Y, extrañamente, apareció repetidas veces en la cultura popular. Como ejemplos, en Guardianes de la Galaxia vol. 2, Ego (el padre de Peter Quill, alias “Star-lord“) es un cerebro gigante en el espacio, creado al inicio de los tiempos:

Y en Futurama existe una raza de cerebros que flotan en el espacio, que fueron creados espontáneamente durante el Big Bang, y que tienen el poder de volver estúpida a la gente (excepto, obviamente, a los que ya son estúpidos):

La idea del asistente de Boltzmann, el Dr. Schuetz, hoy vuelve a tener interés en el estudio de sistemas estadísticos fuera del equilibrio: hoy sabemos que existen evoluciones posibles de estos sistemas en las que la entropía decrece (durante un tiempo acotado) en lugar de crecer. Pero también sabemos que la probabilidad de hallar al sistema evolucionando en esas condiciones es mucho menor que la probabilidad de que el sistema aumente su entropía. Y no solo eso, podemos calcular la probabilidad de que sucedan este tipo de eventos. Existen varias relaciones que permiten calcular la probabilidad de estos eventos; dos de ellas, que fueron verificadas experimentalmente en los últimos años y juegan un rol importante en el estudio de sistemas cuánticos abiertos, materia condensada, y otros sistemas fuera del equilibrio, son la igualdad de Jarzynski y el teorema de fluctuación de Crooks. Básicamente, estas relaciones nos dicen que la probabilidad de encontrar al sistema “desordenándose” en lugar “ordenándose” crece exponencialmente con el cambio de entropía (o de energía libre) en el sistema. Es decir, cuanto más cambie la entropía al evolucionar el sistema hacia el equilibrio, menos probable será encontrar al sistema evolucionando en la dirección contraria. Más adelante volveremos sobre este tema en otro posteo.

Para los interesados en estudio de la conciencia y las neurociencias, en el Departamento de Física el grupo de Enzo Tagliazucchi (@Etagliazucchi) trabaja en temas de conciencia. Y el laboratorio de Gabriel Mindlin (@GaboMindlin) trabaja en temas relacionados con biofísica y el cerebro (¡y sabe cómo leer los sueños de los pájaros!).

En la última clase vimos el teorema del virial. Este es un teorema muy útil, tanto en la versión de Mecánica Estadística como en su versión de Mecánica Clásica. Pero también es un teorema que puede ser fácilmente aplicado a situaciones en las que no se cumplen sus hipótesis, para darnos cualquier resultado. Recuerden que las partículas en el sistema deben estar confinadas por el potencial. A continuación les doy dos ejemplos de aplicaciones (aunque no les voy a dar la fórmula para fabricar materia oscura concentrada, y todos sabemos que no es dos partes de quarks plutónicos, una parte de cesio, y una botella de agua).

Comencemos con el gas ideal. Hemos visto que el teorema del virial puede escribirse como

donde las coordenadas r son las posiciones de las partículas, F son las fuerzas sobre cada partícula, N es el número de partículas, y T la temperatura. La suma es sobre todas las partículas. Para un gas ideal, la única fuerza que tenemos está asociada a la presión P. Usando que la fuerza total, sumada sobre todas las partículas, es ∑ r · F = – ∫ r · n P dA (donde n es la normal externa a la pared, y dA el diferencial de superficie), después de hacer algunas cuentas se puede llegar (usando el teorema de Gauss) a que el término de la izquierda es 3PV (con V el volúmen). ¡Por lo que recuperamos la ecuación de estado de un gas ideal: PV = NkT!

Veamos ahora una aplicación más oscura. Consideremos un clúster de N galaxias (es decir, una acumulación de galaxias en el universo), cada una con masa m y con masa total M = Nm. Por ejemplo, podría ser el cúmulo de Coma, un clúster con más de 1000 galaxias identificadas a 321 millones de años luz de la Tierra:

Las galaxias en el clúster están confinadas por la fuerza gravitatoria. Nos conviene ahora escribir el teorema del virial, para una fuerza que decae como el cuadrado de la distancia, como

donde U es la energía cinética y V ahora es la energía potencial. Asumiendo que el clúster es esférico, para la fuerza gravitatoria V = -3GM²/(5R), donde G es la constante de gravitación universal, y R el radio del clúster. Por otro lado la energía cinética media es <U> = M<v²>/2. De estas dos relaciones podemos estimar la masa del clúster como

La velocidad cuadrática media de las galaxias en el clúster se puede medir, por ejemplo, por corrimiento Doppler. Y la masa del clúster se puede estimar de forma independiente a esta fórmula a partir de la luminosidad del clúster, usando relaciones bien calibradas en astronomía. Y aquí comienzan los problemas: la fórmula obtenida con el teorema del virial da una masa M mayor que la que se estima con la luminosidad, sugiriendo que falta una fracción de materia que no estamos observando cuando miramos la luminosidad de las galaxias. Este argumento puede ser ampliado para considerar otras formas de energía (por ejemplo, la energía en el campo magnético de las galaxias y del clúster), pero esto no cambia el resultado central: hay una diferencia significativa en la masa estimada por diferentes medios.

Para el caso particular del clúster coma, los primeros estudios que indicaron esta discrepancia entre las masas estimadas de diferentes formas fueron realizados por Fritz Zwicky en 1933. Más tarde, Vera Rubin estudió en detalle la curva de rotación de galaxias individuales, y luego de estudios muy exhaustivos para muchas galaxias, encontró una discrepancia entre la dependencia radial de la velocidad de rotación esperada y la observada, indicando nuevamente una discrepancia entre la masa esperada y la masa observada. Los trabajos de Vera Rubin pusieron en claro la existencia de un problema en cosmología que continúa abierto hasta nuestros días.

Si bien estos no son los únicos argumentos a favor de la existencia de materia oscura, en conjunto con otros resultados nos indican que cerca del 85% de la materia en el universo tiene que ser materia oscura. Y para el caso particular del cúmulo de Coma, estimaciones usando mediciones astronómicas y el teorema del virial indican que cerca del 90% de la materia en el cúmulo es materia oscura.

La termodinámica y la mecánica estadística tiene aplicaciones en muchas otras áreas de la cosmología, y también en el estudio de agujeros negros. En el Departamento de Física, Guillermo Pérez Nadal, Gastón Giribet (@GastonGiribet) y el grupo de Física teórica de Altas Energías trabajan, entre otros temas, en el estudio de la entropía de agujeros negros.

En esta escena de la película El lobo de Wall Street, dirigida por Martin Scorsese (uno de los grandes directores de la historia del cine), Matthew McConaughey habla la “fugacidad” de la bolsa de valores. Llamativamente, la lírica de la canción “Money“, de Pink Floyd (del disco The Dark Side of the Moon, y que forma parte de la playlist de la materia), tiene la memorable frase “Money, it’s a gas“. Y aparentemente ninguna de estas frases es simplemente una licencia poética. En muchos sentidos hay conexiones profundas entre la mecánica estadística y el modelado de los mercados bursátiles, que en algunos casos se remontan hasta los inicios de la teoría física.

Los que tengan curiosidad sobre cómo se usan herramientas de mecánica estadística para el estudio de economía y finanzas pueden mirar este muy buen review:

• Colloquium: Statistical mechanics of money, wealth and income

que fue publicado en Reviews of Modern Physics en 2009. El artículo es introductorio y explica varios de los conceptos que se usan comúnmente en el área de econofísica, incluyendo modelos estocásticos (como los modelos de camino al azar que vimos en clase), cómo se usa el ensamble canónico (o de Gibbs) y el ensamble gran canónico, los vínculos asociados a la “conservación del dinero”, o los vínculos que se usan en sistemas más realistas en los que pueden existir deudas y cómo esto resulta en diferentes equilibrios estadísticos. En particular, la Sección I, y la Sección II desde la subsección A hasta la C, se leen fácilmente, y usan muchos de los conceptos que introdujimos hasta ahora en la materia.

En particular, en las secciones II.B y II.C, los autores reemplazan el vínculo sobre la energía que usamos al derivar los ensambles, por un vínculo sobre el dinero total circulante. Si asumimos que el dinero total se conserva, la distribución de probabilidad de equilibrio para el dinero está dada por la distribución de Boltzmann-Gibbs,

donde m es la cantidad de dinero, y T_m es la “temperatura” del sistema, igual al dinero medio por persona. Noten que esta expresión para la probabilidad es formalmente igual a la obtenida en el ensamble canónico. Excepto por casos con ingresos muy extremos (que deben ser modelados con otra distrubución de probabilidad, la distribución de Pareto), la distribución de Boltzmann-Gibbs está en buen acuerdo con los datos de muchos países. A modo de ejemplo, el review compara este resultado con la probabilidad acumulada en función de los ingresos de los individuos usando datos de la oficina de impuestos de los Estados Unidos.

En esta figura los puntos azules son datos (porcentaje acumulado de casos en función de los ingresos brutos ajustados de cada contribuyente), y la linea negra de la izquierda corresponde a la distribución de Boltzmann-Gibbs (o la distribución canónica), seguida por la distribución de probabilidad de Pareto.

Este artículo tiene también un hallazgo interesante sobre la visión amplia que tenía Boltzmann de la física, que más de 100 años atrás vislumbró la aplicabilidad de la mecánica estadística tanto en física como en otras áreas muy diversas del conocimiento (una visión que se cumplió con creces). En 1905 Boltzmann, hablando sobre la generalización y formalización de la mecánica estadística realizada por Gibbs, escribió:

“Esto abre una perspectiva amplia, si no pensamos solamente en objetos mecánicos. Consideremos aplicar este método a la estadística de seres vivos, de la sociedad, en sociología, etc.”

Boltzmann tomó algunas ideas de estadística que ya se aplicaban en su época en el estudio de la sociedad para construir su teoría de los gases diluidos. Así que su propuesta de aplicar la incipiente mecánica estadística en estudios de la sociedad y en sociología podría resultar esperable. Hoy esta aplicación en particular recibe el nombre de sociofísica; el grupo de Pablo Balenzuela (@polbalen) trabaja en estos temas en el Departamento de Física. Y la famosa novela de ciencia ficción “Fundación“, de Isaac Asimov, también juega con la idea de aplicar la teoría de gases diluidos en las ciencias sociales para predecir el posible desarrollo de una sociedad.

Las aplicaciones actuales de la mecánica estadística en biología, economía, y otras ciencias pueden resultar aún más inesperadas. Los que quieran mirar un ejemplo más reciente de aplicaciones en economía pueden leer este artículo en Nature Communications sobre eventos extremos en sistemas macroeconómicos.

El posteo de hoy gira alrededor del espíritu general de esta materia en particular, y de la mecánica estadística en general, inspirado en parte en este video de Richard Feynman:

En esta materia no vamos a demostrar ni a derivar la termodinámica. Esta materia es, en cierto sentido, una materia sobre jerarquías en la naturaleza. No siempre podemos derivar un comportamiento complejo como resultado directo de leyes fundamentales. Muchas, muchísimas veces, al trabajar con sistemas complejos o extensos necesitamos hacer aproximaciones, e introducir conceptos que (aunque tienen vínculos con las leyes fundamentales de la naturaleza) tienen sentido solo en forma aproximada (¡como el calor!). Justamente en este video Feynman dice (en el minuto 0:22): “For example, at one end we have the fundamental laws of physics. Then we invent other terms for concepts which are approximate, which have, we believe, their ultimate explanation in terms of the fundamental laws. For instance, ‘heat’. Heat is supposed to be the jiggling, and the word for a hot thing is just the word for a mass of atoms which are jiggling.” (“Por ejemplo, en un extremo tenemos las leyes fundamentales de la física. Luego inventamos otros términos para conceptos que son aproximados, que, creemos, tienen su explicación última en términos de las leyes fundamentales. Por ejemplo, el “calor”. Se supone que el calor es la vibración, y la palabra para algo caliente es solo la palabra que usamos para una masa de átomos que se sacuden.”).

Noten que Feynman no intenta convencernos de que hay una expresión formal y correcta para el calor en términos de leyes o magnitudes físicas fundamentales. Nos dice que el calor es un concepto aproximado para describir ciertos fenómenos en una escala macroscópica. Muchos conceptos en termodinámica son de este tipo: algunos podremos formalizarlos, para otros necesitaremos muchas aproximaciones. Y la descripción microscópica que construiremos será compatible (por diseño y construcción) con la termodinámica, porque si la violase construiríamos otra teoría microscópica. El enfoque de esta materia nos puede ayudar a entender ciertos sistemas físicos de otra forma, pero no se confundan y piensen que porque una teoría se deriva con más cuentas y trabajo es necesariamente mejor. Porque es imposible unir las dos descripciones (la macroscópica y la microscópica) sin hacer muchas aproximaciones en el medio, de forma tal que más que ser la segunda descripción más perfecta o formal, no podría existir si no comprendiésemos muy bien la primera. En cierta forma, esta materia cumple al pie de la letra una frase que probablemente nunca fue dicha por Groucho Marx: “Éstos son mis principios, y si no le gustan, tengo otros“.

Sobre este punto, en el video Feynman dice algo muy interesante, y que va contra la concepción simplista de la física que imagina que entender un fenómeno se reduce siempre a reducirlo a las leyes o principios fundamentales que están detrás. En el video Feynman continúa hablando de sistemas cada vez mas complejos, y aproximaciones cada vez mayores. Y en el minuto 2:52 se pregunta: “Which end is nearer to the ultimate creator, if I may use a religious metaphor? Which end is nearer to God? Beauty and hope, or the fundamental laws? I think that the right way, of course, is to say that the whole structural interconnection of the thing is what we have to look at. [...] And so I do not think either end is nearer to God. To stand at either end, and to walk off that end of the pier only, hoping that out in that direction is the complete understanding, is a mistake.” (“¿Qué extremo está más cerca del creador final, si puedo usar una metáfora religiosa? ¿Qué extremo está más cerca de Dios? ¿La belleza y la esperanza, o las leyes fundamentales? Creo que la respuesta correcta, por supuesto, es decir que lo que debemos mirar es la interconexión completa de las cosas. [...] Y entonces no creo que ninguno de los dos extremos esté más cerca de Dios. Pararse en cualquier extremo y caminar solo por ese extremo del muelle, esperando que partiendo desde ese punto encontraremos el entendimiento completo, es un error.”).

En términos más contemporáneos, los sistemas físicos extensos son como los ogros.  Y los ogros son como las cebollas. ¿Apestan? ¡No! ¿Te hacen llorar? ¡No! ¿Si los dejás al sol se vuelven marrones y les crecen pelitos blancos? ¡Tampoco! Las cebollas tienen capas. Los ogros tiene capas. Y los sistemas físicos extensos tienen capas, como los ogros y las cebollas.

Y como los ogros, los sistemas físicos extensos no pueden comprenderse si solo miramos las capas más externas, o si solo miramos las capas centrales. Es la capacidad de mirar el conjunto lo que hace que dejemos de ser tan burros y podamos entender a los ogros.

En esta materia nos interesan los sistemas extensos, para los que vamos a tener que hacer muchas aproximaciones. La elección de qué aproximaciones son razonables, y cuales no, serán el resultado de observar la naturaleza. No espero que respondamos la pregunta de Feynmann sobre qué extremo está más cerca de la verdad última, pero sí espero que podamos encontrar interés en estudiar ambos extremos de las jerarquías de los sistemas físicos. Y que aprendamos que los sistemas físicos complejos muchas veces no pueden ser reducidos a ecuaciones en términos de las leyes fundamentales de la física. Pero que, sin embargo, lo que aprendimos hasta ahora sobre las leyes fundamentales y sobre sistemas sencillos nos pueden ayudar a comprender mejor a los sistemas complejos.

De yapa, otro video de Feynman hablando de ciencia, el calor, la temperatura, y muchas cosas más:

“Este pensador observó que todos los libros, por diversos que sean, constan de elementos iguales: el espacio, el punto, la coma, las veintidós letras del alfabeto. También alegó un hecho que todos los viajeros han confirmado: No hay en la vasta Biblioteca, dos libros idénticos. De esas premisas incontrovertibles dedujo que la Biblioteca es total y que sus anaqueles registran todas las posibles combinaciones de los veintitantos símbolos ortográficos (número, aunque vastísimo, no infinito) o sea todo lo que es dable expresar: en todos los idiomas. Todo: la historia minuciosa del porvenir, las autobiografías de los arcángeles, el catálogo fiel de la Biblioteca, miles y miles de catálogos falsos, la demostración de la falacia de esos catálogos, la demostración de la falacia del catálogo verdadero, el evangelio gnóstico de Basilides, el comentario de ese evangelio, el comentario del comentario de ese evangelio, la relación verídica de tu muerte, la versión de cada libro a todas las lenguas, las interpolaciones de cada libro en todos los libros, el tratado que Beda pudo escribir (y no escribió) sobre la mitología de los sajones, los libros perdidos de Tácito.”

Jorge Luis Borges, La Biblioteca de Babel (1941).

¿De cuántas formas pueden reordenarse los veintitantos símbolos ortográficos de la Biblioteca de Babel? ¿De cuántas formas puede Christopher Nolan reordenar el argumento de sus películas para hacer una película nueva? (de ser posible, que todavía se entienda). ¿Y cuanta información quedará en la película más arrevesada que Christopher Nolan pueda dirigir? Como suele ocurrir, los Simpsons se preguntaron todo esto antes (¡pero no antes que Borges o que Claude Shannon!):

¿Cuál es la relación entre entropía e información? En 1949, ocho años después que Borges publicase La Biblioteca de Babel, Claude Shannon publicó un trabajo en el que introdujo su famoso concepto de entropía de la información,

S = - Σ p_i log p_i.

En ese trabajo, aunque presentó una serie de teoremas con motivaciones plausibles, Shannon acepta que su principal motivación para usar una definición de este tipo, y en particular la función logaritmo, tiene que ver con que es práctica para lidiar con magnitudes medidas que pueden variar en varios órdenes de magnitud, con que vuelve ciertas operaciones con números grandes más fáciles de manejar, y con resultados previos en mecánica estadística como las definiciones de entropía de Boltzmann y de Gibbs. Shannon usó log₂, pero nosotros usaremos el logaritmo natural porque será más natural para nuestra materia (¡plop!). En clase vimos cómo esta definición se relaciona con nociones de desorden o de interteza, y que para sucesos equiprobables se reduce a S = log(N), donde N es el número de sucesos posibles. Pero ¿cómo se relaciona esto con la noción de información?

Llamativamente, Borges se adelantó en su Biblioteca de Babel a esta pregunta. En otra parte del cuento escribe:

 “El número de símbolos ortográficos es veinticinco. Esa comprobación permitió, hace trescientos años, formular una teoría general de la Biblioteca y resolver satisfactoriamente el problema que ninguna conjetura había descifrado: la naturaleza informe y caótica de casi todos los libros. Uno, que mi padre vio en un hexágono del circuito quince noventa y cuatro, constaba de las letras MCV perversamente repetidas desde el renglón primero hasta el último. Otro (muy consultado en esta zona) es un mero laberinto de letras, pero la página penúltima dice «Oh tiempo tus pirámides».”

 Imaginemos, como Borges, un conjunto de símbolos ortográficos formado por 22 letras del alfabeto, mas el punto, la coma y el espacio (que marcaremos como “_”):

ABCDEFGHIKLMNOPQRSTVYZ.,_

Pensemos ahora que tenemos diferentes “emisores” que transmiten un mensaje usando estos símbolos. Como en el video de Los Simpsons (en un tema que está íntimamente relacionado con el cuento de Borges y el concepto de entropía de Shannon), pensemos que tenemos monos encadenados a máquinas de escribir, y que pueden escribir al azar textos de 50 símbolos en cada mensaje:

1. El primer mono (M₁) aprieta la letra A todas las veces: “AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA”.
2. El segundo mono (M₂) aprieta solo letras con equiprobabilidad, sin usar puntuación o espacios: “AYZTMOICPQERVILVVLMODNBEKSDEHGAHGALMKEYC”
3. El tercer mono (M₃) aprieta cualquiera de las 25 teclas con equiprobabilidad: “DH, EKHVOZ . EZVIASC B PIM,YICAK DELA.ALSFBZOQNY E”.
4. El cuarto mono (M₄) aprieta cualquier tecla con su probabilidad de uso en el español (por ejemplo, el espacio tiene una probabilidad de ocurrencia de ≈ 0.17, la letra “A” de ≈ 0.11, la “E” de ≈ 0.10, etc.): “EOS RILND . QNL PAE A ARDTEOS DCMAEE AMA”.
5. El quinto mono (M₅) tiene un vocabulario de 10 palabras, y usa las reglas de espaciado y puntuación del español. Su vocabulario es: CASA, PEPE, TUS, PESCA, EN, PIRAMIDES, DOS, OH, PARA y TIEMPO. Usando solo esas palabras al azar, y el punto, la coma y el espacio, escribe: “DOS PESCA. TUS CASA PEPE, OH TIEMPO TUS PIRAMIDES.”

¿Cuánta información hay en cada mensaje? Para contestar esto, preguntémonos para qué emisor es más difícil predecir la ocurrencia de la siguiente letra, si nos llegasen sus mensajes de a una letra por vez (por ejemplo, por un telégrafo). En el primer caso, una vez que reconocimos el patrón, es fácil saber que la siguiente letra será una A. Cada nueva A no agrega entonces más información que la que ya teníamos (¡ya sabíamos que nos llegaría una A!). Es fácil también ver que el caso más difícil para predecir la ocurrencia de una nueva letra corresponde al del mono M₃. Por otro lado, el mensaje de M₅ parece más complicado, pero luego de recibir las letras “PES”, sabemos que solo pueden estar seguidas por “CA”. La entropía de Shannon mide esta noción de información, basada en la idea de que cuanto más difícil sea predecir la siguiente letra, más información nos aporta conocerla. Calculemos la entropía de cada emisor:

1. S₁ = ln 1 = 0
2. S₂ = ln 22 ≈ 3.091
3. S₃ = ln 25 ≈ 3.219
4. S₄ = -Σ p_i log p_i ≈ 2.766
5. La entropía S₅ es más difícil de calcular, pero es menor a S₄ y mayor a S₁.

Hay otra forma interesante de pensar cuánta información genera el emisor, y es pensar cuánto podemos comprimir el mensaje que nos envía el emisor sin perder información. Para el primer mono nos alcanza con decir que envió 50 “A”. El mensaje de M₃ lo podemos comprimir como “D PES. TU C PEP, O TI TU PIR.” (ya que “D” solo puede ser seguido por “OS”, “PES” por “CA”, “TU” por “S”, etc.).  En el mensaje de M₃ no podemos sacar nada sin perder información. Un teorema famoso de Shannon nos dice que (para mensajes muy largos) la cota máxima a cuánto podemos comprimir el mensaje de un emisor sin perder información está relacionada con su entropía.

Los que quieran saber más pueden leer el paper original de Shannon:

• A mathematical theory of communication

Me imagino que todos quieren ser millonarios. ¡Pero seguro nunca se imaginaron que esta materia era la forma de alcanzar sus deseos! Salvo, obviamente, que hayan visto The hangover (2009), o películas un poco más serias como Rain Man (1988) y 21 (2008) (ambas basadas, con diversas libertades narrativas, en historias reales). En las últimas clases comenzamos a estudiar probabilidades. Los temas que vimos se pueden usar para ganar en juegos de azar (¡o mejor aún, para evitarlos!), y para ilustrar cómo les cuento dos historias. Pero antes de leer estas historias no dejen de ver el impresionante posteo de Guillem Perez Nadal sobre otro juego de azar y cómo aumentar las chances de ganarlo, con aportes de Christian Reartes y un espectacular Google Colab de problemas de probabilidad y estadística hecho por Cecilia Fossa Olandini.

La primer historia es la del método para ganar en la ruleta de Edward Thorp (también creador de métodos para contar cartas en el blackjack) y Claude Shannon (si, el mismo Shannon de la entropía que veremos repetidas veces en la materia). Todos los juegos de azar en los casinos tienen esperanza negativa: si siguen jugando, a la larga solo pueden perder. En el caso de la ruleta, esto está relacionado con que un pleno (acertar a un número) paga 35 veces la apuesta, pero la probabilidad de acertar el número es 1/37 (pues la ruleta tiene 36 números más el cero). Así, en promedio, cada vez que apuestan pierden. El desafío es convertir la esperanza en positiva, es decir, saber con probabilidad mayor a 1/35 qué número va a salir. En los siguientes artículos Edward Thorp explica en detalle diversos métodos para ganar en la ruleta:

• Sistemas para la ruleta I
• Predicción física de la ruleta I

Los que quieran mas información sobre juegos de azar (y las siguientes entregas de estos artículos) pueden mirar la página web de Edward Thorp.

Básicamente existen tres tipos de métodos para la ruleta: (1) métodos matemáticos, (2) métodos basados en desperfectos de la ruleta, y (3) métodos predictivos basados en la física de la ruleta. Los primeros no son viables, ya que como mencioné arriba, los juegos de casino están diseñados para tener esperanza negativa. Al segundo método vamos a volver en un rato. El tercer camino es el que eligieron Thorp y Shannon.

En 1960 Thorp y Shannon usaron el hecho de que en los casinos se puede seguir apostando mientras la ruleta gira (y hasta que el crupier grita “¡No va más!”) para crear un algoritmo que basado en la velocidad de rotación de la ruleta, la velocidad de la bola, y su posición inicial aproximada (estimadas contando solo con inspección visual el número de vueltas que la ruleta y la bola dan en un período corto de tiempo), predice estadísticamente en que octante de la ruleta puede caer la bola. En espíritu (aunque no en los detalles) esto es parecido a lo que vimos en el problema del camino al azar: no podemos saber dónde terminará la bola, pero nos alcanza con conocer la zona más probable de la ruleta en la que la bola puede terminar. Con esta información extra, la esperanza se vuelve positiva para el apostador. Pueden encontrar un artículo de divulgación con esta historia aquí:

• Artículo sobre Edward Thorp en Engadget

Para realizar predicciones rápidas en el casino, Thorp y Shannon armaron una computadora pequeña, del tamaño de un atado de cigarrillos, que se llevaba con una faja en la cintura y se conectaba al zapato para ingresar los datos pisando fuerte o moviendo los dedos del pie. La siguiente foto muestra la pequeña computadora de Thorp y Shannon (la que se llevaba en la cintura):

Otra persona (el apostador) usaba un pequeño receptor y un auricular para obtener la predicción y realizar rápidamente una apuesta. En la práctica, y para evitar ser detectados usaban a tres personas: una que medía, otra que llevaba la computadora, y el tercero que realizaba la apuesta, todos conectados por un sistema de radio:

¡Lo mas interesante es que el método funciona! Thorp y Shannon lo usaron con cierto éxito en Las Vegas. Una década más tarde un grupo de estudiantes de California perfeccionaría el sistema reduciendo aún más las computadoras y escondiéndolas completamente en zapatos (aquí pueden ver una imagen de las computadoras y encontrar algunos detalles sobre cómo funcionaban; el apostador ingresaba el período de rotación de la ruleta y el de la bola apretando un pulsador con el dedo del pie, y en otro zapato otra computadora devolvía la predicción del octante en el que caería la bola con una vibración). Todo esto además terminó siendo usado para el guión de un episodio de la serie original de Misión Imposible (1966), con un título insuperable:

• Odds on evil

La segunda historia tiene que ver con el segundo método para ganar en la ruleta, basado en desperfectos de la ruleta, e involucra a un estudiante de doctorado de Richard Feynman. Alrededor de 1940, Albert Hibbs y Roy Walford acumularon datos de jugadas en casinos de Reno y Las Vegas, para identificar algún pequeño bias o desperfecto en las ruedas de ruleta que favoreciera estadísticamente a ciertos números. Usando los datos estadísticos obtenidos para cada ruleta, Hibbs y Walford ganaron 8300 dólares en un día (las ruletas actuales no tienen este nivel de imperfección, por lo que lamentablemente el método no es aplicable hoy). Pueden leer una historia sobre Hibbs y Walford aquí:

• El método de Hibbs y Walford

Espero haberlos convencido, con estas historias, de que lo más conveniente es no apostar (salvo que uno esté dispuesto a esconder una computadora en un zapato). Para mostrar que más de 4000 físicos llegaron a la misma conclusión, les dejo un link a la famosa historia de la convención de físicos en Las Vegas que dió origen a la frase “They each brought one shirt and a ten-dollar bill, and changed neither”:

• Cómo 4000 físicos le dieron a un casino de Las Vegas su peor semana