Asunto:    Re: La cortina de humo de la información
Newsgroups: talk.origins
Fecha:       7 de octubre de 2000
Message-ID: gordon-11739F.19062607102000@[127.0.0.1]

De acuerdo, me siento tonto, así que me atreveré y trataré de defender la idea de que la termodinámica está conectada con la teoría de la información (aunque la conexión probablemente no sea la que esperarías). He estado trabajando en este ensayo por un tiempo, pero todavía no lo considero completo (aún no he terminado la lectura que debería hacer, y hay varias cosas más que necesito cubrir, especialmente la cuestión de la condición de entropía como función de estado, y algunos asuntos secundarios planteados por la síntesis de RNA). Esperaba tener más tiempo para trabajarlo antes de publicarlo, pero como el tema ha vuelto a surgir, se publica tal como está. Considérense advertidos...

(Además, esto puede parecer una publicación y huida, porque escribo lentamente y soy asombrosamente poco fiable respondiendo. Pero llevo leyendo este grupo unos 16 años y no pienso desaparecer pronto.)

Esto se va a volver bastante largo y técnico, y sospecho que la mayoría no lo encontrará tan valioso como para meterse, así que empezaré con lo importante: mis conclusiones.

1. CONCLUSIONES

Primero: la entropía de teoría de la información (o entropía de Shannon) de un sistema físico contribuye a su entropía termodinámica, a la tasa de 1 bit de entropía de Shannon => k (constante de Boltzmann) * ln 2 = 9.57e-24 Julios/Kelvin de entropía termodinámica.

Segundo: mi primera conclusión anterior no importa realmente porque en condiciones realistas, la contribución de información a la entropía termodinámica es tan pequeña que puede ignorarse con seguridad. Por ejemplo, un terabyte (2⁴³ bits) de información corresponde solo a 8.42e-11 J/K de termoentropía, que es la misma diferencia de entropía entre 1 cc de agua (aproximadamente un vasito) a 300 kelvin (alrededor de la temperatura ambiente) y la misma cantidad de agua a 300.000000060 kelvin (también bastante cerca de la temperatura ambiente). Esta es una cantidad enorme de información, pero una cantidad despreciable de termoentropía.

Tercero: es posible llevar mi primera conclusión un paso más allá, y considerar la entropía termodinámica (bueno, mecánico-estadística, en realidad) total de un sistema físico como la entropía de Shannon de su microestado (i.e. su estado físico preciso), multiplicada por k ln 2. De hecho, si se considera k ln 2 simplemente como un factor de conversión de unidades (de bits a unidades de estilo termodinámico), entonces la entropía de Boltzmann es exactamente la entropía de Shannon de su microestado.

Cuarto: mi tercera conclusión tampoco importa.

Quinto: hay una pequeña controversia sobre si la entropía de Shannon debe considerarse información, o el opuesto de la información. Argumentaré que la primera visión tiene más sentido, aunque ninguna de las dos ofrece una definición de “información” que se parezca mucho a la definición de sentido común que la mayoría usa. (Por ahora, simplemente observo que borrar la memoria de una computadora disminuye su entropía de Shannon. ¿Te suena eso a un aumento de información?)

Sexto: la conexión entre información y termodinámica es aún más irrelevante para el argumento creación(/diseño inteligente)/evolución de lo que sugeriría mi segunda conclusión, porque la entropía de Shannon no está monótonamente relacionada con el tipo de información que los creacionistas(/diseño inteligenteistas) piensan que la evolución no puede producir. Por ejemplo, considere 3 hebras de ADN, todas de la misma longitud: A) una copiada exactamente de otra hebra de ADN; B) una que codifica para un organismo vivo completamente nuevo, pero viable; y C) una con una secuencia completamente aleatoria de bases. De estas hebras, C es la menos restringida y por lo tanto tiene las entropías de Shannon y termo más altas; A es la más restringida y, por lo tanto, tiene la menor entropía de Shannon (nueva), y la menor termoentropía (nueva). B está entre las dos otras, a pesar de que es la única que contiene alguna información novedosa del tipo del que se preocupan los creacionistas(/diseño inteligenteistas). Dicho de otro modo: si la entropía termodinámica fuera la restricción relevante, debería ser más fácil que apareciera un organismo completamente nuevo que replicar uno existente; no lo es, por lo tanto la entropía termodinámica no es la restricción relevante.

Entonces, si todo esto es tan irrelevante como digo, ¿qué sentido tiene? ¿Por qué molestarse siquiera? Bueno, a algunas personas les parece fascinante contar ángeles del tamaño de la cabeza de un alfiler, y yo soy de esas personas. Así que, pasemos al trabajo. Empezaré con un enfoque histórico del problema.

2. LA HISTORIA DEL DEMONIO DE MAXWELL

(Nota: la mayor parte de esto se resume de Maxwell's Demon: Entropy, Information, Computing, de H. S. Leff y A. F. Rex (1990) y los artículos que reproducen; si te interesa el tema, te recomiendo localizar una copia de ese libro. Está descatalogado, pero no dejes que eso te detenga...)

La conexión entre entropía e información se hizo por primera vez al analizar el demonio de Maxwell. Para quienes no lo conocen, es un experimento mental que James Clerk Maxwell ideó alrededor de 1867, que parecía implicar que un ser inteligente (también llamado demonio) podía disminuir la entropía. El demonio guardaba una puerta muy pequeña entre dos salas llenas de gas (inicialmente a la misma temperatura, presión, etc.). El demonio podía abrir y cerrar la puerta, dependiendo de las moléculas de gas que se acercaban en cualquier momento dado (recuerda que es una puerta muy pequeña). En la versión original, la abría solo cuando una molécula más lenta de lo promedio se acercaba desde la derecha, por ejemplo, o cuando una molécula más rápida que el promedio se acercaba desde la izquierda. Tras un rato haciéndolo, el gas en la sala de la derecha sería más caliente que el gas de la izquierda, y la entropía total del gas habría disminuido. A menos que también hubiera un aumento de entropía compensatorio, esto violaría la segunda ley de la termodinámica.

(También hay muchas variantes, como una en la que el demonio solo permite el paso de moléculas en una dirección, produciendo así una diferencia de presión; es en gran parte lo mismo.)

(Nota: algunas personas parecen pensar que la segunda ley de la termodinámica se aplica de forma distinta a los seres inteligentes y/o sus creaciones, que a las cosas no inteligentes no diseñadas. Eso es incorrecto; las formulaciones estándar de la segunda ley se aplican por igual a humanos, máquinas de vapor y rocas. El demonio de Maxwell es interesante en parte porque parece implicar una excepción a esa igualdad).

(Otra nota: aunque este ser hipotético suele llamarse demonio, esto no debe significar que sea sobrenatural o maligno. Es solo el nombre por el que se conoce a la pequeña bestia, eso es todo.)

El problema aparente presentado por el demonio de Maxwell se ha “resuelto” de varias maneras a lo largo de los años. La primera resolución que aquí nos interesa es la de Leo Szilard (1929), quien mostró que había un aumento de entropía asociado a realizar y recordar las mediciones (p. ej., de moléculas de gas que se acercan) necesarias para que un demonio de Maxwell hiciera su trabajo. También derivó un límite inferior para ese aumento de entropía, que se reduce a k ln 2 en el caso de una medición binaria simétrica. Lamentablemente, es un poco difícil decir en su artículo exactamente cómo y dónde aparece ese aumento de entropía.

Leon Brillouin (1950a, 1950b, 1956) intentó aclarar el asunto mostrando que, para ver las moléculas de gas entrantes sobre el fondo de radiación térmica emitida por moléculas de gas más distantes (y las paredes, etc.), el demonio debe iluminar el área alrededor de la puerta con una fuente de luz de alta temperatura, lo que calentaba el gas circundante y producía así suficiente entropía para satisfacer la segunda ley (él no consideró, que yo sepa, la posibilidad de que hubiera formas más eficientes de detectar moléculas de gas). Luego pasó (a mi juicio) por completo al identificar la información con entropía negativa, dando lugar a gran parte de la confusión sobre el tema que estamos acostumbrados a ver aparecer de vez en cuando en talk.origins (y en otros sitios). Para ser justos, sus conclusiones no son poco razonables: dado que la información solo puede obtenerse al costo de un aumento de entropía en otra parte, y que uno puede luego gastar información (abriendo/cerrando la puerta) para obtener una disminución de entropía en otro sitio, tiene sentido pensar en la información como una especie de anti-entropía. Solo resulta ser erróneo (o al menos altamente engañoso).

La primera evidencia contraria vino del análisis de Rolf Landauer (1961) sobre los límites de la eficiencia termodinámica de la computación. Mostró que las operaciones lógicamente irreversibles —esencialmente, aquellas que destruían información— producían entropía. Como Charles H. Bennett y Landauer (1985) lo formularon:

... la información se destruye siempre que dos situaciones previamente distintas se vuelven indistinguibles. En sistemas físicos sin fricción, la información nunca puede ser destruida; siempre que la información se destruye, debe disiparse alguna cantidad de energía (convertida en calor). Como ejemplo, imagina dos situaciones físicas fácilmente distinguibles, como una pelota de goma sostenida a un metro o a dos metros de altura sobre el suelo. Si se suelta la pelota, rebotará. Si no hay fricción y la pelota es perfectamente elástica, un observador siempre podrá saber en qué estado empezó la pelota (esto es, cuál era su altura inicial), porque una pelota soltada desde dos metros rebotará más alto que una pelota soltada desde un metro.

Si hay fricción, sin embargo, la pelota disipará una pequeña cantidad de energía en cada rebote, hasta que finalmente deja de rebotar y viene a reposar en el suelo. Entonces será imposible determinar cuál fue el estado inicial de la pelota; una pelota soltada desde dos metros será idéntica a una soltada desde un metro. La información se habrá perdido como resultado de la disipación de energía.

Landauer también argumentó que la irreversibilidad lógica era una característica necesaria de la computación (útil), dado que llevar a cabo una computación completa y reversible requeriría conservar no solo los datos de entrada, sino también una cantidad impráctica de resultados intermedios de todo el proceso de la computación. Bennett (1973) encontró una salida: al ejecutar toda la computación (guardando pilas de resultados intermedios), copiar la parte deseada del resultado y luego ejecutar la computación en sentido inverso para eliminar esos resultados intermedios no deseados, sería posible terminar con solo los datos de entrada y los datos de salida deseados. Eso abrió la teoría de la computación reversible, que es todavía más ajena a la mayoría de lo de lo que hablo, así que remitiré al lector interesado a Richard Feynman (1996) y Bennett (1982), y volveré al tema.

Bennett (1982, sección 5) también derribó la otra carta con Brillouin, al mostrar que existen formas más eficientes de hacer mediciones. Como dice:

A menudo se supone que la medición (p. ej., la medición que el demonio debe hacer para determinar si la molécula se acerca desde la izquierda o la derecha) es un acto inevitablemente irreversible, que requiere una generación de entropía de al menos k ln 2 por bit de información obtenida, y que esto es lo que impide que el demonio viole la segunda ley. De hecho, como se mostrará a continuación, mediciones del tipo requerido por el demonio de Maxwell pueden hacerse reversiblemente, siempre que el aparato de medición (p. ej., el mecanismo interno del demonio) esté en un estado estándar antes de la medición, de modo que la medición, al igual que copiar un bit en una cinta en blanco previa, no reescriba la información almacenada allí previamente. En estas condiciones, el acto esencialmente irreversible, que evita que el demonio viole la segunda ley, no es la propia medición sino la restauración posterior del aparato de medición a un estado estándar en preparación para la siguiente medición. Este olvido de un estado lógico previo, como el borrado o la sobrescritura de un bit de datos intermedios generados durante la computación, implica una correspondencia muchos-a-uno del estado físico del demonio, que no puede realizarse sin un aumento de entropía correspondiente en otro lugar.

Irónicamente, aunque esto deja sin objeto el análisis de Brillouin del demonio, en realidad encaja bien como una mejora del de Szilard. Para simplificar un poco: Szilard descompuso las fases de operación del demonio así:

1) Hacer una medición (del estado de las moléculas de gas)

2) Usar el resultado de esa medición para disminuir la entropía del gas

Szilard mostró que la fase 1 debía producir entropía. Bennett lo descompuso aún más:

1a) Olvidar el resultado de la medición anterior

1b) Realizar una nueva medición

2) Usar el resultado de la nueva medición

...y mostró que el aumento de entropía ocurre en la fase 1a, no en 1b. Esto le da una vuelta bastante opuesta al asunto: el aumento de entropía se asocia, no con la producción de información, sino con su destrucción; por tanto, la información no es el opuesto de la entropía, es más o menos lo mismo que la entropía. De hecho, si el demonio tiene una gran capacidad de memoria, es posible omitir el paso 1a durante varios ciclos de operación del demonio y producir una disminución arbitrariamente grande de la entropía del gas a costa de llenar la memoria del demonio con los resultados de mediciones antiguas. De esta forma, es posible convertir la entropía del gas en información. Sigue siendo entropía, claro está: la entropía de los bancos de memoria del demonio aumenta con la cantidad de información almacenada allí, de modo que lo que realmente hemos logrado es mover la entropía del gas a la memoria del demonio y cambiar su forma en cierta medida.

3. UN MOTOR TÉRMICO ORIENTADO POR INFORMACIÓN

En realidad, Bennett (aún 1982, sección 5; ver también Feynman 1996, pp. 137-148) propone una forma aún más elegante de lograr esta conversión. Imagina un motor térmico que toma cinta de datos en blanco y calor, y produce trabajo y cinta llena de datos aleatorios. El principio es bastante general, pero usemos una versión en la que cada bit en la cinta consiste en un recipiente con una sola molécula de gas en su interior, y una separación en el centro del recipiente. Si la molécula está en el lado izquierdo de la división, representa un cero; si está en el derecho, representa un uno. El motor recibe una cinta llena de ceros, y lo que hace con cada uno es ponerlo en contacto con un baño térmico a la temperatura T, sustituir la división por un pistón, permitir que el pistón se mueva lentamente hacia la derecha y luego retirar el pistón y volver a colocar la división en el centro (atrapando la molécula de gas en un lado aleatorio). Mientras el pistón se mueve a la derecha, el gas realiza (en promedio) kT ln 2 de trabajo sobre él, y absorbe (en promedio) kT ln 2 de calor del baño (vía las paredes del recipiente). Esencialmente, es una expansión isotérmica reversible de un gas ideal de una sola molécula. Y si bien los resultados en un bit único variarán mucho (como siempre, hay fluctuaciones térmicas del orden de kT, tan grandes como el efecto que estamos midiendo), si haces esto muchas veces, el promedio comenzará a dominar, y las cosas se volverán más deterministas.

Ahora, la operación de este motor es termodinámicamente reversible. Eso significa que así como puede convertir calor + cinta en blanco en trabajo + cinta aleatoria, también puede ejecutarse en reversa para convertir trabajo + cinta aleatoria en calor + cinta en blanco. También significa que podemos aplicar la fórmula de cambio de entropía en un proceso reversible, dS = dQ/T, para mostrar que la cinta aleatoria tiene k ln 2 por bit más entropía que la cinta en blanco.

4. LA ENTROPÍA DE SHANNON COMO INFORMACIÓN

A este punto probablemente conviene hacer una digresión sobre qué clase exacta de información estamos hablando aquí. Según la definición de sentido común que usamos la mayoría, la información está estrechamente asociada con el significado (una versión que me gusta bastante define la información como datos junto con su interpretación). Pero aunque se puede considerar la “información” en los bancos de memoria del demonio como significativa (es decir, registra el estado anterior de las partículas de gas), es bastante difícil sostener que la cinta de salida aleatoria de ese motor térmico signifique algo. Lo primero que hay que darse cuenta es que las definiciones relevantes de información vienen de la teoría de la información estadística, y son bastante distintas de la definición de sentido común. Entre otras cosas, no tienen en cuenta el significado. Como dice Claude Shannon (1948):

El problema fundamental de la comunicación es el de reproducir en un punto un mensaje seleccionado en otro punto, ya sea exactamente o aproximadamente. Con frecuencia los mensajes tienen significado; esto es, se refieren o se correlacionan según algún sistema con ciertas entidades físicas o conceptuales. Estos aspectos semánticos de la comunicación son irrelevantes para el problema ingenieril. El aspecto significativo es que el mensaje real es uno seleccionado de un conjunto de mensajes posibles.

... y la medida de información de Shannon, a la que él llamó entropía, es esencialmente una medida del tamaño de ese conjunto de mensajes (o, si prefieres, una medida de cuán poco restringido es el mensaje). La cinta aleatoria tiene más secuencias posibles (está menos restringida) que la cinta en blanco, y por tanto tiene entropía de Shannon más alta y, en esta interpretación, más información.

Esta no es la única interpretación de la entropía de Shannon, ni de la falta de restricción que mide. La otra visión, que creo surgió con Norbert Weiner (1948) (y fue adoptada por Brillouin y muchos otros), identifica la información con disminuciones de entropía de Shannon, aumentos de restricción, eliminación de posibilidades y (como suele decirse) resolución de la incertidumbre. Las dos visiones no son tan contradictorias como parecen; ambas usan (en su mayoría) la misma matemática, solo interpretan las cantidades de manera diferente. Creo que la diferencia se entiende mejor con un ejemplo: supón que Alice tiene alguna información (no me interesa particularmente qué sea: el resultado de una medición, el lanzamiento de una moneda o algo que escribió), que guarda en secreto frente a todos los demás. Weiner diría que para Alice, su secreto es información, y para todos los demás es lo opuesto a la información. No me agrada ese enfoque por varias razones, una de las cuales es su subjetividad; no me gusta que la cantidad de información asociada a algo dependa de a quién se le pregunte. Prefiero decir que el secreto de Alice es información; desde la perspectiva de Alice es información que sí tiene (esto es, conocimiento), y desde la perspectiva de todos los demás es información que no tienen (es decir, ignorancia o incertidumbre). Weiner ve el conocimiento como el opuesto de la ignorancia; yo los considero como la misma cosa, vista desde direcciones opuestas (como, por ejemplo, adelante y atrás).

Otra objeción a la interpretación de Weiner es que, aunque la entropía de Shannon es ciertamente útil como medida de incertidumbre, también es útil con frecuencia como medida de otras cosas, algunas de las cuales incluso Weiner aceptaría que son información. Cito nuevamente a Shannon (1948):

Cantidades de la forma H = -K * sumatoria de i = 1 a n de P_i log P_i [es decir, entropías de Shannon -GD] (la constante K solo supone una elección de unidad de medida) desempeñan un papel central en la teoría de la información como medidas de información, elección e incertidumbre.

La teoría de la información se desarrolló originalmente para analizar la comunicación, así que veamos un ejemplo de comunicación: Supón que Alice envía a Bob un correo electrónico compuesto por dos documentos adjuntos, que llamaré X y Y. Supón que algún servidor de correo en la ruta pierde el segundo adjunto, de modo que Bob solo recibe X. Para simplificar, supón que X y Y son estadísticamente independientes, que el comportamiento del servidor de correo es determinista y que el mensaje no transmite otra información además de esos dos adjuntos. Veamos algunas de las medidas relevantes de información/incertidumbre/etc. involucradas:

• La entropía del mensaje transmitido —con la que Weiner y yo estaríamos de acuerdo en que mide la incertidumbre inicial de Bob sobre el mensaje que Alice envió, y que yo también sostendría que mide la información total del mensaje transmitido— es la entropía de X más la entropía de Y.
• La entropía condicional del mensaje transmitido dado el mensaje recibido, también conocida como equivoción —con la que Weiner y yo estaríamos de acuerdo en que mide la incertidumbre final de Bob sobre el mensaje enviado por Alice, y que yo sostendría también que mide la información perdida en tránsito— es simplemente la entropía de Y.
• La información conjunta del mensaje recibido y transmitido, que puede definirse como la diferencia entre las dos entropías anteriores (o de varias otras formas matemáticamente equivalentes) —con la que Weiner y yo también acordaríamos que mide la disminución de la incertidumbre de Bob sobre el mensaje de Alice, y además la cantidad de información transmitida con éxito— es simplemente la entropía de X.

Así, dado que X es la parte del mensaje que se comunicó con éxito, y la entropía de X es la cantidad de información comunicada con éxito, ¿cómo puedo escapar a la conclusión de que la cantidad de información transportada por X es precisamente la entropía de X?

Quizá deba enfatizar lo poco que tienen en común ambas visiones de la entropía de Shannon con lo que comúnmente llamamos “información”. Considera tres secuencias de símbolos que posiblemente contienen información:

A) este ensayo
B) una secuencia aleatoria de letras y símbolos de la misma longitud
C) una secuencia de “K” de la misma longitud
D) una secuencia aleatoria de “K” y “L” de la misma longitud

B es la menos restringida, y por tanto tiene la mayor entropía de Shannon, de modo que por mi interpretación tiene la mayor información. C es la más restringida, así que tiene la menor entropía de Shannon, y por la interpretación de Weiner, la mayor información (o quizá diría que tenemos la información a priori máxima sobre su secuencia). Pero A es la única que significa algo (vamos, algo debe significar algo) y, por tanto, la única que contiene alguna información de sentido común. Pero su entropía de Shannon está entre B y C, y aproximadamente igual a D.

5. CONSECUENCIAS PRÁCTICAS (o la falta de las mismas)

También debería señalar cuán poco importa todo esto. Si no hubiera conexión entre la entropía de Shannon y la termoentropía:

1) La entropía de Shannon podría aumentar o disminuir libremente (nota: algunas personas creen que la segunda ley tiene algún equivalente en teoría de la información, que dice que la entropía de Shannon solo puede aumentar. Están equivocados), y

2) La termoentropía en formas no informacionales (esto es, grados de libertad) solo podría aumentar.

La conexión crea excepciones a ambos principios, pero dichas excepciones son tan pequeñas que normalmente se pueden ignorar con seguridad:

1) La entropía de Shannon de un sistema físico puede aumentar libremente, pero solo puede disminuir si hay un aumento de termoentropía compensatorio involucrado. Pero el aumento de termoentropía requerido — 9.57e-24 J/K por bit, o 8.42e-11 J/K por terabyte — es tan diminuto que sería difícil incluso detectarlo.

2) La termoentropía en formas no informacionales puede disminuir, a costa de un aumento de entropía de Shannon. Pero cuando has llenado tu almacenamiento de terabytes, solo tienes una disminución de 8.42e-11 J/K de termoentropía que mostrar para ello. Apenas parece merecer la molestia.

Ahora, estos efectos pueden volverse significativos al tratar con dispositivos de memoria a escala atómica, como el ADN y el RNA. Bennett (1982, sección 5) señala que la forma en que las hebras de RNA se sintetizan de manera específica por secuencia (por ARN polimerasa) y se degradan de manera nonspecific por secuencia (por enzimas como polinucleótido polimerasa) desperdicia aproximadamente kT ln 4 (~= 1.4 kT) de energía libre por base. Esta es una porción pequeña, pero no totalmente insignificante, de la energía libre consumida por el proceso (aproximadamente 20kT para la síntesis; no proporciona el valor para la degradación).

(De hecho, el ejemplo del RNA merece examinarse con más detalle del que me voy a tomar aquí. kT ln 4 por base basta para desviar las concentraciones de reactivos en equilibrio en un factor de 4 entre las reacciones específicas y no específicas de secuencia, lo cual debería ser medible experimentalmente [pero aún no he visto una medición de eso]. Esta diferencia tiene sentido desde el punto de vista de la cinética: una reacción de síntesis específica de secuencia puede, en un momento dado, reaccionar con solo una cuarta parte de las bases disponibles que podría una reacción no específica de secuencia. Además, resulta interesante examinar exactamente dónde tiene lugar la disminución de entropía debida a la síntesis específica de secuencia: ¿en el ADN, en el RNA o solo en la entropía de ambos tomados juntos? Abogaría por la última, lo que significaría que este es uno de esos casos en que las entropías no se suman de forma simple.)

Antes de terminar esta sección, quisiera señalar que estas consecuencias — en la medida en que existen— están todas en el ámbito de la termodinámica, no de la teoría de la información. Aun así no existe un análogo termodinámico de la entropía de Shannon. Los sistemas abstractos de procesamiento de información aún pueden producir y destruir entropía de Shannon sin límite. La única vez que hay algún límite al aumento o disminución de la entropía de Shannon es cuando está codificada en el estado de un sistema sujeto a la termodinámica, y entonces los límites se deben a la termodinámica, no a ninguna consideración de teoría de la información.

6. LA ENTROPÍA TERMODINÁMICA COMO INFORMACIÓN

Al volver a mis conclusiones, prometí irme demasiado lejos con esta conexión (pero del lado opuesto al de Brillouin), e intentar identificar toda la termoentropía (realmente la entropía de Boltzmann) con la entropía de Shannon del microestado de un sistema. Esto es en realidad solo un poco de matemática simple, dada la similitud entre la fórmula de Boltzmann para la entropía de un sistema en términos de las probabilidades de todos los estados microscópicamente distintos en los que podría estar:

S = -k * Sumatoria sobre todos los microestados i de P(i) * ln(P(i))

y la fórmula de Shannon para la entropía de un conjunto de mensajes posibles (o estados o lo que sea) en términos de sus probabilidades:

H = - Sumatoria sobre todos los mensajes i de P(i) * log(P(i))

La elección de la base del logaritmo en la fórmula de Shannon es esencialmente arbitraria, salvo que determina las unidades del resultado. La base 2 es tradicional, porque da el resultado en bits, que son las unidades más populares para medir información. Pero no son las únicas unidades legítimas. Si te interesa la entropía en trits, usa la base 3; para cifras decimales usa la base 10; para nats, usa la base e (logaritmo natural, como la fórmula de Boltzmann). Y si quieres el resultado en julios por kelvin puedes usar la base e^7.243e22, o tomar el resultado en nats y multiplicarlo por k. De cualquier manera, obtendrás el mismo resultado que con la fórmula de Boltzmann.

(En realidad, si quieres que haga esto de unidades correctamente, acepto que: la información, la temperatura y la energía están relacionadas dimensionalmente: temperatura = energía / información; 1 kelvin = 9.57e-24 J/bit; y la constante de Boltzmann se escribe correctamente como k = 1.38 e-23 J/K*nat = 9.57e-24 J/Kelvin*bit = 1. Si aceptas eso, puedo usar las mismas unidades para información y termoentropía sin pestañear.)

¿Qué sentido se puede extraer de esto? Diría que significa que la entropía de un sistema es la cantidad total de información representada por el estado de ese sistema. Los seguidores de Weiner preferirían decir que significa que la entropía de un sistema es una medida de nuestra incertidumbre (o falta de información) sobre el estado preciso de ese sistema. De cualquier modo, no afecta a la física en absoluto — solo son diferentes maneras de ver la misma entropía antigua y familiar.

--------------- Referencias y lectura recomendada

Bennett, Charles H. (1973), "Logical reversibility of computation", IBM Journal of Research and Development, v. 17, pp. 525-532. Reprinted in Leff and Rex (1990), pp. 197-204.

Bennett, Charles H. (1982), "The thermodynamics of computation -- a review", International Journal of Theoretical Physics, v. 21, pp. 905-940. Reprinted in Leff and Rex (1990), pp. 213-248.

Bennett, Charles H. and Rolf Landauer (1985), "The fundamental physical limits of computation", Scientific American, v. 253, pp. 48-56.

Brillouin, Leon (1950a), "Maxwell's demon cannot operate: Information and entropy. I", Journal of Applied Physics, v. 22, pp. 334-337. Reprinted in Leff and Rex (1990), pp. 134-137.

Brillouin, Leon (1950b), "Physical entropy and information. II", Journal of Applied Physics, v. 22, pp. 338-343.

Brillouin, Leon (1956), Science and Information Theory, Academic Press Inc, New York.

Feynman, Richard P. (1996) edited by Anthony J. G. Hey and Robin W. Allen, Feynman Lectures on Computation, Addison-Wesley, ISBN 0-201- 48991-0

Leff, Harvey S. and Andrew F. Rex (1990) Eds. Maxwell's Demon: Entropy, Information, Computing, Princeton University Press, New Jersey, ISBN 0-691-08727-X and 0-691-08726-1

Landauer, Rolf (1961), "Irreversibility and heat generation in the computing process", IBM Journal of Research and Development, v. 5, pp. 183-191. Reprinted in Leff and Rex (1990), pp. 188-196.

Shannon, Claude E. (1948), "A mathematical theory of communication", Bell System Technical Journal, v. 27, pp. 379-423 and 623-656. Reprinted in Claude E. Shannon and Warren Weaver, The Mathematical Theory of Communication (University of Illinois Press, Urbana, 1949); and http://cm.bell-labs.com/cm/ms//what/shannonday/paper.html

Szilard, Leo (1929), "On the decrease of entropy in a thermodynamic system by the intervention of intelligent beings", Zeitschrift fur Physik, v. 53, pp. 840-856. English translations: Behavioral Science, v. 9, pp. 301-310 (1964); B. T. Feld and G. Weiss Szilard, The Collected Works of Leo Szilard: Scientific Papers, (MIT Press, Cambridge, 1972), pp. 103-129; J. A. Wheeler and W. H. Zurek, Quantum Theory and Mearurement (Princeton University Press), pp. 539-548; and Leff and Rex (1990), pp. 124-133.

Weiner, Norbert (1948), Cybernetics, John Wiley and Sons, Inc., New York

[Volver a las publicaciones del mes de 2000]