Cómo medir la información

Publicación del mes: febrero de 2001

por Mark Chu-Carroll

Asunto:    Re: Pregunta sobre la Teoría de la Información
Grupos de noticias: talk.origins
Fecha:       1 de febrero de 2001
Autor:       Mark C. Chu-Carroll
ID del mensaje: m3g0hy5ris.fsf@taliesin.watson.ibm.com

woodian@my-deja.com escribe:
> Estoy tratando de entender hacia dónde van los creacionistas y los "diseñadores
> inteligentes" con esta "basura" sobre la "teoría de la información y el
> diseño".
>
> ¿Hay algún buen recurso en línea que me ayude a entender de qué trata la
> teoría de la información (no demasiado técnica, pero tampoco demasiado
> simplificada, ¡ni eso!)?

En realidad, están hablando de dos nociones distintas de teoría de la información: una es la teoría de la información de Shannon; y la otra es la teoría de la información de Kolmogorov-Chaitin.

Para una descripción agradable de Kolmogorov-Chaitin, sugiero Los límites de las matemáticas de Greg Chaitin.

Para la teoría de la información de Shannon, eche un vistazo a http://oak.cats.ohiou.edu/~sk260695/skinfo.html, que tiene muchos enlaces.

El truco del creacionismo consiste en mezclar las dos teorías de una manera absurda para crear una conclusión falsa.

La teoría de Shannon se ocupa de la comunicación. Trabajaba para Bell Labs, y su interés fundamental era la comunicación a través de enlaces ruidosos. (El artículo fundamental que propuso por primera vez la TI de Shannon se titulaba "Comunicación en presencia de ruido".) En la teoría de Shannon, la entropía es el azar introducido por el ruido: la comunicación a través de un canal ruidoso siempre añade entropía, pero nunca se puede añadir información, porque el punto es transmitir correctamente la información desde una fuente a un destino. El ruido a lo largo del canal no puede añadir al contenido de la información, porque por definición, la única información fue proporcionada por el transmisor, y cualquier cosa que ocurra durante la transmisión, en el mejor de los casos, no puede dañar el contenido de la información de la transmisión.

Por lo tanto, la teoría de Shannon es la raíz de la afirmación creacionista de que "la aleatoriedad no puede añadir información a un sistema".

La teoría de la información de Kolmogorov-Chaitin es un tema totalmente diferente (y uno sobre el que sé más que sobre Shannon). K-C es una versión de la teoría de la información derivada de la informática. Estudia lo que llama contenido de información de una cadena. En la teoría de la información K-C, se define el contenido de información de una cadena en términos de la aleatoriedad de la cadena: una cadena con mucha redundancia tiene bajo contenido de información; cuanto más aleatoria es una cadena, menos redundancia tiene, y por lo tanto, más información contiene cada bit de ella. La teoría de la información K-C es interesante porque considera que el tamaño de la "máquina de decodificación" utilizada para interpretar una cadena es parte de la medida del contenido de información de esa cadena. K-C también tiene una definición de entropía como medida de contenido de información: la entropía es una medida de la aleatoriedad de una cadena, y por lo tanto, del contenido de información de esa cadena.

La teoría de la información de K-C es absolutamente fascinante y ha sido utilizada de manera bastante amplia en muchas formas interesantes. Greg Chaitin la ha empleado como una herramienta para estudiar algunas propiedades muy profundas de las matemáticas; ha sido utilizada por científicos teóricos de la computación para analizar la complejidad algorítmica intrínseca de problemas computables; y ha sido empleada para discutir el contenido de información del ADN (porque, con el ADN, el contenido de información no está determinado únicamente por la secuencia génica, sino por la maquinaria que lo procesa).

El truco del creacionismo es afirmar que el término "entropía" significa lo mismo en ambas teorías de la información: Shannon y K-C. Si eso fuera cierto, entonces podrías medir el contenido de información del ADN utilizando términos de K-C y luego argumentar, basándote en la teoría de Shannon, que el contenido de información del ADN nunca puede aumentar.

El error aquí es en realidad bastante sutil. K-C no dice nada sobre cómo puede cambiar el contenido de información. Simplemente habla sobre cómo medir el contenido de información y qué significa, de hecho, el contenido de información en un sentido matemático/computacional. Pero Shannon está trabajando en un campo muy limitado donde existe un límite superior específico y predeterminado para el contenido de información. K-C, por definición, no tiene tal límite superior.

Añadir aleatoriedad a un sistema añade ruido al sistema. Según la teoría de Shannon, eso significa que el contenido de información del sistema disminuye. Pero según la teoría K-C, el contenido de información probablemente con la adición de aleatoriedad. K-C permite que el ruido aumente el contenido de información; Shannon no. Mezclar las dos, obtienes algo sin sentido, pero puedes crear cosas que parecen muy profundas y que parecen muy deslumbrantes para personas que no están entrenadas en ninguna de las dos formas de teoría de la información.

-Marc

--
  "There's nothing I like better than the sound of a banjo, unless of
   course it's the sound of a chicken caught in a vacuum cleaner."
Mark Craig Chu-Carroll   (mcc@watson.ibm.com)
IBM T.J. Watson Research Center 

[Volver a las Publicaciones del Mes de 2001]