Objet :    Re : Question sur la théorie de l'information
Groupes de discussion : talk.origins
Date :       1er février 2001
Auteur :     Mark C. Chu-Carroll
Message-ID : m3g0hy5ris.fsf@taliesin.watson.ibm.com

woodian@my-deja.com écrit :
> Je tente de comprendre où les créationnistes et les « adeptes du dessein intelligent »
> veulent en venir avec cette « théorie de l'information et du dessein »
> de merde.
>
> Existe-t-il de bonnes ressources en ligne qui m'aideraient à comprendre de quoi
> traite la théorie de l'information (pas trop technique, mais pas trop simplifiée
> non plus) ?

Ils parlent en réalité de deux notions distinctes de la théorie de l'information : l'une est la théorie de l'information de Shannon ; l'autre est la théorie de l'information de Kolmogorov-Chaitin.

Pour une belle description de Kolmogorov-Chaitin, je suggère The Limits of Mathematics de Greg Chaitin.

Pour la théorie de l'information de Shannon, consultez http://oak.cats.ohiou.edu/~sk260695/skinfo.html, qui contient de nombreux liens.

La ruse des créationnistes consiste à mélanger les deux théories d'une manière absurde pour aboutir à une fausse conclusion.

La théorie de Shannon traite de la communication. Il travaillait pour Bell Labs, et son intérêt fondamental était la communication sur des liens bruyants. (Le papier fondamental qui a d'abord proposé la TI de Shannon s'intitulait « Communication en présence de bruit ».) Dans la théorie de Shannon, l'entropie est le désordre introduit par le bruit : la communication sur un canal bruyant ajoute toujours de l'entropie, mais on ne peut jamais ajouter d'information - car le but est de transmettre correctement l'information d'une source à une destination. Le bruit le long du canal ne peut pas ajouter à la teneur en information - car par définition, la seule information était fournie par l'émetteur, et tout ce qui se produit pendant la transmission ne peut, au mieux, pas nuire à la teneur en information de la transmission.

La théorie de Shannon est donc à la racine de l'affirmation créationniste selon laquelle « le hasard ne peut pas ajouter d'information à un système ».

La théorie de l'information de Kolmogorov-Chaitin est un sujet totalement différent (et dont je connais plus que Shannon). La K-C est une version de la théorie de l'information dérivée de l'informatique. Elle étudie ce qu'elle appelle le contenu informationnel d'une chaîne. Dans la théorie de l'information K-C, on définit le contenu informationnel d'une chaîne en fonction de l'aléatoire de la chaîne : une chaîne avec beaucoup de redondance a un faible contenu informationnel ; plus une chaîne est aléatoire, moins elle a de redondance, et donc plus chaque bit en contient d'information. La théorie de l'information K-C est intéressante en ce qu'elle considère la taille de la "machine de décodage" utilisée pour interpréter une chaîne comme faisant partie de la mesure du contenu informationnel de cette chaîne. La K-C a également une définition de l'entropie comme mesure du contenu informationnel : l'entropie est une mesure de l'aléatoire d'une chaîne, et donc, du contenu informationnel de cette chaîne.

La théorie de l'information de K-C est absolument fascinante et a été utilisée relativement largement de nombreuses façons intéressantes. Greg Chaitin l'a utilisée comme outil pour étudier certaines propriétés très profondes des mathématiques ; elle a été utilisée par des scientifiques théoriciens de l'informatique pour analyser la complexité algorithmique intrinsèque des problèmes calculables ; et elle a été utilisée pour discuter du contenu informationnel de l'ADN (car avec l'ADN, le contenu informationnel n'est pas déterminé uniquement par la séquence du gène, mais par la machinerie qui le traite).

Le tour des créationnistes consiste à affirmer que le terme « entropie » signifie la même chose dans les théories de l'information de Shannon et de K-C. Si c'est vrai, alors vous pouvez mesurer le contenu informationnel de l'ADN en utilisant des termes de K-C, et ensuite soutenir, sur la base de la théorie de Shannon, que le contenu informationnel de l'ADN ne peut jamais augmenter.

Le défaut ici est en réalité assez subtil. La théorie K-C ne dit rien sur la manière dont le contenu informationnel peut changer. Elle parle simplement de la façon de mesurer le contenu informationnel et de ce que signifie, en fait, le contenu informationnel dans un sens mathématique/informatique. Mais Shannon travaille dans un domaine très limité où il existe une limite supérieure spécifique et prédéterminée au contenu informationnel. La théorie K-C, par définition, n'a pas de telle limite supérieure.

Ajouter du hasard à un système ajoute du bruit au système. Selon la théorie de Shannon, cela signifie que le contenu informationnel du système diminue. Mais selon la théorie K-C, le contenu informationnel augmentera probablement en raison de l'ajout de hasard. La théorie K-C permet au bruit d'augmenter le contenu informationnel ; la théorie de Shannon ne le permet pas. Mélanger les deux, vous obtenez quelque chose de dénué de sens, mais vous pouvez créer des choses qui semblent très profondes et qui paraissent très éblouissantes aux personnes qui ne sont pas formées à l'une ou l'autre forme de théorie de l'information.

-Mark

--
  "There's nothing I like better than the sound of a banjo, unless of
   course it's the sound of a chicken caught in a vacuum cleaner."
Mark Craig Chu-Carroll   (mcc@watson.ibm.com)
IBM T.J. Watson Research Center 

[Retour aux articles du mois de 2001]