Subject:    Re: The information smokescreen
Newsgroups: talk.origins
Date:       October 7, 2000
Message-ID: gordon-11739F.19062607102000@[127.0.0.1]

Bon, je me sens bête, donc je vais me lancer et essayer de défendre l'idée que la thermodynamique est reliée à la théorie de l'information (même si la connexion n'est probablement pas celle à laquelle vous vous attendez). J'ai travaillé sur cet essai depuis un certain temps déjà, mais je ne le considère pas encore comme terminé (je n'ai pas fini la lecture que je devrais faire, et il y a plusieurs autres points que je dois couvrir — notamment la question du statut de l'entropie en tant que fonction d'état, et quelques questions annexes soulevées par la synthèse d'ARN). J'espérais avoir plus de temps pour y travailler avant la publication, mais comme le sujet est revenu, vous le recevez en l'état. Considérez-vous prévenus...

(Il se peut aussi que cela ressemble à un message-bombardement, parce que je m'écris lentement et suis incroyablement peu fiable pour répondre. Mais je lis ce forum depuis environ 16 ans maintenant, et je ne prévois pas disparaître de sitôt.)

Cela va devenir plutôt long et technique, et je soupçonne que la plupart d'entre vous ne le jugeront pas utile de parcourir entièrement, donc je vais commencer par la partie importante : mes conclusions.

1. CONCLUSIONS

Premièrement : l'entropie informationnelle (ou entropie de Shannon) d'un système physique contribue à son entropie thermodynamique, au rythme de 1 bit d'entropie de Shannon => k (constante de Boltzmann) * ln 2 = 9,57e-24 joule/kelvin d'entropie thermodynamique.

Deuxièmement : ma première conclusion ci-dessus ne compte pas vraiment car, dans des conditions réalistes, la contribution informationnelle à l'entropie thermodynamique est si faible qu'elle peut être ignorée en toute sécurité. Par exemple, un téraoctet (2⁴³ bits) d'information ne correspond qu'à 8,42e-11 J/K d'entro-thermo, ce qui équivaut à la différence d'entropie entre 1 cm³ d'eau (environ un fond de boîte) à une température de 300 kelvin (environ la température ambiante) et la même quantité d'eau à une température de 300,000000060 kelvin (également très proche de la température ambiante). C'est une énorme quantité d'information, mais une quantité négligeable d'entropie thermodynamique.

Troisièmement : il est possible d'aller encore plus loin avec ma première conclusion, et de considérer l'entropie entière thermodynamique (ou, plus exactement, mécanique statistique) d'un système physique comme l'entropie de Shannon de son micro-état (c'est-à-dire son état physique précis), multipliée par k ln 2. En réalité, si l'on considère k ln 2 comme un simple facteur de conversion d'unités (des bits vers des unités de type thermo), alors l'entropie de Boltzmann d'un système est exactement l'entropie de Shannon de son micro-état.

Quatrièmement : ma troisième conclusion ne compte pas non plus.

Cinquièmement : il y a une petite controverse sur le fait de savoir si l'entropie de Shannon doit être considérée comme de l'information, ou l'opposé de l'information. Je soutiens que la première interprétation est plus logique, bien qu'aucune des deux ne fournisse une définition de «l'information» ressemblant beaucoup à la définition du sens commun utilisée par la plupart des gens. (Pour l'instant, je note simplement que effacer la mémoire d'un ordinateur diminue son entropie de Shannon. Cela ressemble-t-il à une augmentation de l'information pour vous ?)

Sixièmement : la connexion entre information et thermodynamique est encore moins pertinente pour l'argument création(/dessein intelligent)/évolution que ne le suggérerait ma deuxième conclusion, car l'entropie de Shannon n'est pas liée de façon monotone au type d'information que les créationnistes(/ID-istes) pensent que l'évolution ne peut pas produire. Par exemple, considérez 3 brins d'ADN, tous de même longueur : A) un copié exactement à partir d'un autre brin d'ADN ; B) un codant un organisme vivant entièrement nouveau, mais viable ; et C) un avec une séquence de bases entièrement aléatoire. Parmi ces brins, C est le moins contraint et a donc les entropies de Shannon et thermo- les plus élevées ; A est le plus contraint et a donc la plus faible entropie de Shannon (nouvelle), et la plus faible entropie thermo- (nouvelle). B est entre les deux autres, malgré le fait que c'est le seul qui contienne une information nouvelle du type qui intéresse les créationnistes(/ID-istes). En d'autres termes : si l'entropie thermodynamique était la contrainte pertinente, il devrait être plus facile qu'apparaisse un organisme totalement nouveau que la reproduction d'un organisme existant ; or ce n'est pas le cas, donc l'entropie thermodynamique n'est pas la contrainte pertinente.

Alors, si tout cela est aussi hors de propos que je le dis, quel est le but ? Pourquoi m'embêter ? Eh bien, certaines personnes trouvent ce genre de dénombrement «anges sur la tête d'une épingle» fascinant, et je suis une de ces personnes. Donc, passons aux choses sérieuses. Je vais commencer par une approche historique du problème.

2. L'HISTOIRE DU DÉMON DE MAXWELL

(Note : la plupart de cela est résumé à partir de Maxwell's Demon: Entropy, Information, Computing, de H. S. Leff et A. F. Rex (1990) et des articles qu'ils ont réédités ; si le sujet vous intéresse, je recommande de vous procurer un exemplaire de ce livre. Il est épuisé, mais cela ne devrait pas vous arrêter...)

La connexion entre entropie et information a été d'abord établie dans l'analyse du démon de Maxwell. Pour ceux qui ne sont pas familiers avec cela, il s'agit d'une expérience mentale proposée par James Clerk Maxwell vers 1867, qui semblait impliquer qu'un être intelligent (dit aussi le démon) pouvait diminuer l'entropie. Le démon gardait une toute petite porte entre deux pièces remplies de gaz (initialement à la même température, pression, etc.). Le démon pouvait ouvrir et fermer la porte selon les molécules de gaz qui s'en approchaient à un instant donné (rappelons qu'il s'agit d'une porte très petite). Dans la version originale, il ne l'ouvrait que lorsqu'une molécule plus lente que la moyenne arrivait, par exemple, depuis la droite, ou lorsqu'une molécule plus rapide que la moyenne arrivait depuis la gauche. Après l'avoir fait suffisamment longtemps, le gaz de la pièce de droite serait plus chaud que le gaz de gauche, et l'entropie totale du gaz aurait diminué. Sauf qu'il y ait aussi une augmentation de l'entropie compensatoire, cela violerait la seconde loi de la thermodynamique.

(Il existe aussi de nombreuses variantes, comme une version dans laquelle le démon ne laisse passer les molécules que dans une direction, produisant ainsi une différence de pression ; cela revient au même.)

(Note : certaines personnes semblent penser que la seconde loi de la thermodynamique s'applique différemment aux êtres intelligents et/ou à leurs créations, par rapport aux objets inanimés non conçus. C'est incorrect ; la formulation standard de la seconde loi s'applique de manière égale aux humains, aux machines à vapeur et aux roches. Le démon de Maxwell est intéressant en partie parce qu'il semble impliquer une exception à cette égalité avant la loi.)

(Autre note : bien que cet être hypothétique soit généralement appelé démon, cela ne veut pas dire qu'il est surnaturel ou mauvais. C'est simplement le nom sous lequel on connaît la petite bête, c'est tout.)

Le problème apparent posé par le démon de Maxwell a été «résolu» au fil des années de plusieurs façons. La première résolution utile ici est due à Leo Szilard (1929), qui a montré qu'il y avait une augmentation d'entropie associée au fait de faire et de mémoriser les mesures (par ex. des molécules de gaz approchant) nécessaires au démon de Mazwell pour accomplir son travail. Il a également dérivé une limite inférieure pour cette augmentation d'entropie, qui se réduit à k ln 2 dans le cas d'une mesure binaire symétrique. Malheureusement, il est difficile de dire précisément d'après son article où et comment cette augmentation d'entropie apparaît.

Leon Brillouin (1950a, 1950b, 1956) a tenté d'éclaircir la question en montrant que, pour voir les molécules de gaz arrivant sur fond du rayonnement thermique émis par des molécules de gaz plus lointaines (et les parois, etc.), le démon devait éclairer la zone autour de la porte à l'aide d'une source lumineuse à haute température, ce qui chauffait le gaz environnant et produisait ainsi suffisamment d'entropie pour satisfaire la seconde loi (il n'a pas, à ma connaissance, considéré la possibilité qu'il existe des moyens plus efficaces de détecter les molécules de gaz). Il est ensuite allé (à mon sens) trop loin en identifiant l'information à une entropie négative, ce qui a mené à une grande partie de la confusion sur le sujet que nous avons l'habitude de voir réapparaître de temps en temps sur talk.origins (et ailleurs). Pour être juste, ses conclusions ne sont pas déraisonnables : étant donné que l'information ne peut être obtenue qu'au prix d'une augmentation de l'entropie ailleurs, et que l'on peut ensuite «dépenser» de l'information (en ouvrant/fermant la porte) pour obtenir une diminution d'entropie ailleurs, il paraît logique de penser l'information comme une sorte d'anti-entropie. Il s'avère simplement que c'est faux (ou au moins très trompeur).

La première objection est venue de l'analyse de Rolf Landauer (1961) des limites de l'efficacité thermodynamique du calcul. Il a montré que les opérations logiquement irréversibles — essentiellement celles qui détruisent de l'information — produisaient de l'entropie. Comme Charles H. Bennett et Landauer (1985) l'ont formulé :

... l'information est détruite chaque fois que deux situations auparavant distinctes deviennent indiscernables. Dans les systèmes physiques sans friction, l'information ne peut jamais être détruite ; chaque fois que l'information est détruite, une certaine quantité d'énergie doit être dissipée (convertie en chaleur). Par exemple, imaginez deux situations physiques faciles à distinguer, telles qu'une balle de caoutchouc tenue à un mètre ou à deux mètres du sol. Si la balle est lâchée, elle rebondit. En l'absence de friction et si la balle est parfaitement élastique, un observateur pourra toujours déterminer dans quel état la balle a commencé (c'est-à-dire quelle était sa hauteur initiale) parce qu'une balle lâchée de deux mètres rebondit plus haut qu'une balle lâchée d'un mètre.

Si la friction existe toutefois, la balle dissipera une petite quantité d'énergie à chaque rebond, jusqu'à ce qu'elle cesse de rebondir et revienne au repos au sol. Il sera alors impossible de déterminer quel était l'état initial de la balle ; une balle lâchée de deux mètres sera identique à une balle lâchée d'un mètre. L'information aura été perdue à la suite de la dissipation d'énergie.

Landauer a également soutenu que l'irréversibilité logique était une caractéristique nécessaire du calcul (utile), puisque réaliser un calcul entier de manière réversible exigerait de préserver non seulement les données d'entrée, mais aussi une quantité impraticable de résultats intermédiaires toute au long du calcul. Bennett (1973) a trouvé une solution : en exécutant l'intégralité du calcul (en conservant des piles de résultats intermédiaires), puis en copiant la partie souhaitée du résultat, puis en faisant tourner le calcul en sens inverse pour éliminer les résultats intermédiaires indésirables, il serait possible de terminer avec seulement les données d'entrée et les données de sortie souhaitées. Cela a ouvert la théorie du calcul réversible, qui est encore plus totalement hors de propos par rapport à la plupart de ce dont je parle ; je renverrai donc simplement le lecteur intéressé à Richard Feynman (1996) et Bennett (1982), puis je reviendrai au sujet en cours...

Bennett (1982, section 5) a aussi fait tomber l'autre chaussure à propos de Brillouin, en montrant qu'il existe des moyens plus efficaces d'effectuer des mesures. Comme il l'affirme :

Il est souvent supposé que la mesure (p. ex. la mesure que le démon doit effectuer pour déterminer si la molécule s'approche de la gauche ou de la droite) est un acte inévitablement irréversible, nécessitant une génération d'entropie d'au moins k ln 2 par bit d'information obtenu, et que c'est cela qui empêche le démon de violer la seconde loi. En fait, comme cela sera montré ci-dessous, des mesures du type requis par le démon de Maxwell peuvent être faites de manière réversible, à condition que l'appareil de mesure (par ex. le mécanisme interne du démon) soit dans un état standard avant la mesure, de manière à ce que la mesure, comme la copie d'un bit sur une bande auparavant vierge, n'écrase pas l'information préalablement stockée là. Dans ces conditions, l'acte irréversible essentiel, qui empêche le démon de violer la seconde loi, n'est pas la mesure elle-même mais la restauration ultérieure de l'appareil de mesure à un état standard en préparation de la mesure suivante. Cet oubli d'un état logique antérieur, comme l'effacement ou la réécriture d'un bit de données intermédiaires générées au cours d'un calcul, implique une application de type plusieurs-à-un de l'état physique du démon, qui ne peut être accomplie sans une augmentation correspondante de l'entropie ailleurs.

Ironiquement, bien que cela invalide l'analyse de Brillouin sur le démon, cela s'insère en fait bien comme un raffinement de celle de Szilard. Pour simplifier, Szilard avait décomposé les phases d'opération du démon ainsi :

1) Faire une mesure (de l'état des molécules de gaz)

2) Utiliser le résultat de cette mesure pour diminuer l'entropie (du gaz)

Szilard a montré que la phase 1 devait produire de l'entropie. Bennett l'a détaillée davantage :

1a) Oublier le résultat de la mesure précédente

1b) Faire une nouvelle mesure

2) Utiliser le résultat de la nouvelle mesure

...et montré que l'augmentation d'entropie intervient dans la phase 1a, pas 1b. Cela donne une perspective plutôt contraire : l'augmentation d'entropie est associée, non à la production d'information, mais à sa destruction ; donc l'information n'est pas l'opposé de l'entropie, c'est plutôt grosso modo la même chose que l'entropie. En fait, si le démon a une grande capacité de mémoire, il est possible d'omettre l'étape 1a pendant plusieurs cycles de fonctionnement du démon et produire une diminution arbitrairement grande de l'entropie du gaz au prix de remplir la mémoire du démon avec les résultats des mesures anciennes. De cette manière, il est possible de convertir l'entropie du gaz en information. C'est bien de l'entropie, vous m'entendez — l'entropie des banques de mémoire du démon augmente avec la quantité d'information stockée là, donc nous n'avons en réalité fait que déplacer l'entropie du gaz vers la mémoire du démon, et en modifier légèrement la forme.

3. UN MOTEUR CHAUDE DÉCOULÉ DE L'INFORMATION

En fait, Bennett (toujours en 1982, section 5 ; voir aussi Feynman 1996, p. 137-148) a une façon encore plus élégante d'accomplir cette conversion. Il imagine un moteur thermique qui prend une bande de données vierge et de la chaleur, et produit du travail et une bande pleine de données aléatoires. Le principe est assez général, mais utilisons une version dans laquelle chaque bit de la bande est constitué d'un récipient contenant une seule molécule de gaz, et d'un séparateur au milieu du récipient. Si la molécule se trouve du côté gauche du séparateur, elle représente un zéro ; si elle se trouve du côté droit, elle représente un un. Le moteur reçoit une bande remplie de zéros, et pour chaque bit qu'elle contient il le met en contact avec un bain thermique à température T, remplace le séparateur par un piston, laisse le piston se déplacer lentement vers la droite, puis retire le piston et replace le séparateur au milieu (en emprisonnant la molécule de gaz d'un côté au hasard). Pendant que le piston se déplace vers la droite, le gaz produit (en moyenne) kT ln 2 de travail sur celui-ci, et absorbe (en moyenne) kT ln 2 de chaleur du bain (via les parois du récipient). Essentiellement, il s'agit d'un gaz idéal à une seule molécule subissant une expansion réversible isotherme. Et bien que les résultats d'un seul bit varient énormément (comme d'habitude, on observe des fluctuations thermiques de l'ordre de kT, qui sont aussi grandes que l'effet que nous étudions), si vous effectuez cette opération un grand nombre de fois, la moyenne tend à dominer, et les choses commencent à devenir plus déterministes.

Maintenant, le fonctionnement de ce moteur est thermodynamiquement réversible. Cela signifie que tout comme il peut convertir de la chaleur+une bande vierge en travail+bande aléatoire, il peut aussi être fonctionner en sens inverse pour convertir travail+bande aléatoire en chaleur+bande vierge. Cela signifie aussi que nous pouvons appliquer la formule du changement d'entropie dans un processus réversible, dS = dQ/T, pour montrer que la bande aléatoire a une entropie supérieure de k ln 2 par bit à la bande vierge.

4. L'ENTROPIE DE SHANNON COMME INFORMATION

À ce stade, je devrais probablement m'écarter un instant sur la question de ce type d'information que nous discutons ici. Selon la définition du sens commun que la plupart d'entre nous utilisent généralement, l'information est étroitement associée au sens (une version que j'aime bien est de dire que l'information est définie comme des données accompagnées de leur interprétation). Mais si l'on peut considérer l'« information » dans les banques de mémoire du démon comme ayant un sens (c'est-à-dire qu'elle enregistre l'état antérieur des particules de gaz), il est plutôt difficile de revendiquer que la bande de sortie aléatoire de ce moteur thermique signifie quoi que ce soit. La première chose à comprendre est que les définitions pertinentes de l'information sont celles de la théorie de l'information statistique, qui sont assez différentes de la définition du sens commun. Entre autres choses, elles ne tiennent aucun compte du sens. Comme Claude Shannon (1948) l'exprime :

Le problème fondamental de la communication consiste à reproduire en un point, exactement ou approximativement, un message choisi à un autre point. Très souvent les messages ont un sens; c'est-à-dire qu'ils renvoient à certains systèmes avec certaines entités physiques ou conceptuelles, ou qu'ils y sont corrélés. Ces aspects sémantiques de la communication sont sans rapport avec le problème d'ingénierie. L'aspect important est que le message réel est un choix parmi un ensemble de messages possibles.

... et la mesure d'information de Shannon, qu'il a appelée entropie, est essentiellement une mesure de la taille de cet ensemble de messages (ou, si vous préférez, une mesure du degré de liberté du message). La bande aléatoire possède plus de séquences possibles (est moins contrainte) que la bande vierge, et a donc une entropie de Shannon plus élevée, et dans cette interprétation, davantage d'information.

Il ne s'agit pas de la seule interprétation de l'entropie de Shannon, ni de l'absence de contrainte qu'elle mesure. L'autre point de vue, que je pense attribué à Norbert Wiener (1948) (et adopté par Brillouin et beaucoup d'autres), identifie l'information aux diminutions de l'entropie de Shannon, aux augmentations de contrainte, à l'élimination des possibilités et (comme on le dit habituellement) à la résolution de l'incertitude. Les deux vues ne sont pas aussi contradictoires qu'elles peuvent paraître ; elles utilisent toutes les deux (principalement) les mêmes mathématiques, elles interprètent seulement les quantités de manière différente. Je pense que la différence se voit mieux par un exemple : supposons qu'Alice possède une certaine information (je me fiche un peu de ce que c'est — le résultat d'une mesure, le résultat d'un lancer de pièce, ou quelque chose qu'elle a écrit, quoi qu'il en soit), qu'elle garde secrète face à tous les autres. Weiner dirait qu'aux yeux d'Alice, son secret est de l'information, et pour tous les autres, c'est l'opposé de l'information. Je n'apprécie pas cette approche pour plusieurs raisons, dont l'une est sa subjectivité ; je n'aime pas le fait que la quantité d'information associée à quelque chose dépende de la personne à qui on demande. Je préfère dire que le secret d'Alice est de l'information ; du point de vue d'Alice, c'est une information qu'elle possède (c'est-à-dire une connaissance), et du point de vue des autres, c'est une information qu'ils ne possèdent pas (c'est-à-dire ignorance ou incertitude). Weiner voit la connaissance comme l'opposé de l'ignorance ; je les vois comme la même chose vue sous des directions opposées (tout comme, par exemple, l'aller et le retour).

Une autre objection à l'interprétation de Weiner est que, si l'entropie de Shannon est certainement utile comme mesure d'incertitude, elle est aussi souvent utile comme mesure d'autres choses, dont certaines seraient encore acceptées comme de l'information même par Weiner. En citant encore Shannon (1948) :

Des quantités de la forme H = -K * somme de i = 1 à n de P_i log P_i [c.-à-d. entropies de Shannon -GD] (la constante K n'intervient qu'en fonction d'un choix d'unité de mesure) jouent un rôle central dans la théorie de l'information en tant que mesures d'information, de choix et d'incertitude.

La théorie de l'information a été développée à l'origine pour l'analyse de la communication, aussi regardons un exemple de communication : supposez qu'Alice envoie à Bob un message électronique composé de deux documents joints, que j'appellerai X et Y. Supposons qu'un serveur de messagerie sur le parcours perde la seconde pièce jointe, si bien que Bob ne reçoive que X. Pour simplifier les choses, supposons que X et Y soient statistiquement indépendants, que le comportement du serveur de messagerie soit déterministe et que le message ne transporte aucune information autre que les deux pièces jointes. Regardons quelques-unes des mesures pertinentes d'information/ d'incertitude / quoi qu'il en soit :

• L'entropie du message transmis — que Weiner et moi admettrions tous deux mesurerait l'incertitude initiale de Bob à propos du message envoyé par Alice, et sur laquelle je revendique également qu'elle mesure l'information totale du message transmis — est l'entropie de X plus l'entropie de Y.
• L'entropie conditionnelle du message transmis compte tenu du message reçu, également connue sous le nom d'équivocation — que Weiner et moi admettrions tous deux mesurerait l'incertitude finale de Bob au sujet du message envoyé par Alice, et sur laquelle je revendique aussi qu'elle mesure l'information perdue au cours du transfert — n'est que l'entropie de Y.
• L'information conjointe des messages reçu et transmis, qui peut être définie comme la différence entre les deux dernières entropies (ou selon diverses autres manières mathématiquement équivalentes) — que Weiner et moi admettrions tous deux mesurerait la diminution de l'incertitude de Bob concernant le message d'Alice, ainsi que la quantité d'information transmise avec succès — n'est que l'entropie de X.

Donc, puisque X est la partie du message qui a été communiquée avec succès, et que l'entropie de X est la quantité d'information communiquée avec succès, comment puis-je éviter la conclusion selon laquelle la quantité d'information portée par X est précisément l'entropie de X ?

Je devrais peut-être souligner à quel point ces deux visions de l'entropie de Shannon ont à voir peu avec ce que nous appelons habituellement «information». Considérons trois séquences de symboles pouvant contenir potentiellement de l'information :

A) cet essai
B) une suite aléatoire de lettres et de symboles de même longueur
C) une suite de «K» de même longueur
D) une suite aléatoire de «K» et de «L» de même longueur

B est le moins contraint, et a donc l'entropie de Shannon la plus élevée, donc selon mon interprétation il contient le plus d'information. C est le plus contraint, donc il a l'entropie de Shannon la plus faible, et selon l'interprétation de Weiner, l'information la plus élevée (ou peut-être dirait-il que nous avons l'information a priori la plus élevée concernant sa séquence). Mais A est le seul qui veuille dire quelque chose (allez, quand même, une partie de tout cela doit signifier quelque chose), et donc le seul à porter une information de sens commun. Mais son entropie de Shannon se situe entre B et C, et à peu près au même niveau que D.

5. CONSÉQUENCES PRATIQUES (ou le manque de celles-ci)

Je dois également souligner combien tout cela compte peu. S'il n'y avait pas de connexion entre l'entropie de Shannon et l'entropie thermo :

1) L'entropie de Shannon pourrait augmenter ou diminuer librement (note : certaines personnes pensent que la seconde loi possède un pendant en théorie de l'information, qui dirait que l'entropie de Shannon ne peut qu'augmenter. Elles se trompent), et

2) L'entropie thermo dans des formes non informationnelles (c'est-à-dire des degrés de liberté) ne pourrait qu'augmenter.

La connexion crée des exceptions à ces deux principes, mais ces exceptions sont si petites qu'elles peuvent généralement être ignorées en toute sécurité :

1) L'entropie de Shannon d'un système physique peut augmenter librement, mais ne peut décroître que s'il y a une augmentation d'entropie thermodynamique compensatrice. Or l'augmentation d'entropie thermodynamique requise — 9,57e-24 J/K par bit, ou 8,42e-11 J/K par téraoctet — est si minuscule qu'il serait difficile de la détecter.

2) L'entropie thermo dans des formes non informationnelles peut diminuer, au prix d'une augmentation de l'entropie de Shannon. Mais quand vous avez rempli votre stockage de téraoctets, vous n'avez qu'une diminution de 8,42e-11 J/K d'entropie thermo à montrer en échange. Cela ne semble guère valoir l'effort.

Maintenant, ces effets peuvent devenir significatifs lorsqu'il s'agit de dispositifs de mémoire à l'échelle atomique, comme l'ADN et l'ARN. Bennett (1982, section 5) montre que la manière dont les brins d'ARN sont synthétisés de manière spécifique à une séquence (par l'ARN polymérase) et dégradés de manière non spécifique à la séquence (par des enzymes comme la polynucléotide phosphorylase) gaspille environ kT ln 4 (~= 1,4 kT) d'énergie libre par base. C'est une petite quantité, mais pas totalement insignifiante, dans l'énergie libre consommée par le processus (environ 20kT pour la synthèse ; il ne donne pas la valeur pour la dégradation).

(En fait, l'exemple d'ARN mérite d'être examiné avec plus de détails que je ne vais le faire ici. kT ln 4 par base suffit à décaler les concentrations des réactifs à l'équilibre d'un facteur 4 entre les réactions spécifiques à la séquence et non spécifiques, ce qui devrait être mesurable expérimentalement [mais je n'ai pas encore vu de mesure de ce phénomène]. Cette différence s'explique bien du point de vue de la cinétique : une réaction de synthèse spécifique à la séquence ne peut, à un moment donné, réagir qu'avec un quart des bases disponibles qu'une réaction non spécifique pourrait. Il est aussi intéressant d'examiner précisément où la diminution d'entropie due à la synthèse spécifique à la séquence se situe : dans l'ADN, dans l'ARN, ou seulement dans l'entropie des deux prises ensemble ? J'arguerais pour la dernière possibilité, ce qui signifie que c'est l'un de ces cas où les entropies ne s'additionnent pas proprement.)

Avant de terminer cette section, je voudrais noter que ces conséquences — telles qu'elles sont — se situent toutes dans le domaine de la thermodynamique, pas dans la théorie de l'information. Il n'existe toujours pas d'analogue information-théorique de la seconde loi de la thermodynamique. Les systèmes abstraits de traitement de l'information peuvent encore produire et détruire indéfiniment l'entropie de Shannon. La seule fois où il existe une limite à l'augmentation ou à la diminution de l'entropie de Shannon est lorsqu'elle est encodée dans l'état d'un système soumis à la thermodynamique, et alors ces limites sont dues à la thermodynamique, et non à une considération purement information-théorique.

6. L'ENTROPIE THERMODYNAMIQUE COMME INFORMATION

Dans mes conclusions, j'avais promis d'aller au-delà avec cette connexion (mais de l'autre côté du bateau par rapport à Brillouin), et de m'essayer à identifier toute l'entropie thermique (l'entropie de Boltzmann, en fait) avec l'entropie de Shannon de l'espace micro-étatique d'un système. C'est en réalité juste un peu de mathématiques simple, compte tenu de la similitude entre la formule de Boltzmann pour l'entropie d'un système en fonction des probabilités de tous les états microscopiques dans lesquels il pourrait se trouver :

S = -k * somme sur tous les micro-états i de P(i) * ln(P(i))

et la formule de Shannon pour l'entropie d'un ensemble de messages possibles (ou d'états, ou de ce que vous voulez) en fonction de leurs probabilités :

H = - Somme sur tous les messages i de P(i) * log(P(i))

Le choix d'une base pour le logarithme dans la formule de Shannon est essentiellement arbitraire, sauf qu'il détermine les unités du résultat. La base 2 est traditionnelle car elle donne un résultat en bits, qui sont les unités les plus populaires pour la mesure de l'information. Mais ce ne sont pas les seules unités légitimes. Si vous voulez l'entropie en trits, utilisez simplement la base 3 ; pour les chiffres décimaux, utilisez la base 10 ; pour les nats, utilisez la base e (logarithme naturel, comme dans la formule de Boltzmann). Et si vous voulez le résultat en joules par kelvin, vous pouvez utiliser la base e^7.243e22, ou prendre le résultat en nats et multiplier par k. Dans les deux cas, vous obtenez le même résultat que par la formule de Boltzmann.

(En fait, si vous voulez que je fasse correctement les conversions d'unités, laissez-moi supposer que l'information, la température et l'énergie sont reliées dimensionnellement : température = énergie / information ; 1 kelvin = 9,57e-24 joule/bit ; et la constante de Boltzmann s'écrit correctement k = 1,38 e-23 J/K*nat = 9,57e-24 joule/Kelvin*bit = 1. Si vous admettez cela, je peux utiliser les mêmes unités pour l'information et l'entropie thermo sans sourciller.)

Que peut-on comprendre de cela ? Je dirais que cela signifie que l'entropie d'un système est la quantité totale d'information représentée par l'état de ce système. Les successeurs de Weiner préféreraient dire qu'elle signifie que l'entropie d'un système est une mesure de notre incertitude (ou du manque d'information) sur son état précis. Dans les deux cas, cela n'affecte pas du tout la physique — ce sont simplement des façons différentes de regarder la même vieille entropie familière.

--------------- Références et lecture recommandée

Bennett, Charles H. (1973), "Logical reversibility of computation", IBM Journal of Research and Development, v. 17, pp. 525-532. Reprinted in Leff and Rex (1990), pp. 197-204.

Bennett, Charles H. (1982), "The thermodynamics of computation -- a review", International Journal of Theoretical Physics, v. 21, pp. 905-940. Reprinted in Leff and Rex (1990), pp. 213-248.

Bennett, Charles H. and Rolf Landauer (1985), "The fundamental physical limits of computation", Scientific American, v. 253, pp. 48-56.

Brillouin, Leon (1950a), "Maxwell's demon cannot operate: Information and entropy. I", Journal of Applied Physics, v. 22, pp. 334-337. Reprinted in Leff and Rex (1990), pp. 134-137.

Brillouin, Leon (1950b), "Physical entropy and information. II", Journal of Applied Physics, v. 22, pp. 338-343.

Brillouin, Leon (1956), Science and Information Theory, Academic Press Inc, New York.

Feynman, Richard P. (1996) edited by Anthony J. G. Hey and Robin W. Allen, Feynman Lectures on Computation, Addison-Wesley, ISBN 0-201- 48991-0

Leff, Harvey S. and Andrew F. Rex (1990) Eds. Maxwell's Demon: Entropy, Information, Computing, Princeton University Press, New Jersey, ISBN 0-691-08727-X and 0-691-08726-1

Landauer, Rolf (1961), "Irreversibility and heat generation in the computing process", IBM Journal of Research and Development, v. 5, pp. 183-191. Reprinted in Leff and Rex (1990), pp. 188-196.

Shannon, Claude E. (1948), "A mathematical theory of communication", Bell System Technical Journal, v. 27, pp. 379-423 and 623-656. Reprinted in Claude E. Shannon and Warren Weaver, The Mathematical Theory of Communication (University of Illinois Press, Urbana, 1949); and http://cm.bell-labs.com/cm/ms//what/shannonday/paper.html

Szilard, Leo (1929), "On the decrease of entropy in a thermodynamic system by the intervention of intelligent beings", Zeitschrift fur Physik, v. 53, pp. 840-856. English translations: Behavioral Science, v. 9, pp. 301-310 (1964); B. T. Feld and G. Weiss Szilard, The Collected Works of Leo Szilard: Scientific Papers, (MIT Press, Cambridge, 1972), pp. 103-129; J. A. Wheeler and W. H. Zurek, Quantum Theory and Mearurement (Princeton University Press), pp. 539-548; and Leff and Rex (1990), pp. 124-133.

Weiner, Norbert (1948), Cybernetics, John Wiley and Sons, Inc., New York

[Retour aux articles du mois de 2000]