Betreff:    Re: Der informationeller Nebelkerzen-Effekt
Newsgroups: talk.origins
Datum:       Oktober 7, 2000
Message-ID: gordon-11739F.19062607102000@[127.0.0.1]

Okay, ich fühle mich gerade recht dumm, also gehe ich das Risiko ein und versuche, die Idee zu verteidigen, dass Thermodynamik mit Informationstheorie verbunden ist (wenn auch wahrscheinlich nicht in der Weise, wie Sie es erwarten würden). Ich arbeite schon eine Weile an diesem Aufsatz, halte ihn aber noch nicht für fertig (ich habe die Lektüre, die ich noch machen müsste, noch nicht abgeschlossen, und es gibt noch einige weitere Punkte, vor allem die Frage nach dem Status der Entropie als Zustandsfunktion sowie einige Nebenaspekte aus der RNA-Synthese). Ich hatte gehofft, vor dem Veröffentlichen noch mehr Zeit dafür zu bekommen, aber da das Thema wieder aufkam, bekommen Sie ihn so wie er ist. Betrachten Sie sich gewarnt ...

(Außerdem mag das wie ein Post-und-run aussehen, weil ich langsam schreibe und unglaublich unzuverlässig beim Antworten bin. Aber ich lese diese Gruppe schon etwa 16 Jahre lang und plane nicht, bald zu verschwinden.)

Das Ganze wird ziemlich lang und technisch werden und ich vermute, die meisten von Ihnen werden es nicht für lohnend halten, sich hindurchzuarbeiten. Deshalb beginne ich mit dem Wesentlichen: meinen Schlussfolgerungen.

1. SCHLUSSFOLGERUNGEN

Erstens: Die informations-theoretische Entropie (oder Shannon-Entropie) eines physikalischen Systems trägt zu seiner thermodynamischen Entropie bei, mit der Rate von 1 Bit Shannon-Entropie => k (Boltzmann-Konstante) * ln 2 = 9,57e-24 Joule/Kelvin thermodynamischer Entropie.

Zweitens: Meine erste Schlussfolgerung oben spielt praktisch keine Rolle, weil unter realistischen Bedingungen der Informationsbeitrag zur thermodynamischen Entropie so klein ist, dass er sicher vernachlässigt werden kann. Zum Beispiel entsprechen ein Terabyte (2⁴³ Bits) an Information nur 8,42e-11 J/K Thermo-Entropie, was derselbe Unterschied ist wie bei 1 cm³ Wasser (etwa ein Messerspitzenmaß) bei 300 Kelvin (also etwa Raumtemperatur) und derselben Wassermenge bei 300,000000060 Kelvin (ebenfalls ziemlich genau Raumtemperatur). Das sind riesige Informationsmengen, aber ein vernachlässigbarer Betrag an Thermo-Entropie.

Drittens: Es ist möglich, meine erste Schlussfolgerung noch weiter zu treiben und die gesamte thermodynamische (nämlich statistisch-mechanische) Entropie eines physikalischen Systems als Shannon-Entropie seines Mikrozustands (also seines genauen physikalischen Zustands), multipliziert mit k ln 2, anzusehen. Tatsächlich, wenn man k ln 2 einfach als reine Einheitenumrechnung (von Bits zu thermo-artigen Einheiten) betrachtet, dann ist die Boltzmann- Entropie genau die Shannon-Entropie seines Mikrozustands.

Viertens: Meine dritte Schlussfolgerung spielt ebenfalls keine Rolle.

Fünftens: Es gibt eine gewisse Kontroverse darüber, ob Shannon-Entropie als Information oder als Gegenteil von Information anzusehen ist. Ich werde argumentieren, dass die erstere Sicht mehr Sinn ergibt, obwohl keine der beiden Sichten eine Definition von „Information“ liefert, die der Alltagsdefinition der meisten Menschen ähnelt. (Vorläufig bemerke ich lediglich, dass das Löschen des Speichers eines Computers dessen Shannon-Entropie verringert. Klingt das für Sie wie ein Informationszuwachs?)

Sechstens: Die Verbindung zwischen Information und Thermodynamik ist für das Schöpfungs-(/Intelligent Design-/)Evolution-Argument noch unbedeutender, als meine zweite Schlussfolgerung nahelegt, weil Shannon-Entropie nicht monoton mit jener Art von Information verknüpft ist, von der Creationist(-isten) glauben, dass Evolution sie nicht erzeugen könne. Betrachten Sie beispielsweise drei DNA-Stränge gleicher Länge: A) einer, der exakt von einem anderen DNA-Strang kopiert wurde; B) einer, der für einen völlig neuartigen, aber lebensfähigen Organismus kodiert; und C) einen mit vollständig zufälliger Basenfolge. Von diesen Strängen hat C die geringste Einschränkung und deshalb die höchste Shannon- und Thermo-Entropie; A ist der am stärksten eingeschränkte und hat damit die geringste (neue) Shannon-Entropie und die geringste (neue) Thermo-Entropie. B liegt zwischen den beiden, obwohl es der einzige ist, der jegliche neuartige Information enthält, um die sich die Creationist(-isten) sorgen. Anders ausgedrückt: wenn thermodynamische Entropie die relevante Einschränkung wäre, sollte es leichter sein, einen vollständig neuartigen Organismus entstehen zu lassen, als ein existierendes Objekt zu replizieren; das ist es nicht, daher ist thermodynamische Entropie nicht die relevante Einschränkung.

Wenn das also alles so irrelevant ist, wie ich sage, worum geht es dann? Warum überhaupt darauf eingehen? Nun, manche Menschen finden dieses Spitzenzählen interessant — und ich bin einer davon. Lassen Sie uns also zur Sache kommen. Ich beginne mit einem historischen Ansatz.

2. DIE GESCHICHTE DES MAXWELL-DEMÖNS

(Anmerkung: Der Großteil ist zusammengefasst aus Maxwell's Demon: Entropy, Information, Computing von H. S. Leff und A. F. Rex (1990) und den dort abgedruckten Aufsätzen; wenn Sie sich für das Thema interessieren, empfehle ich, sich ein Exemplar zu beschaffen. Es ist vergriffen, aber lassen Sie sich davon nicht aufhalten ...)

Die Verbindung zwischen Entropie und Information wurde zuerst beim Analysieren von Maxwells Dämon gemacht. Für diejenigen, die ihn nicht kennen, handelt es sich um ein Gedankenexperiment, das James Clerk Maxwell um 1867 entwickelte und das offenbar implizierte, dass ein intelligentes Wesen (aka der Dämon) Entropie verringern könnte. Der Dämon bewachte eine sehr kleine Tür zwischen zwei Räumen voller Gas (anfänglich gleiche Temperatur, Druck usw.). Er konnte die Tür öffnen und schließen, je nachdem welche Gasmoleküle sich zu diesem Zeitpunkt ihm gegenüber auf den Weg machten (denken Sie daran, es ist eine sehr kleine Tür). In der ursprünglichen Version öffnete er sie nur, wenn ein langsamer als im Durchschnitt bewegtes Molekül zum Beispiel von rechts oder ein schnelleres als im Durchschnitt bewegtes von links herankam. Nach einiger Zeit wäre das Gas im rechten Raum wärmer als das im linken gewesen, und die gesamte Entropie des Gases wäre vermindert. Ohne eine ausgleichende Entropiezunahme wäre das ein Bruch des zweiten Hauptsatzes der Thermodynamik gewesen.

(Es gibt auch viele Varianten, etwa eine, in der der Dämon Moleküle nur in eine Richtung durchlässt und dadurch einen Druckunterschied erzeugt; das führt im Grunde auf dasselbe hinaus.)

(Anmerkung: Manche scheinen zu glauben, der zweite Hauptsatz der Thermodynamik gelte für intelligente Wesen und/oder deren Schöpfungen anders als für unintelligente unbeabsichtigte Dinge. Das ist falsch; der zweite Hauptsatz gilt in seinen Standardformulierungen gleichberechtigt für Menschen, Dampfmaschinen und Steine. Maxwells Dämon ist teilweise deshalb interessant, weil er scheinbar einen solchen Ausnahmefall nahelegt.)

(Noch ein Hinweis: obwohl dieses hypothetische Wesen meist als Dämon bezeichnet wird, soll das nicht heißen, dass es übernatürlich oder böse sei. Das ist nur der Name, unter dem das kleine Biest bekannt ist.)

Das offensichtliche Problem, das Maxwells Dämon stellt, wurde im Laufe der Jahre auf verschiedene Weise „gelöst“. Die erste für unsere Zwecke relevante Lösung geht auf Leo Szilard (1929) zurück, der zeigte, dass es eine Entropiezunahme bei den notwendigen Messungen (z. B. der ankommenden Gasmoleküle) gibt, die ein „Mazwell-Dämon“ benötigt, um seine Arbeit zu verrichten. Er leitete auch eine untere Grenze für diese Entropiezunahme her, die im Fall einer symmetrischen binären Messung auf k ln 2 reduziert. Leider ist es aus seinem Papier nicht ganz einfach zu erkennen, wo genau diese Entropiezunahme auftaucht.

Leon Brillouin (1950a, 1950b, 1956) hat versucht, die Dinge zu klären, indem er zeigte, dass der Dämon, um ankommende Gasmoleküle vor dem Hintergrund der thermischen Strahlung zu erkennen, die von entfernteren Molekülen (und den Wänden usw.) stammt, einen Hochtemperatur-Lichtsender um die Tür heranführen muss; dies erhitzte das umgebende Gas und erzeugte ausreichend Entropie, um den zweiten Hauptsatz zu erfüllen (er hat nach bestem Wissen nicht die Möglichkeit effizienterer Erkennungswege für Gasmoleküle erwogen). Er ging anschließend (MEINER MEINUNG nach) vollständig darüber hinaus, als er Information als negative Entropie identifizierte, was viel der Verwirrung ausgelöst hat, die wir auf talk.origins (und anderswo) ab und zu sehen bekommen. Fairerweise sind seine Schlussfolgerungen nicht unvernünftig: Da Information nur gegen eine Entropiezunahme an anderer Stelle gewonnen werden kann und man Information dann (durch Öffnen/Schließen der Tür) einsetzen kann, um anderswo Entropie zu senken, ist es naheliegend, Information als eine Art Anti-Entropie zu denken. Es stellt sich nur heraus, dass das falsch (oder zumindest hochgradig irreführend) ist.

Der erste Gegenbeweis kam aus Rolf Landauers (1961) Analyse der Grenzen thermodynamischer Berechnungseffizienz. Er zeigte, dass logisch irreversible Operationen — im Wesentlichen solche, die Information zerstören — Entropie erzeugen. Wie Charles H. Bennett und Landauer (1985) formulieren:

... Information wird vernichtet, wann immer zwei zuvor unterschiedliche Situationen ununterscheidbar werden. In physikalischen Systemen ohne Reibung kann Information niemals vernichtet werden; wann immer Information vernichtet wird, muss eine gewisse Energiemenge dissipiert werden (in Wärme umgewandelt). Als Beispiel stellen Sie sich zwei leicht unterscheidbare physikalische Situationen vor, etwa einen Gummiball, der entweder einen oder zwei Meter über dem Boden gehalten wird. Wird der Ball fallen gelassen, wird er aufspringen. Gibt es keine Reibung und ist der Ball vollkommen elastisch, kann ein Beobachter stets erkennen, in welchem Zustand der Ball begonnen hat (das heißt, welche Start-Höhe er hatte), denn ein Ball, der aus zwei Metern fällt, springt höher als ein aus einem Meter gefallener Ball.

Wenn jedoch Reibung vorhanden ist, wird bei jedem Aufprall eine kleine Energiemenge dissipiert, bis der Ball schließlich aufhört zu springen und am Boden zur Ruhe kommt. Dann wird es unmöglich zu bestimmen, aus welchem Ausgangszustand der Ball fiel; ein Ball aus zwei Metern ist dann identisch mit einem Ball aus einem Meter. Information wurde infolge der Energiedissipation verloren.

Landauer argumentierte auch, dass logische Irreversibilität ein notwendiges Merkmal (nützlicher) Berechnung sei, da eine vollständig reversible Berechnung nicht nur die Eingabedaten, sondern auch eine praktisch unhandhabbare Menge an Zwischenergebnissen des gesamten Rechenverlaufs bewahren müsste. Bennett (1973) fand einen Ausweg: Durch vollständige Ausführung der Berechnung (mit Stapeln von Zwischenresultaten), Kopieren des gewünschten Teils des Ergebnisses und anschließendes Rückwärtslaufen der Berechnung, um die unerwünschten Zwischenergebnisse zu beseitigen, wäre es möglich, nur mit Eingabedaten und gewünschtem Ausgabeergebnis zu enden. Das eröffnete die Theorie der reversiblen Berechnung, die für das Thema hier deutlich noch irrelevanter ist, daher verweise ich interessierte Leser auf Richard Feynman (1996) und Bennett (1982), und komme zum eigentlichen Thema zurück ...

Bennett (1982, Abschnitt 5) stellte auch den Gegenbeweis zu Brillouin an, indem er zeigte, dass es effizientere Möglichkeiten zur Durchführung von Messungen gibt. Wie er sagt:

Oftmals wird angenommen, dass Messung (z. B. die Messung, die der Dämon anstellen muss, um zu bestimmen, ob sich das Molekül von links oder rechts nähert) ein zwangsläufig irreversibler Vorgang ist, der mindestens eine Entropieerzeugung von k ln 2 pro gewonnenem Informationsbit erfordert und dass dies verhindert, dass der Dämon den zweiten Hauptsatz verletzt. Tatsächlich, wie nachfolgend gezeigt wird, können Messungen der für Maxwells Dämon nötigen Art reversibel durchgeführt werden, sofern das Messgerät (z. B. der interne Mechanismus des Dämons) vor der Messung in einem Standardzustand ist, so dass die Messung, wie das Kopieren eines Bits auf ein zuvor leeres Band, die zuvor dort gespeicherte Information nicht überschreibt. Unter diesen Bedingungen ist nicht die Messung selbst der eigentlich irreversible Akt, der den Dämon vom Verstoß gegen den zweiten Hauptsatz abhält, sondern die anschließende Rückführung des Messgeräts in den Standardzustand zur Vorbereitung der nächsten Messung. Dieses Vergessen eines vorherigen logischen Zustands, wie das Löschen oder Überschreiben eines aus dem Rechenverlauf erzeugten Zwischenwertes, bedeutet eine Viele-zu-Eins-Abbildung des physikalischen Zustands des Dämons, die ohne entsprechende Entropiezunahme andernorts nicht möglich ist.

Ironischerweise entkräftet diese Sichtweise Brillouins Analyse des Dämons zwar, passt aber sehr gut als Verfeinerung von Szilards Arbeit. Um es ein wenig zu vereinfachen, zerlegte Szilard den Ablauf des Dämons so:

1) Eine Messung durchführen (des Zustands der Gasmoleküle)

2) Das Ergebnis dieser Messung verwenden, um die Entropie (des Gases) zu verringern

Szilard zeigte, dass Phase 1 Entropie erzeugen muss. Bennett gliederte sie weiter:

1a) Das Ergebnis der vorherigen Messung vergessen

1b) Eine neue Messung durchführen

2) Das Ergebnis der neuen Messung nutzen

...und zeigte, dass die Entropiezunahme in Phase 1a statt in 1b entsteht. Das dreht die Sache um: Entropiezunahme ist nicht mit der Erzeugung von Information verbunden, sondern mit deren Zerstörung; daher ist Information nicht das Gegenteil von Entropie, sondern mehr oder weniger dasselbe wie Entropie. Wenn der Dämon eine große Speicherkapazität hat, kann Schritt 1a für eine Reihe von Zyklen der Dämonen-Operation ausgelassen werden und eine beliebig große Entropieverringerung des Gases zu Lasten der Füllung des Dämonenspeichers mit den Ergebnissen früherer Messungen erzeugt werden. Auf diese Weise ist es möglich, die Entropie des Gases in Information umzuwandeln. Es bleibt jedoch Entropie — der Entropieinhalt der Speichereinheiten des Dämons steigt mit der gespeicherten Menge an Information; so haben wir im Grunde nur Entropie vom Gas auf den Dämonenspeicher verlagert und deren Form etwas verändert.

3. EIN INFORMATIONSGESTEUERTER WÄRMEAPPARAT

Tatsächlich hat Bennett (immer noch 1982, Abschnitt 5; siehe auch Feynman 1996, S. 137–148) eine noch elegantere Methode für diese Umwandlung. Er beschreibt eine Wärmemaschine, die leere Datenspuren und Wärme aufnimmt und Arbeit sowie ein Band voller Zufallsdaten erzeugt. Das Prinzip ist recht allgemein, nehmen wir aber eine Version, in der jedes Bit auf dem Band aus einem Behälter mit einem einzelnen Gasmolekül und einem Trennsteg in der Mitte besteht. Befindet sich das Molekül auf der linken Seite des Trennstegs, repräsentiert es eine Null; auf der rechten Seite repräsentiert es eine Eins. Die Maschine erhält ein Band voller Nullen und das was sie mit jedem Bit macht, ist: Kontakt mit einem Wärmereservoir der Temperatur T, Ersetzen des Trennstegs durch einen Kolben, langsames Bewegen des Kolbens nach rechts und dann Zurückziehen des Kolbens und Wiedereinbau des Trennstegs in der Mitte (wodurch das Gasmolekül auf eine Zufallsseite eingeschlossen wird). Während der Kolben nach rechts bewegt, verrichtet das Gas im Mittel kT ln 2 Arbeit am Kolben und nimmt im Mittel kT ln 2 Wärme aus dem Reservoir (über die Wände des Behälters) auf. Im Grunde ist es ein ideales Ein-Molekül-Gas bei reversibler isothermer Expansion. Und obwohl das Ergebnis bei einem einzelnen Bit stark schwanken kann (wie üblich gibt es thermische Fluktuationen der Größenordnung kT, also etwa so groß wie der beobachtete Effekt), führt Wiederholung in großer Zahl dazu, dass der Mittelwert dominiert und die Dinge deterministischer erscheinen.

Die Arbeitsweise dieser Maschine ist thermodynamisch reversibel. Das bedeutet, dass sie ebenso gut Wärme+blankes Band in Arbeit+zufälliges Band umsetzen kann wie umgekehrt Arbeit+zufälliges Band in Wärme+blankes Band. Es bedeutet auch, dass wir die Formel für Entropieänderung in einem reversiblen Prozess, dS = dQ/T, anwenden können, um zu zeigen, dass das Zufallsband pro Bit um k ln 2 mehr Entropie als das leere Band hat.

4. SHANNON-ENTROPIE ALS INFORMATION

An dieser Stelle sollte ich auf die Frage derart ausschweifend eingehen, welche Art von Information hier eigentlich gemeint ist. Nach der Alltagsdefinition, die die meisten von uns nutzen, ist Information eng mit Bedeutung verknüpft (eine Version, die ich gern verwende, ist: Information ist als Daten plus deren Interpretation definiert). Aber während man die „Information“ in den Speichern des Dämons als sinnvoll ansehen kann (d. h. sie zeichnet den früheren Zustand der Gasteilchen auf), ist es schwer vorstellbar, dem zufälligen Ausgangsband jener Wärmemaschine irgendeine Bedeutung zuzuschreiben. Zuerst muss man verstehen, dass die relevanten Informationsbegriffe aus der statistischen Informationstheorie stammen, die sich deutlich von der Alltagsdefinition unterscheidet. Zum Beispiel berücksichtigt sie Bedeutung überhaupt nicht. Wie Claude Shannon (1948) formuliert:

Das grundlegende Problem der Kommunikation ist die Wiederherstellung an einem Ort einer Nachricht, die an einem anderen Ort entweder genau oder annähernd ausgewählt wurde. Häufig haben Nachrichten Bedeutung; sie verweisen auf oder sind korreliert nach einem System mit bestimmten physischen oder konzeptionellen Entitäten. Diese semantischen Aspekte der Kommunikation sind für das ingenieurwissenschaftliche Problem irrelevant. Der wesentliche Aspekt ist, dass die eigentliche Nachricht eine von einem Auswahlsatz möglicher Nachrichten ist.

... und Shannons Maß für Information, das er Entropie nannte, ist im Kern ein Maß für die Größe dieses Mengenraums möglicher Nachrichten (oder, wenn man will, ein Maß dafür, wie wenig eingeschränkt die Nachricht ist). Das Zufallsband hat mehr mögliche Sequenzen (ist weniger eingeschränkt) als das leere Band und hat deshalb höhere Shannon-Entropie und damit in dieser Interpretation mehr Information.

Das ist nicht die einzige Interpretation von Shannon-Entropie und des Mangels an Einschränkung, den sie misst. Die andere Sichtweise, die ich für auf Norbert Weiner (1948) zurückgehe (und die von Brillouin und vielen anderen übernommen wurde), identifiziert Information mit Shannon-Entropie-Verlusten, mit zunehmender Einschränkung, der Beseitigung von Möglichkeiten und (wie man üblicherweise sagt) der Auflösung von Unsicherheit. Die beiden Ansichten sind nicht so widersprüchlich, wie es zunächst scheint; beide verwenden größtenteils dieselbe Mathematik, sie deuten nur verschiedene Größen unterschiedlich. Den Unterschied veranschauliche ich am besten an einem Beispiel: Nehmen Sie Alice, die irgendeine Information besitzt (mir ist dabei nicht wichtig, was genau — das Ergebnis einer Messung, ein Münzwurf oder etwas, das sie geschrieben hat), die sie für alle anderen geheim hält. Wiener würde sagen, für Alice ist ihr Geheimnis Information, für alle anderen das Gegenteil von Information. Ich mag diesen Ansatz aus mehreren Gründen nicht, einer davon ist seine Subjektivität: ich mag nicht, dass die Informationsmenge eines Sachverhalts davon abhängt, wen man fragt. Ich würde lieber sagen, Alices Geheimnis ist Information; aus Alices Sicht ist es Information, die sie hat (das heißt Wissen), und aus Sicht aller anderen ist es Information, die sie nicht haben (das heißt Unwissenheit oder Unsicherheit). Wiener betrachtet Wissen als das Gegenstück zur Unwissenheit; ich sehe sie als dasselbe Phänomen aus entgegengesetzten Richtungen (vieles wie vorwärts und rückwärts).

Ein weiterer Einwand gegen Wieners Interpretation ist, dass Shannon-Entropie zwar sicher als Maß für Unsicherheit nützlich ist, sie aber auch oft als Maß für andere Dinge nützlich ist, von denen selbst Wiener einigen als Information zustimmen würde. Nochmals Shannon (1948) zitierend:

Grössen der Form H = -K * Summe von i = 1 bis n von P_i log P_i [also Shannon-Entropien -GD] (die Konstante K bedeutet im Grunde nur die Wahl einer Maßeinheit) spielen eine zentrale Rolle in der Informationstheorie als Maße für Information, Wahl und Unsicherheit.

Informationstheorie wurde ursprünglich zur Analyse von Kommunikation entwickelt, daher betrachten wir ein Beispiel: Nehmen wir an, Alice sendet Bob eine E-Mail mit zwei angehängten Dokumenten, X und Y. Angenommen, ein Mailserver auf dem Weg verliert den zweiten Anhang, so dass Bob nur X erhält. Der Einfachheit halber nehmen wir an, dass X und Y statistisch unabhängig sind, das Verhalten des Mailservers deterministisch ist und die Nachricht außer den beiden Anhängen keine Information trägt. Schauen wir uns einige der relevanten Maße für Information/Unsicherheit/wasauchimmer an:

• Die Entropie der gesendeten Nachricht — bei der Weiner und auch ich zustimmen würden, dass sie Bobs anfängliche Unsicherheit über die Nachricht von Alice misst, und ich würde ebenfalls behaupten, dass sie die Gesamtinformation in der gesendeten Nachricht misst — ist die Entropie von X plus die Entropie von Y.
• Die bedingte Entropie der gesendeten Nachricht gegeben die empfangene Nachricht, auch Äquivokation genannt — bei der Wiener und auch ich übereinstimmen, dass sie Bobs Restunsicherheit über die von Alice gesendete Nachricht misst, und ich würde ebenso behaupten, dass sie den Informationsverlust auf dem Transportweg misst — ist schlicht die Entropie von Y.
• Die gemeinsame Information von empfangener und gesendeter Nachricht, die als Differenz der beiden letzten Entropien (oder in verschiedenen anderen mathematisch äquivalenten Formen) definiert werden kann — bei der Wiener und auch ich übereinstimmen, dass sie Bobs Unsicherheitsreduktion bezüglich der Nachricht von Alice misst und zugleich die erfolgreich übertragene Informationsmenge — ist einfach die Entropie von X.

Also, da X der Teil der Nachricht ist, der erfolgreich übertragen wurde, und die Entropie von X die Menge der erfolgreich übermittelten Information ist, wie kann ich der Schlussfolgerung entkommen, dass die in X transportierte Informationsmenge genau die Entropie von X ist?

Ich sollte vielleicht betonen, wie wenig beide Interpretationen der Shannon-Entropie mit dem zu tun haben, was wir gewöhnlich „Information“ nennen. Betrachten Sie drei mögliche symbolische Sequenzen, die Information enthalten könnten:

A) dieser Aufsatz
B) eine Sequenz zufälliger Buchstaben und Symbole gleicher Länge
C) eine Sequenz von „K“ derselben Länge
D) eine zufällige Sequenz von „K“ und „L“ derselben Länge

B ist am wenigsten eingeschränkt und hat daher die höchste Shannon-Entropie, so dass es nach meiner Interpretation die meiste Information hat. C ist am stärksten eingeschränkt, daher hat es die niedrigste Shannon-Entropie und nach Wieners Interpretation die höchste Information (oder vielleicht würde er sagen, wir besitzen die meiste a priori Information über deren Sequenz). Aber A ist der einzige, der etwas bedeutet (na gut, irgendetwas davon muss etwas bedeuten), und damit der einzige, der eine alltagsverständliche Information trägt. Seine Shannon-Entropie liegt zwischen B und C und etwa auf demselben Niveau wie D.

5. PRAXISFOLGEN (oder deren Fehlen)

Ich sollte auch darauf hinweisen, wie wenig all das wirklich zählt. Wären Shannon-Entropie und Thermo-Entropie völlig unverbunden:

1) Shannon-Entropie könnte frei ansteigen oder abfallen (Hinweis: Einige meinen, der zweite Hauptsatz habe ein Gegenstück in der Informationstheorie, das sagt, Shannon-Entropie könne nur zunehmen. Das ist falsch), und

2) Thermo-Entropie in nicht-informationellen Formen (d. h. Freiheitsgraden) könnte nur zunehmen.

Die Verbindung schafft Ausnahmen von beiden Prinzipien, aber diese Ausnahmen sind so klein, dass sie üblicherweise sicher ignoriert werden können:

1) Die Shannon-Entropie eines physikalischen Systems kann frei ansteigen, aber nur abnehmen, wenn dabei eine Ausgleichs-zunahme der Thermo-Entropie stattfindet. Aber die erforderliche Thermo-Entropiezunahme — 9,57e-24 J/K pro Bit oder 8,42e-11 J/K pro Terabyte — ist so winzig, dass sie kaum nachweisbar wäre.

2) Thermo-Entropie in nicht-informationellen Formen kann abnehmen, zum Preis einer Zunahme der Shannon-Entropie. Aber wenn Sie Ihren Terabyte-Speicher gefüllt haben, haben Sie nur eine Thermo-Entropieabnahme von 8,42e-11 J/K als Ergebnis — das lohnt kaum den Aufwand.

Nun können diese Effekte bei atomaren Speichereinrichtungen wie DNA und RNA erheblich werden. Bennett (1982, Abschnitt 5) weist darauf hin, dass die Sequenz-spezifische Synthese von RNA-Strängen (durch RNA-Polymerase) und deren sequenzunspezifische Abbauvorgänge (durch Enzyme wie Polynukleotid-Phosphorylase) etwa kT ln 4 (~= 1,4 kT) freie Energie pro Base verschwenden. Das ist ein kleiner, aber nicht völlig vernachlässigbarer Anteil der frei verbrauchten Energie dieses Prozesses (etwa 20kT für die Synthese; die Zahl für den Abbau nennt er nicht).

(Tatsächlich lohnt es sich, das RNA-Beispiel genauer zu betrachten, als ich es hier tun kann. kT ln 4 pro Base reicht aus, um die Gleichgewichtskonzentrationen der Reaktanden zwischen sequenzspezifischen und unspezifischen Reaktionen um den Faktor 4 zu verschieben, was experimentell messbar sein sollte [eine Messung habe ich bisher aber nicht gesehen]. Diese Differenz ergibt sich aus kinetischer Sicht: Eine sequenzspezifische Synthesereaktion kann zu einem gegebenen Zeitpunkt nur mit einem Viertel der verfügbaren Basen reagieren, die eine unspezifische Reaktion erreichen könnte. Außerdem ist interessant, genau wo die Entropieverringerung durch sequenzspezifische Synthese entsteht: in der DNA, der RNA oder nur in der Entropie beider zusammen? Ich würde Letzteres vertreten, was bedeutet, dass dies ein Fall ist, in dem Entropien sich nicht einfach additiv verhalten.)

Bevor dieser Abschnitt endet, möchte ich festhalten, dass diese Folgen — wie auch immer — im Bereich der Thermodynamik liegen, nicht der Informationstheorie. Es gibt immer noch kein informationstheoretisches Analogon zum zweiten Hauptsatz der Thermodynamik. Abstrakte Informationsverarbeitungs-Systeme können Shannon-Entropie weiterhin ohne Grenzen erzeugen und vernichten. Die einzige Zeit, in der es irgendeine Grenze für die Zunahme oder Abnahme von Shannon-Entropie gibt, ist dann, wenn sie in den Zustand eines Systems kodiert ist, das der Thermodynamik unterliegt; und die Grenzen kommen aus der Thermodynamik, nicht aus einer informationstheoretischen Überlegung.

6. THERMODYNAMISCHE ENTROPIE ALS INFORMATION

In meinen Schlussfolgerungen hatte ich versprochen, diese Verbindung bis zum Äußersten auszudrehen (aber auf der anderen Seite des Bootes als Brillouin) und den Versuch zu unternehmen, die gesamte Thermo-Entropie (eigentlich Boltzmann-Entropie) mit der Shannon-Entropie des Mikrozustands eines Systems gleichzusetzen. Das ist rein eine einfache Mathematik auf der Grundlage der Ähnlichkeit zwischen Boltzmanns Formel für die Entropie eines Systems in Bezug auf die Wahrscheinlichkeiten aller möglichen mikroskopisch unterschiedlichen Zustände:

S = -k * Summe über alle Mikrozustände i von P(i) * ln(P(i))

und Shannons Formel für die Entropie einer Menge möglicher Nachrichten (oder Zustände oder was auch immer) in Bezug auf deren Wahrscheinlichkeiten:

H = - Summe über alle Nachrichten i von P(i) * log(P(i))

Die Wahl der Basis im Logarithmus von Shannon's Formel ist im Grunde willkürlich, abgesehen davon, dass sie die Einheiten des Ergebnisses festlegt. Basis 2 ist traditionell, weil sie die Ergebnisse in Bits liefert, die gängigsten Einheiten zur Messung von Information. Aber das sind nicht die einzigen legitimen Einheiten. Wenn Sie etwa die Entropie in Trits wünschen, nutzen Sie Basis 3; für Dezimalstellen Basis 10; für Nats Basis e (natürlicher Logarithmus, wie in der Boltzmann-Formel). Und wenn Sie das Ergebnis in Joule pro Kelvin wollen, können Sie Basis e^7,243e22 verwenden, oder das Ergebnis in Nats ausrechnen und mit k multiplizieren. So oder so erhalten Sie dasselbe Resultat wie aus Boltzmanns Formel.

(Wenn Sie wollen, dass ich diese Einheitensache sauber mache, behaupte ich, dass Information, Temperatur und Energie dimensionsmäßig zusammenhängen: Temperatur = Energie / Information; 1 Kelvin = 9,57e-24 Joule/Bit; und Boltzmanns Konstante ist korrekt als k = 1,38 e-23 J/K*nat = 9,57e-24 Joule/Kelvin*Bit = 1 geschrieben. Wenn Sie das akzeptieren, kann ich dieselben Einheiten für Information und Thermo-Entropie ohne Blinzeln verwenden.)

Was bedeutet das? Ich würde sagen, dass es bedeutet: Die Entropie eines Systems ist die gesamte Informationsmenge, die durch den Zustand dieses Systems repräsentiert wird. Wieners Nachfolger würden lieber sagen, sie bedeutet, dass die Entropie eines Systems ein Maß für unsere Unsicherheit (oder den Mangel an Information) über den genauen Zustand dieses Systems ist. So oder so ändert das an der Physik nichts — es sind nur unterschiedliche Arten, auf dieselbe alte vertraute Entropie zu schauen.

--------------- Literatur und empfohlene Lektüre

Bennett, Charles H. (1973), "Logical reversibility of computation", IBM Journal of Research and Development, v. 17, pp. 525-532. Reprinted in Leff and Rex (1990), pp. 197-204.

Bennett, Charles H. (1982), "The thermodynamics of computation -- a review", International Journal of Theoretical Physics, v. 21, pp. 905-940. Reprinted in Leff and Rex (1990), pp. 213-248.

Bennett, Charles H. and Rolf Landauer (1985), "The fundamental physical limits of computation", Scientific American, v. 253, pp. 48-56.

Brillouin, Leon (1950a), "Maxwell's demon cannot operate: Information and entropy. I", Journal of Applied Physics, v. 22, pp. 334-337. Reprinted in Leff and Rex (1990), pp. 134-137.

Brillouin, Leon (1950b), "Physical entropy and information. II", Journal of Applied Physics, v. 22, pp. 338-343.

Brillouin, Leon (1956), Science and Information Theory, Academic Press Inc, New York.

Feynman, Richard P. (1996) edited by Anthony J. G. Hey and Robin W. Allen, Feynman Lectures on Computation, Addison-Wesley, ISBN 0-201- 48991-0

Leff, Harvey S. and Andrew F. Rex (1990) Eds. Maxwell's Demon: Entropy, Information, Computing, Princeton University Press, New Jersey, ISBN 0-691-08727-X and 0-691-08726-1

Landauer, Rolf (1961), "Irreversibility and heat generation in the computing process", IBM Journal of Research and Development, v. 5, pp. 183-191. Reprinted in Leff and Rex (1990), pp. 188-196.

Shannon, Claude E. (1948), "A mathematical theory of communication", Bell System Technical Journal, v. 27, pp. 379-423 and 623-656. Reprinted in Claude E. Shannon and Warren Weaver, The Mathematical Theory of Communication (University of Illinois Press, Urbana, 1949); and http://cm.bell-labs.com/cm/ms//what/shannonday/paper.html

Szilard, Leo (1929), "On the decrease of entropy in a thermodynamic system by the intervention of intelligent beings", Zeitschrift fur Physik, v. 53, pp. 840-856. English translations: Behavioral Science, v. 9, pp. 301-310 (1964); B. T. Feld and G. Weiss Szilard, The Collected Works of Leo Szilard: Scientific Papers, (MIT Press, Cambridge, 1972), pp. 103-129; J. A. Wheeler and W. H. Zurek, Quantum Theory and Mearurement (Princeton University Press), pp. 539-548; and Leff and Rex (1990), pp. 124-133.

Weiner, Norbert (1948), Cybernetics, John Wiley and Sons, Inc., New York

[Zurück zu den Beiträgen des Monats im Jahr 2000]