Betreff:    Re: Frage zur Informationstheorie
Newsgroups: talk.origins
Datum:       1. Februar 2001
Autor:       Mark C. Chu-Carroll
Message-ID: m3g0hy5ris.fsf@taliesin.watson.ibm.com

woodian@my-deja.com schreibt:
> Ich versuche, einen Überblick darüber zu bekommen, wohin Kreationisten und „Intelligent-Design-Anhänger" mit dieser „Informationstheorie und Design"-
> Unsinn wollen.
>
> Gibt es gute Online-Ressourcen, die mir einen Überblick darüber geben, worum es bei der Informationstheorie geht (nicht zu technisch, aber auch nicht zu vereinfacht, bitte!)?

Sie sprechen tatsächlich über zwei unterschiedliche Konzepte der Informationstheorie: einerseits die Shannon'sche Informationstheorie; andererseits die Kolmogorov-Chaitin-Informationstheorie.

Für eine schöne Beschreibung von Kolmogorov-Chaitin empfehle ich The Limits of Mathematics von Greg Chaitin.

Für Shannons Informationstheorie werfen Sie einen Blick auf http://oak.cats.ohiou.edu/~sk260695/skinfo.html, das viele Links enthält.

Der Trick der Kreationisten besteht darin, die beiden Theorien auf eine sinnlose Weise zu vermischen, um einen falschen Schluss zu ziehen.

Shannons Theorie befasst sich mit Kommunikation. Er arbeitete für Bell Labs, und sein grundlegendes Interesse galt der Kommunikation über rauschbehaftete Verbindungen. (Der grundlegende Artikel, der erstmals die Shannon-Informationstheorie (IT) vorschlug, hieß "Communication in the Presence of Noise".) In der Shannon-Theorie ist Entropie die durch Rauschen eingeführte Zufälligkeit: Kommunikation über einen rauschbehafteten Kanal fügt stets Entropie hinzu, aber man kann niemals Information hinzufügen – denn der Punkt besteht darin, Information korrekt von einer Quelle zu einem Ziel zu übertragen. Rauschen entlang des Kanals kann die Informationsmenge nicht erhöhen – denn nach Definition wurde die einzige Information vom Sender bereitgestellt, und alles, was während der Übertragung geschieht, kann bestenfalls die Informationsmenge der Übertragung nicht schädigen.

Die Shannon-Theorie ist somit die Wurzel der creationistischen Behauptung, dass "Zufälligkeit einem System keine Information hinzufügen kann".

Die Kolmogorov-Chaitin-Informationstheorie ist ein völlig anderes Thema (und eines, über das ich mehr weiß als über Shannon). K-C ist eine Version der Informationstheorie, die aus der Informatik abgeleitet wurde. Sie untersucht, was sie den Informationsgehalt einer Zeichenkette nennt. In der K-C-Informationstheorie definiert man den Informationsgehalt einer Zeichenkette in Bezug auf die Zufälligkeit der Zeichenkette: Eine Zeichenkette mit viel Redundanz hat einen niedrigen Informationsgehalt; je zufälliger eine Zeichenkette ist, desto weniger Redundanz besitzt sie, und desto mehr Information enthält jeder Bit davon. Die K-C-Informationstheorie ist interessant, weil sie die Größe der "Entcodierungsmaschine", die verwendet wird, um eine Zeichenkette zu interpretieren, als Teil der Messung des Informationsgehalts dieser Zeichenkette betrachtet. K-C hat auch eine Definition von Entropie als Maß für den Informationsgehalt: Entropie ist ein Maß für die Zufälligkeit einer Zeichenkette und somit für den Informationsgehalt dieser Zeichenkette.

Die K-C-Informationstheorie ist absolut faszinierend und wurde in vielerlei interessanter Weise weit verbreitet eingesetzt. Greg Chaitin nutzt sie als Werkzeug, um einige sehr tiefe Eigenschaften der Mathematik zu untersuchen; sie wurde von theoretischen Informatikern verwendet, um die intrinsische algorithmische Komplexität berechenbarer Probleme zu analysieren; und sie wurde verwendet, um den Informationsgehalt von DNA zu diskutieren (denn bei DNA wird der Informationsgehalt nicht allein durch die Gensequenz bestimmt, sondern durch die Maschinerie, die sie verarbeitet).

Der Trick der Kreationisten besteht darin, zu behaupten, dass der Begriff „Entropie" in beiden Informationstheorien – Shannon und K-C – dieselbe Bedeutung hat. Wenn das zutrifft, dann kann man ein Maß für den Informationsgehalt von DNA unter Verwendung von K-C-Begriffen ermitteln und daraufhin argumentieren, dass der Informationsgehalt der DNA nach der Shannon-Theorie niemals zunehmen kann.

Der Fehler hier ist eigentlich ziemlich subtil. K-C sagt nichts darüber aus, wie sich Informationsgehalt ändern kann. Er spricht lediglich darüber, wie man den Informationsgehalt misst und was dieser in einem mathematisch/informatischen Sinne tatsächlich bedeutet. Aber Shannon arbeitet in einem sehr begrenzten Bereich, in dem es eine spezifische, vorbestimmte Obergrenze für den Informationsgehalt gibt. K-C hat per Definition keine solche Obergrenze.

Das Hinzufügen von Zufälligkeit zu einem System fügt dem System Rauschen hinzu. Nach der Shannon-Theorie bedeutet das, dass der Informationsgehalt des Systems abnimmt. Nach der K-C-Theorie wird der Informationsgehalt jedoch wahrscheinlich zunehmen, wenn Zufälligkeit hinzugefügt wird. K-C erlaubt es, dass Rauschen den Informationsgehalt erhöht; Shannon nicht. Vermischen Sie die beiden, und Sie erhalten etwas Unsinniges, aber Sie können Dinge erschaffen, die sehr tiefgründig aussehen und für Menschen, die nicht in einer der beiden Formen der Informationstheorie geschult sind, sehr blenden.

-Mark

--
  "There's nothing I like better than the sound of a banjo, unless of
   course it's the sound of a chicken caught in a vacuum cleaner."
Mark Craig Chu-Carroll   (mcc@watson.ibm.com)
IBM T.J. Watson Research Center 

[Zurück zu den Beiträgen des Monats 2001]