Subject:    Re: The information smokescreen
Newsgroups: talk.origins
Date:       October 7, 2000
Message-ID: gordon-11739F.19062607102000@[127.0.0.1]

Ok, estou me sentindo tolo, então vou me arriscar e tentar defender a ideia de que a termodinâmica está conectada à teoria da informação (embora a conexão provavelmente não seja o que você esperaria). Tenho trabalhado nesse ensaio por algum tempo, mas ainda não o considero completo (não terminei a leitura que deveria fazer, e há várias outras coisas que ainda preciso cobrir — especialmente a questão do status da entropia como função de estado, e alguns problemas secundários levantados pela síntese de RNA). Eu esperava ter mais tempo para trabalhar nisso antes de publicar, mas como o tópico surgiu novamente, você está recebendo-o como está. Considerem-se avisados...

(Além disso, isso pode parecer um “post-and-run”, porque eu escrevo devagar e sou surpreendentemente pouco confiável em responder. Mas leio esse grupo há uns 16 anos, e não pretendo desaparecer tão cedo.)

Tudo isso vai ficar longo e técnico, e suspeito que a maioria de vocês não vai achar que vale a pena se perder nisso, então vou começar com a parte importante: minhas conclusões.

1. CONCLUSÕES

Primeiro: a entropia da teoria da informação (ou entropia de Shannon) de um sistema físico contribui para sua entropia termodinâmica, na taxa de 1 bit de entropia de Shannon => k (constante de Boltzmann) * ln 2 = 9,57e-24 Joule/Kelvin de entropia termodinâmica.

Segundo: minha primeira conclusão acima realmente não importa porque, em condições realistas, a contribuição de informação para a entropia termodinâmica é tão pequena que pode ser ignorada com segurança. Por exemplo, um terabyte (2⁴³ bits) de informação corresponde a apenas 8,42e-11 J/K de termo-entropia, que é a mesma diferença de entropia entre 1 cm³ de água (cerca de uma colher de chá) a uma temperatura de 300 Kelvin (aproximadamente a temperatura ambiente) e a mesma quantidade de água a uma temperatura de 300.000000060 Kelvin (também muito próxima da temperatura ambiente). Essa é uma enorme quantidade de informação, mas uma quantidade desprezível de termo-entropia.

Terceiro: é possível levar minha primeira conclusão ainda mais longe e considerar a entropia termodinâmica (ou, melhor, de mecânica estatística) de um sistema físico inteiro como a entropia de Shannon de seu microestado (ou seja, seu estado físico preciso), multiplicada por k ln 2. Na verdade, se você considerar k ln 2 simplesmente como um fator de conversão de unidades (de bits para unidades de entropia termodinâmica), então a entropia de Boltzmann é exatamente a entropia de Shannon de seu microestado.

Quarto: minha terceira conclusão também não importa.

Quinto: há uma certa controvérsia sobre se a entropia de Shannon deve ser considerada como informação ou como o oposto de informação. Argumentarei que a visão anterior faz mais sentido, embora nenhuma das duas dê uma definição de “informação” muito parecida com a definição de senso comum que a maioria das pessoas usa. (Por enquanto, vou apenas notar que apagar a memória de um computador reduz sua entropia de Shannon. Isso lhe parece um aumento de informação?)

Sexto: a conexão entre informação e termodinâmica é ainda mais irrelevante para o argumento criação(/design inteligente)/evolução do que a minha segunda conclusão sugeriria, porque a entropia de Shannon não se relaciona de forma monotônica com o tipo de informação que os criacionistas(/intelligent design-istas) acham que a evolução não consegue produzir. Por exemplo, considere 3 cadeias de DNA, todas com o mesmo comprimento: A) uma copiada exatamente de outra cadeia de DNA; B) uma que codifica um organismo vivo completamente novo, porém viável; e C) uma com uma sequência totalmente aleatória de bases. Entre essas cadeias, C é a menos constrangida e, portanto, tem a maior entropia de Shannon e termo-entropia; A é a mais constrangida e, portanto, tem a menor entropia de Shannon (nova) e a menor termo-entropia (nova). B fica entre as outras duas, apesar do fato de ser a única que contém qualquer informação nova do tipo que preocupa os criacionistas(/ID-istas). Em outras palavras: se a entropia termodinâmica fosse a restrição relevante, seria mais fácil surgir um organismo completamente novo do que replicar um organismo já existente; isso não acontece; portanto, a entropia termodinâmica não é a restrição relevante.

Então, se isso é tudo tão irrelevante quanto eu digo, qual é o ponto? Por que mesmo se incomodar? Bem, algumas pessoas acham fascinante esse tipo de contagem de anjos na cabeça de um alfinete, e eu sou uma dessas pessoas. Portanto, vamos ao ponto. Vou começar com uma abordagem histórica do problema.

2. A HISTÓRIA DO DEMÔN DE MAXWELL

(Nota: a maior parte disso é resumida de Maxwell's Demon: Entropy, Information, Computing, de H. S. Leff e A. F. Rex (1990) e dos artigos que eles republicaram; se você tem interesse no assunto, recomendo localizar uma cópia desse livro. Está esgotado, mas não deixe isso te parar...)

A conexão entre entropia e informação foi feita pela primeira vez na análise do Demônio de Maxwell. Para quem não conhece, trata-se de um experimento mental que James Clerk Maxwell propôs por volta de 1867, que parecia sugerir que um ser inteligente (também chamado de demônio) poderia reduzir a entropia. O demônio vigiava uma porta muito pequena entre duas salas cheias de gás (inicialmente com a mesma temperatura, pressão, etc). O demônio podia abrir e fechar a porta conforme as moléculas de gás se aproximassem dele em cada momento (lembre-se de que é uma porta muito pequena). Na versão original, ele abria apenas quando uma molécula mais lenta que a média se aproximava, por exemplo, da direita, ou quando uma molécula mais rápida que a média se aproximava da esquerda. Depois de algum tempo fazendo isso, o gás da sala à direita ficaria mais quente que o gás à esquerda, e a entropia total do gás diminuiria. A menos que também houvesse um aumento compensatório de entropia, isso violaria a segunda lei da termodinâmica.

(Também existem muitas variantes, como uma em que o demônio só permite moléculas passarem em uma direção, produzindo uma diferença de pressão; o resultado é praticamente o mesmo.)

(Nota: algumas pessoas parecem achar que a segunda lei da termodinâmica se aplica de forma diferente a seres inteligentes e/ou suas criações do que a coisas ininteligentes e não projetadas. Isso está errado; a segunda lei em suas formulações padrão se aplica igualmente a humanos, motores a vapor e rochas. O demônio de Maxwell é interessante, em parte, porque parece implicar uma exceção a essa igualdade antes da lei.)

(Outra nota: embora esse ser hipotético seja geralmente chamado de demônio, isso não significa que seja sobrenatural ou maligno. É apenas o nome pelo qual a pequena criatura é conhecida, só isso.)

O problema aparente apresentado pelo demônio de Maxwell foi “resolvido” de várias maneiras ao longo dos anos. A primeira resolução relevante aqui é devida a Leo Szilard (1929), que mostrou que havia um aumento de entropia associado à realização e lembrança de medições (por exemplo, das moléculas de gás que se aproximavam) necessárias para um demônio de Mazwell fazer seu trabalho. Ele também derivou um limite inferior para esse aumento de entropia, que se reduz a k ln 2 no caso de uma medição binária simétrica. Infelizmente, é um pouco difícil dizer exatamente de onde e como esse aumento de entropia aparece em seu artigo.

Leon Brillouin (1950a, 1950b, 1956) tentou esclarecer a questão ao mostrar que, para observar as moléculas de gás que chegam contra o fundo de radiação térmica emitido por moléculas de gás mais distantes (e as paredes, etc), o demônio deve iluminar a área ao redor da porta com uma fonte de luz de alta temperatura, o que aquecia o gás ao redor e produzia entropia suficiente para satisfazer a segunda lei (ele não levou em consideração, até onde pude perceber, a possibilidade de existir meios mais eficientes de detectar moléculas de gás). Depois, ele foi completamente além da linha (na minha opinião) ao identificar informação com entropia negativa, levando à maior parte da confusão sobre o tema que costumamos ver surgir de vez em quando no talk.origins (e outros lugares). Para ser justo, suas conclusões não são irrazoáveis: dado que a informação só pode ser obtida ao custo de um aumento de entropia em outro lugar, e que se pode então gastar informação (abrindo/fechando a porta) para obter uma redução de entropia em outro lugar, faz sentido pensar na informação como um tipo de anti-entropia. Simplesmente acaba não sendo isso (ou pelo menos é altamente enganoso).

O primeiro contraexemplo veio da análise de Rolf Landauer (1961) dos limites da eficiência termodinâmica da computação. Ele mostrou que operações logicamente irreversíveis — essencialmente aquelas que destruíam informação — produziam entropia. Como Charles H. Bennett e Landauer (1985) colocaram:

... information is destroyed whenever two previously distinct situations become indistinguishable. In physical systems without friction, information can never be destroyed; whenever information is destroyed, some amount of energy must be dissipated (converted into heat). As an example, imagine two easily distinguishable physical situations, such as a rubber ball held either one meter or two meters off the ground. If the ball is dropped, it will bounce. If there is no friction and the ball is perfectly elastic, an observer will always be able to tell what state the ball started out in (that is, what its initial height was) because a ball dropped from two meters will bounce higher than a ball dropped from one meter.

If there is friction, however, the ball will dissipate a small amount of energy with each bounce, until it eventually stops bouncing and comes to rest on the ground. It will then be impossible to determine what the ball's initial state was; a ball dropped from two meters will be identical with a ball dropped from one meter. Information will have been lost as a result of energy dissipation.

Landauer também argumentou que a irreversibilidade lógica era uma característica necessária da computação (útil), já que realizar uma computação inteira de modo reversível exigiria preservar não apenas os dados de entrada, mas também uma quantidade impraticável de resultados intermediários de todo o curso da computação. Bennett (1973) encontrou uma forma de contornar isso: executando toda a computação (com guardando pilhas de resultados intermediários), copiando a parte desejada do resultado, e depois executando a computação ao contrário para eliminar esses resultados intermediários indesejados, seria possível acabar com apenas os dados de entrada e os dados de saída desejados. Isso abriu a teoria da computação reversível, que é ainda mais alheia ao que estou discutindo, então remeterei o leitor interessado a Richard Feynman (1996) e Bennett (1982), e voltarei ao tema em questão...

Bennett (1982, seção 5) também jogou o outro sapato na discussão de Brillouin, mostrando que existem maneiras mais eficientes de fazer medições. Como ele coloca:

It is often supposed that measurement (e.g. the measurement the demon must make to determine whether the molecule is approaching from the left or the right) is an unavoidably irreversible act, requiring an entropy generation of at least k ln 2 per bit of information obtained, and that this is what prevents the demon from violating the second law. In fact, as will be shown below, measurements of the sort required by Maxwell's demon can be made reversibly, provided the measuring apparatus (e.g. the demon's internal mechanism) is in a standard state before the measurement, so that measurement, like the copying of a bit onto a previously blank tape, does not overwrite the information previously stored there. Under these conditions, the essential irreversible act, which prevents the demon from violating the second law, is not the measurement itself but rather the subsequent restoration of the measuring apparatus to a standard state in preparation for the next measurement. This forgetting of a previous logical state, like the erasure or overwriting of a bit of intermediate data generated in the course of a computation, entails a many-to-one mapping of the demon's physical state, which cannot be accomplished without a corresponding entropy increase elsewhere.

Irônicamente, embora isso torne obsoleta a análise de Brillouin sobre o demônio, isso se encaixa bem como um refinamento da de Szilard. Para simplificar consideravelmente, Szilard dividiu as fases de operação do demônio assim:

1) Make a measurement (of the state of the gas molecules)

2) Use the result of that measurement to decrease entropy (of the gas)

Szilard mostrou que a fase 1 deve produzir entropia. Bennett detalhou assim:

1a) Forget the result of the previous measurement

1b) Make a new measurement

2) Use the result of the new measurement

...e mostrou que o aumento de entropia acontece na fase 1a, não 1b. Isso dá à coisa o sentido oposto: o aumento de entropia está associado, não com a produção de informação, mas com sua destruição; portanto, informação não é o oposto da entropia, é mais ou menos a mesma coisa que entropia. Na verdade, se o demônio tiver uma capacidade de memória grande, é possível omitir a etapa 1a por um certo número de ciclos da operação do demônio e produzir uma redução arbitrariamente grande da entropia do gás ao custo de preencher a memória do demônio com os resultados de medições antigas. Dessa forma, é possível converter a entropia do gás em informação. Ainda assim, continua sendo entropia — a entropia dos bancos de memória do demônio aumenta com a quantidade de informação armazenada ali, portanto, o que realmente fizemos foi mover entropia do gás para a memória do demônio, alterando um pouco sua forma.

3. UM MOTOR TÉRMICO IMPULSIONADO POR INFORMAÇÃO

Na verdade, Bennett (ainda seção 5 de 1982; veja também Feynman 1996, pp. 137-148) apresentou uma maneira ainda mais elegante de realizar essa conversão. Ele imagina um motor térmico que recebe uma fita de dados em branco e calor, e produz trabalho e uma fita cheia de dados aleatórios. O princípio é bastante geral, mas vamos usar uma versão em que cada bit da fita consiste em um recipiente com uma única molécula de gás, e um divisor no meio do recipiente. Se a molécula estiver do lado esquerdo do divisor, ela representa zero; se estiver do lado direito, representa um. O motor recebe uma fita cheia de zeros, e o que ele faz com cada um é colocá-la em contato com um banho térmico a temperatura T, substituir o divisor por um pistão, deixar o pistão mover-se lentamente para a direita e depois retirar o pistão e recolocar o divisor no meio (preservando a molécula de gás em um lado aleatório). Enquanto o pistão se move para a direita, o gás faz (em média) kT ln 2 de trabalho sobre ele e absorve (em média) kT ln 2 de calor do banho (pelas paredes do recipiente). Essencialmente, trata-se de uma expansão isotérmica reversível de um gás ideal de uma molécula. E embora os resultados de um único bit variem bastante (como de costume, surgem flutuações térmicas da ordem de kT, do mesmo tamanho do efeito que observamos), se você fizer isso muitas vezes, a média tende a predominar e as coisas passam a se comportar de forma mais determinística.

Agora, a operação desse motor é termodinamicamente reversível. Isso significa que assim como ele pode converter calor+fita em branco em trabalho+fita aleatória, pode igualmente bem ser operado ao contrário para converter trabalho+fita aleatória em calor+fita em branco. Isso também significa que podemos aplicar a fórmula da variação de entropia em um processo reversível, dS = dQ/T, para mostrar que a fita aleatória tem k ln 2 por bit de entropia maior que a fita em branco.

4. ENTROPIA DE SHANNON COMO INFORMAÇÃO

Neste ponto, eu provavelmente deveria fazer um desvio sobre o tipo de informação de que estamos falando aqui. Pela definição comum a que a maioria de nós usa, informação se relaciona de perto com significado (uma versão que aprecio bastante é que informação é definida como dados junto com sua interpretação). Mas, embora se possa considerar a “informação” nos bancos de memória do demônio como significativa (isto é, registra o estado anterior das partículas do gás), é bem difícil imaginar de qualquer modo que se possa dizer que a fita de saída aleatória desse motor térmico signifique qualquer coisa. A primeira coisa que você precisa perceber é que as definições relevantes de informação são as da teoria estatística da informação, que é bem diferente da definição de senso comum. Antes de tudo, elas não levam em conta o significado. Como disse Claude Shannon (1948),

The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages.

... e a medida de informação de Shannon, que ele apelidou de entropia, é essencialmente uma medida do tamanho desse conjunto de mensagens (ou, se preferir, uma medida de quão pouco restrita é a mensagem). A fita aleatória tem mais sequências possíveis (é menos restrita) que a fita em branco e, por isso, tem maior entropia de Shannon e, nessa interpretação, mais informação.

Esta não é a única interpretação da entropia de Shannon, e da falta de restrição que ela mede. A outra visão, que eu acho que teve origem em Norbert Weiner (1948) (e foi adotada por Brillouin e muitos outros), identifica informação com reduções da entropia de Shannon, aumentos de restrição, eliminação de possibilidades e (como costuma ser dito) resolução de incerteza. As duas visões não são tão contraditórias quanto podem parecer; ambas (principalmente) usam a mesma matemática, só interpretam as quantidades de forma diferente. Acho que a diferença é melhor ilustrada por um exemplo: suponha que Alice tenha alguma informação (não importa muito o quê — o resultado de uma medição, um lançamento de moeda ou algo que ela tenha escrito — o que for), que ela mantém em segredo de todo mundo. Weiner diria que, para Alice, seu segredo é informação, e para todo mundo o restante ele é o oposto de informação. Eu não gosto dessa abordagem por várias razões, uma delas é a subjetividade; não gosto de a quantidade de informação associada a algo depender de quem você pergunta. Eu preferiria dizer que o segredo de Alice é informação; do ponto de vista de Alice, é informação que ela possui (ou seja, conhecimento), e do ponto de vista de qualquer um, é informação que eles não possuem (ou seja, ignorância ou incerteza). Weiner enxerga conhecimento como o oposto de ignorância; eu os vejo como a mesma coisa, vistas de direções opostas (como, digamos, para frente e para trás).

Outra objeção à interpretação de Weiner é que, embora a entropia de Shannon seja certamente útil como medida de incerteza, também é frequentemente útil como medida de outras coisas, algumas das quais até Weiner reconheceria como informação. Cito Shannon (1948) novamente:

Quantities of the form H = -K * sum from i = 1 to n of P_i log P_i [i.e. Shannon-entropies -GD] (the constant K merely amounts to a choice of a unit of measure) play a central role in information theory as measures of information, choice and uncertainty.

Information theory was originally developed for analysing communication, so let's look at an example of communication: Suppose Alice sends Bob an email message consisting of two enclosed documents, which I'll call X and Y. Suppose some mail server along the route loses the second attachment, so Bob only receives X. To simplify things, assume X and Y are statistically independent, that the mail server's behavior is deterministic, and that the message carries no information other than the two attachments. Let's look at some of the relevant measures of information/uncertainty/whatever involved:

• The entropy of the transmitted message -- which Weiner and I would both agree measures Bob's initial uncertainty about the message Alice sent, and I would also claim also measures the total information in the transmitted message -- is the entropy of X plus the entropy of Y.
• The conditional entropy of the transmitted message given the received message, also known as the equivocation -- which Weiner and I both agree measures Bob's final uncertainty about the message Alice sent, and I would claim also measures the information lost in transit -- is just the entropy of Y.
• The joint information of the received and transmitted messages, which can be defined as the difference between the last two entropies (or in a number of other mathematically equivalent ways) -- which Weiner and I would both agree measures the decrease in Bob's uncertainty about Alice's message, and also the amount of information successfully transmitted -- is just the entropy of X.

So, since X is the portion of the message that was successfully communicated, and the entropy of X is the amount of information successfully communicated, how am I to escape the conclusion that the amount of information carried by X is precisely the entropy of X?

I should perhaps emphasize how little either view of Shannon-entropy has to do with what we usually call "information". Consider three possibly information-containing symbol sequences:

A) this essay
B) a sequence of random letters and symbols the same length
C) a sequence of "K"'s the same length
D) a random sequence of "K"'s and "L"'s the same length

B is the least constrained, and thus has the highest Shannon-entropy, so by my interpretation it has the most information. C is the most constrained, so it has the lowest Shannon-entropy, and by Weiner's interpretation the highest information (or maybe he would say we have the most apriori information about its sequence). But A is the only one that means anything (oh, come now, some of this must mean something), and thus the only one carrying any commonsense-information. But its Shannon-entropy is in between B and C, and about the same as D.

5. PRACTICAL CONSEQUENCES (or the lack therof)

I should also point out how little all of this matters. If there were no connection between Shannon-entropy and thermo-entropy:

1) Shannon-entropy could increase or decrease freely (note: some people think the second law has some counterpart in information theory, that says Shannon-entropy can only increase. They are mistaken), and

2) Thermo-entropy in non-information forms (i.e. degrees of freedom) could only increase.

The connection creates exceptions to both of these principles, but the exceptions are so small that they can usually be safely ignored:

1) The Shannon-entropy of a physical system can increase freely, but can only decrease if there's a compensating thermo-entropy increase involved. But the required thermo-entropy increase -- 9.57e-24 J/K per bit, or 8.42e-11 J/K per terabyte -- is so miniscule that it'd be difficult to even detect it.

2) Thermo-entropy in non-information forms can decrease, at the cost of an increase of Shannon-entropy. But by the time you've filled up your terabyte store, you only have a 8.42e-11 J/K thermo-entropy decrease to show for it. It hardly seems worth the bother.

Now, these effects can get significant when dealing with atomic-scale memory devices, such as DNA and RNA. Bennett (1982, section 5) points out that the way RNA strands are synthesized in a sequence-specific way (by RNA polymerase) and degraded in a sequence-nonspecific way (by enzymes such as polynucleotide phosphorylase) wastes about kT ln 4 (~= 1.4 kT) of free energy per base. This is a small, but not completely insignificant, part of the free energy consumed by the process (about 20kT for synthesis; he doesn't give the figure for degradation).

(Actually, the RNA example is worth looking at in more detail than I'm going to bother with here. kT ln 4 per base is enough to throw the equilibrium reactant concentrations off by a factor of 4 between the sequence-specific and -nonspecific reactions, which should be experimentally measureable [but I haven't seen a measurement of it yet]. This difference makes sense from the point of view of kinetics: a sequence-specific synthesis reaction can, at any given moment, only react with one-quarter of the available bases that a nonspecific reaction could. Also, it interesting to examine exactly where the entropy decrease due to sequence-specific synthesis is: in the DNA, the RNA, or only in the entropy of both taken together? I'd argue for the last, meaning that this is one of those cases where entropies don't sum nicely.)

Before ending this section, I'd like to note that these consequences -- such as they are -- are all in the realm of thermodynamics, not information theory. There's still no information-theoretic analog of the second law of thermodynamics. Abstract information-processing systems can still produce and destroy Shannon-entropy without limit. The only time there's any limit on the increase or decrease of Shannon- entropy is when it's encoded in the state of a system that's subject to thermodynamics, and then the limits are due to thermodynamics, not any information-theoretic consideration.

6. THERMODYNAMIC ENTROPY AS INFORMATION

Back in my conclusions, I promised to go overboard with this connection (but over the other side of the boat from Brillouin), and have a go at identifying all thermo-entropy (Boltzmann-entropy, actually) with the Shannon-entropy of a system's microstate. This is really just a simple bit of math, given the similarity between Boltzmann's formula for the entropy of a system in terms of the probabilities of all of the microscopically distinct states it might be in:

S = -k * Sum over all microstates i of P(i) * ln(P(i))

and Shannon's formula for the entropy of a set of possible messages (or states, or whatever) in terms of their probabilities:

H = - Sum over all messages i of P(i) * log(P(i))

The choice of a base for the logarithm in Shannon's formula is essentially arbitrary, except that it determines the units of the result. Base 2 is traditional, because it gives the result in bits, which are the most popular units for measuring information. But they're not the only legitimate unit. If you happen to want the entropy in trits, just use base 3; for decimal digits, use base 10; for nats, use base e (natural log, just like the Boltzmann formula). And if you want the result in Joules per Kelvin you can use base e^7.243e22, or take the result in nats and multiply by k. Either way, you'll get the same result you would've from Boltzmann's formula.

(Actually, if you want me to do this units stuff properly, let me claim that information, temperature, and energy are dimensionally related: temperature = energy / information; 1 Kelvin = 9.57e-24 Joule/bit; and Boltzmann's constant is properly written k = 1.38 e-23 J/K*nat = 9.57e-24 Joule/Kelvin*bit = 1. If you allow that, I can use the same units for information and thermo-entropy without blinking.)

What sense can we make of this? I'd say that it means the entropy of a system is the total amount of information represented by the system's state. Weiner's followers would prefer to say it means the entropy of a system is a measure of our uncertainty of (or lack of information about) the precise state of that system. Either way, it doesn't affect the physics at all -- they're just different ways of looking at the same old familiar entropy.

--------------- References and recommended reading

Bennett, Charles H. (1973), "Logical reversibility of computation", IBM Journal of Research and Development, v. 17, pp. 525-532. Reprinted in Leff and Rex (1990), pp. 197-204.

Bennett, Charles H. (1982), "The thermodynamics of computation -- a review", International Journal of Theoretical Physics, v. 21, pp. 905-940. Reprinted in Leff and Rex (1990), pp. 213-248.

Bennett, Charles H. and Rolf Landauer (1985), "The fundamental physical limits of computation", Scientific American, v. 253, pp. 48-56.

Brillouin, Leon (1950a), "Maxwell's demon cannot operate: Information and entropy. I", Journal of Applied Physics, v. 22, pp. 334-337. Reprinted in Leff and Rex (1990), pp. 134-137.

Brillouin, Leon (1950b), "Physical entropy and information. II", Journal of Applied Physics, v. 22, pp. 338-343.

Brillouin, Leon (1956), Science and Information Theory, Academic Press Inc, New York.

Feynman, Richard P. (1996) edited by Anthony J. G. Hey and Robin W. Allen, Feynman Lectures on Computation, Addison-Wesley, ISBN 0-201- 48991-0

Leff, Harvey S. and Andrew F. Rex (1990) Eds. Maxwell's Demon: Entropy, Information, Computing, Princeton University Press, New Jersey, ISBN 0-691-08727-X and 0-691-08726-1

Landauer, Rolf (1961), "Irreversibilidade and heat generation in the computing process", IBM Journal of Research and Development, v. 5, pp. 183-191. Reprinted in Leff and Rex (1990), pp. 188-196.

Shannon, Claude E. (1948), "A mathematical theory of communication", Bell System Technical Journal, v. 27, pp. 379-423 and 623-656. Reprinted in Claude E. Shannon and Warren Weaver, The Mathematical Theory of Communication (University of Illinois Press, Urbana, 1949); and http://cm.bell-labs.com/cm/ms//what/shannonday/paper.html

Szilard, Leo (1929), "On the decrease of entropy in a thermodynamic system by the intervention of intelligent beings", Zeitschrift fur Physik, v. 53, pp. 840-856. English translations: Behavioral Science, v. 9, pp. 301-310 (1964); B. T. Feld and G. Weiss Szilard, The Collected Works of Leo Szilard: Scientific Papers, (MIT Press, Cambridge, 1972), pp. 103-129; J. A. Wheeler and W. H. Zurek, Quantum Theory and Mearurement (Princeton University Press), pp. 539-548; and Leff and Rex (1990), pp. 124-133.

Weiner, Norbert (1948), Cybernetics, John Wiley and Sons, Inc., New York

[Return to the 2000 Posts of the Month]