O que é entropia?
(johncarlosbaez.wordpress.com)- É o rascunho de um livro curto que tenta quantificar a entropia como a quantidade de informação que, em princípio, é possível conhecer, mas ainda não se conhece
- Usa como enigma central o motivo pelo qual o gás hidrogênio em temperatura ambiente e pressão atmosférica tem uma entropia correspondente a cerca de 23 bits de informação desconhecida por molécula
- Parte da entropia de Shannon e da entropia de Gibbs e conecta isso ao princípio da máxima entropia, à distribuição de Boltzmann, à temperatura, à função de partição e à energia livre
- Não aprofunda deliberadamente a segunda lei da termodinâmica, biologia nem física de buracos negros, e não explica entropia como desordem
- Mesmo ao tentar calcular a entropia de sistemas clássicos, são necessários a constante de Planck e um pouco de mecânica quântica por causa da unidade de volume do espaço posição-momento
Formato do livro e ponto de partida
- What is Entropy? é o rascunho atual de um livro curto sobre entropia
- O título alternativo original era 92 Tweets on Entropy, mas foi considerado inadequado porque, com o tempo, as pessoas talvez não se lembrem do que eram “tweets”
- É uma versão um pouco expandida de uma aula sobre entropia realizada no Twitter em formato de mensagens curtas
Definição de entropia como informação
- Entropia significa a quantidade de informação que ainda não se conhece sobre uma situação
- Essa informação deve ser, em princípio, passível de ser aprendida
- O livro se concentra em transformar essa ideia em um conceito preciso e quantitativo
- A pergunta central é por que o gás hidrogênio em temperatura ambiente e pressão atmosférica tem uma entropia correspondente a cerca de 23 bits de informação desconhecida por molécula
Conceitos conectados para resolver o enigma
-
Informação e entropia
- Parte do conceito de informação e aborda a entropia de Shannon e a entropia de Gibbs
- Explica como lidar com estados probabilísticos por meio do princípio da máxima entropia e da distribuição de Boltzmann
-
Temperatura, energia e função de partição
- Conecta temperatura e frieza (coolness), bem como a relação entre entropia e energia esperada
- Trata de como o teorema da equipartição, a função de partição, a energia esperada e a energia livre se entrelaçam no cálculo da entropia
-
Exemplos de sistemas clássicos
- Entropia do oscilador harmônico clássico
- Entropia de uma partícula clássica dentro de uma caixa
- Entropia do gás ideal clássico
Temas deliberadamente não abordados
- A segunda lei da termodinâmica quase não é abordada
- A ideia de que a entropia sempre aumenta é interessante, mas cheia de problemas; para explicá-la corretamente, seria necessário outro livro
- O papel da entropia em biologia e na física de buracos negros também fica de fora
- Aspectos da entropia frequentemente tratados em livros populares de física estão fora do escopo deste livro
- Entropia não é chamada de “desordem”
A constante de Planck necessária até na física clássica
- Para manter baixo o nível de conhecimento prévio de física, a explicação de mecânica quântica é reduzida tanto quanto possível
- Ainda assim, a constante de Planck aparece nas fórmulas de entropia dos três sistemas clássicos
- A constante de Planck fornece uma unidade de volume no espaço posição-momento
- Essa unidade de volume é necessária para definir a entropia desses sistemas
- Mesmo tratando o gás hidrogênio da forma mais clássica possível, é preciso um pouquinho de mecânica quântica para obter uma boa fórmula aproximada da entropia
Caráter matemático e como ler
- O livro dedica bastante tempo a tornar os conceitos precisos no estilo de um físico matemático e a examinar até contraexemplos incomuns
- Pode permanecer nos detalhes técnicos por mais tempo do que físicos profissionais na prática
- Se o conteúdo técnico parecer excessivo, é possível pular para o próximo “tweet”
- O conteúdo realmente importante está dentro das caixas
- Também é possível ler até o fim e depois reaprender os detalhes
1 comentários
Opiniões no Hacker News
Há uma anedota famosa contada por Shannon: “O que mais me preocupava era o nome. Pensei em chamar de ‘informação’, mas era uma palavra usada demais, então decidi chamar de ‘incerteza’. Conversei com John von Neumann, e ele teve uma ideia melhor. Von Neumann disse: ‘Chame de entropia. Primeiro, sua função de incerteza já é usada com esse nome em mecânica estatística, então ela já tem um nome. Segundo, e mais importante, ninguém sabe de fato o que é entropia, então você sempre terá vantagem nos debates’”
A discussão sobre se a entropia de Shannon é a mesma que a entropia da termodinâmica, bem como referências, pode ser vista nestas respostas do MathOverflow SE (https://mathoverflow.net/questions/403036/john-von-neumanns-...)
Só senti que realmente entendi a entropia de Shannon quando passei a vê-la como uma quantidade subjetiva, isto é, não uma propriedade do objeto observado, mas uma propriedade do observador
A entropia de uma variável X é a quantidade de informação necessária para reduzir a zero a incerteza que um observador tem sobre o valor de X. Portanto, para a mesma variável X, a minha incerteza e a incerteza de outra pessoa podem ser diferentes. Isso é natural, já que cada um pode ter recebido informações diferentes sobre X. H(X) deveria ser H_{observador}(X), ou ainda H_{observador, tempo}(X). O trabalho de Shannon é claro em outros aspectos, mas passa meio por cima dessa parte
Considere a entropia cruzada de duas distribuições, H[p, q] = -Σ p_i log q_i. Por exemplo, p pode ser a distribuição real das frequências dos resultados ao lançar um dado de verdade, e q pode ser a distribuição em que eu acredito. p_i pode ser visto como uma probabilidade objetiva, e q_i como uma probabilidade subjetiva. A entropia cruzada se aproxima de uma medida de quanto, em média, ficamos surpresos ao observar um resultado
O interessante é que H[p, p] <= H[p, q]. Isso significa que, se a distribuição das crenças estiver errada, a entropia cruzada será maior do que seria se tivéssemos a crença correta q=p. Isso é garantido pela concavidade do logaritmo. Assim, é possível comparar crenças: se algum q minimiza H[p,q], esse q está mais próximo da verdade
A entropia cruzada também pode ser decomposta em duas partes, como H[p, q] = H[p] + D[q||p]. O primeiro termo é a entropia de p, a incerteza aleatória inerente ao próprio fenômeno que se quer modelar, ou incerteza aleatória; o segundo termo é a divergência KL, que representa a incerteza adicional gerada por crenças incorretas, isto é, a incerteza epistemológica
Ao medir as crenças de observadores diferentes, estamos apenas olhando para distribuições diferentes, e essas distribuições podem ter entropias diferentes assim como podem ter médias ou variâncias diferentes
Mas, se você não conhece a semente, a entropia é muito alta
entropia + informação = número total de bits em uma descrição completa
Um ovo intacto tem baixa entropia. Só há uma maneira de o ovo existir sem estar quebrado, e o estado do ovo poderia até ser representado por 1 bit
Um ovo quebrado tem alta entropia. Há arbitrariamente muitas maneiras de os pedaços quebrados ficarem dispostos
Uma lista das posições e orientações de cada pedaço do ovo quebrado, ordenada por latitude, longitude e direção da bússola, volta a ter baixa entropia. Para uma instância específica de um ovo quebrado, essa lista só pode ser escrita de uma maneira
Se você compactar essa lista em zip, ela volta a ter alta entropia. Os dados dentro do arquivo .zip parecem, na prática, aleatórios e não podem ser compactados muito mais. Pelo menos até serem descompactados de novo
Da mesma forma, se for preciso transmitir a lista não compactada por um canal com limitação de largura de banda, o receptor não pode fazer nenhuma suposição sobre o conteúdo; portanto, mesmo que haja estrutura, ela não difere de aleatoriedade, e a entropia efetivamente volta a ser alta
Gostei muito da abordagem que meu professor de mecânica estatística usava. Em quase todas as situações, a entropia acaba sendo o logaritmo do número de maneiras pelas quais um sistema pode ser arranjado (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
Pessoalmente, achei mais fácil pensar em pares de resultados de dois dados
Infelizmente, isso não se encaixa muito bem com o uso de Shannon, exceto em um sentido bastante superficial, então essa interpretação permanece firmemente no domínio da física
Por isso, informação e entropia são diferentes. Entropia é saber que eu não sei. É quantificar esse conhecimento sobre a magnitude do desconhecido
É aqui que vejo um ponto do texto como errado ou não suficientemente conciso. A expressão abaixo, na minha leitura, inclui até aquilo que “não sabemos que não sabemos”, o que não é entropia:
https://en.wikipedia.org/wiki/Thermodynamic_beta
Na teoria da informação, sempre pensei em entropia assim: “se houvesse um algoritmo de compressão realmente inteligente, quantos bits seriam necessários para representar este arquivo com exatidão?”
Ou seja, uma entrada com muitas repetições tem pouca entropia por bit e, portanto, comprime bem. Algoritmos de compressão modernos são bons o bastante na maioria dos dados para serem usados como uma aproximação razoável da entropia real
Para a entropia de uma distribuição de probabilidade discreta, gosto desta explicação prática. Gosto dos textos do John Baez, mas, ao passar os olhos pelo PDF, fiquei surpreso por ele aparentemente não abordar essa perspectiva
Pense na distribuição como um histograma sobre vários intervalos. Então a entropia mede a probabilidade de que, ao jogar aleatoriamente um número muito grande de bolas nesses intervalos, a distribuição das bolas se pareça com esse histograma. Em geral, o esperado é uma distribuição uniforme entre os intervalos, então a entropia mede o quanto podem ocorrer outros eventos raros — em termos de teoria da probabilidade, grandes desvios em relação ao comportamento típico
Mais concretamente, se P = (P1, ..., Pk) é uma distribuição, então, quando N é muito grande, a probabilidade de, ao lançar N bolas, obter um histograma que se pareça com P é aproximadamente 2^(-N * [log(k) - H(P)]). Aqui, H(P) é a entropia. Se P for a distribuição uniforme, H(P)=log(k), então o expoente vira 0 e a estimativa é 1; isso significa que o histograma uniformemente distribuído é, de longe, o mais provável
Como essa é a entropia máxima possível, outros histogramas aparecem com probabilidade 2^(-c*N) para algum c > 0; isto é, são muito raros e ficam exponencialmente mais raros quanto mais bolas você lança. A entropia mede esse grau. Quanto “menos uniforme” for a distribuição, menos provável ela é; portanto, a entropia também mede, em certo sentido, a uniformidade. Na teoria dos grandes desvios, essa afirmação específica é chamada de teorema de Sanov, e o papel desempenhado pela entropia é o de “função de taxa”
A interpretação de contagem da entropia de que as pessoas falam também está relacionada em alto nível. No teorema de Sanov, a probabilidade é o número de resultados que “se parecem com P” dividido pelo número total de resultados, e o numerador de fato conta o número de configurações que têm uma certa propriedade — neste caso, a propriedade de que a disposição das bolas nos intervalos se parece com P
Há muitas definições equivalentes, cada uma com vantagens e generalizações diferentes, mas essa perspectiva é especialmente útil para dissipar a aura de mistério em torno da entropia
Playlist sobre entropia do PBS Spacetime: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
Entropia da informação é, literalmente, o limite inferior rigoroso de quão eficientemente é possível transmitir informação quando se conhece a distribuição de probabilidade que gera essa informação — isto é, o limite inferior para o valor esperado do número de bits transmitidos
Mesmo no contexto de calcular a entropia da informação de uma string de bits ou do inglês, o que se faz é construir uma distribuição de probabilidade empírica a partir dos dados, usando as frequências relativas de 0s e 1s, letras, n-gramas etc., e então calcular a entropia dessa distribuição. Não gosto muito da definição de Baez, mas, considerando a autoridade dele, é difícil contestar sem cautela
“Evitei em grande parte a segunda lei da termodinâmica, isto é, a afirmação de que a entropia sempre aumenta. É interessante, mas tão complicada que seria preciso outro livro para explicá-la direito!”
Se houver interesse, estou lendo Entropy Demystified, de Arieh Ben-Naim, que aborda esse aspecto quase pela mesma direção
Às vezes penso de onde vem a nova entropia/aleatoriedade. Se considerarmos o estado mais inicial do universo como uma partícula pontual infinitamente densa que se expandiu, então deveria haver alguma aleatoriedade ou diversidade que a fizesse expandir de forma não uniforme, e isso teria levado a matéria a predominar sobre a antimatéria, ou à formação de galáxias, aglomerados etc.
Se pensarmos em um sistema isolado com certas partículas estáticas, poderia acontecer de um pequeno subconjunto dessas partículas começar a se mover e introduzir entropia? A entropia poderia ser induzida automaticamente, pelo menos no nível quântico? Se alguém pudesse explicar isso, ajudaria a entender melhor a origem do universo
Um exemplo clássico é o seguinte. Imagine um sombrero[1] perfeitamente simétrico, com uma bola equilibrada no topo, bem no centro do chapéu. Não há uma direção preferencial para a bola cair, mas esse estado é instável. Qualquer perturbação faz a bola rolar para baixo, e ela para em uma configuração estável na aba do chapéu. A simetria da configuração original agora foi quebrada, mas o estado é estável
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
Ele explica que a aleatoriedade que você está procurando vem das flutuações quânticas, e que, sem essa aleatoriedade, o universo provavelmente não teria “acontecido”