O que é entropia?

Prefácio

• Houve um tempo em que existia uma plataforma chamada Twitter, e as pessoas trocavam mensagens curtas. Por meio dessa plataforma, foi feita uma breve aula sobre entropia, que depois foi expandida e transformada em um pequeno livro.
• Entropia significa a quantidade de informação que não sabemos sobre uma determinada situação. Para explicar isso quantitativamente, vários temas são abordados:
  • informação
  • entropia de Shannon e entropia de Gibbs
  • princípio da máxima entropia
  • distribuição de Boltzmann
  • temperatura e resfriamento
  • relação entre entropia, energia esperada e temperatura
  • teorema da equipartição
  • função de partição
  • relação entre energia esperada, energia livre e entropia
  • entropia do oscilador harmônico clássico
  • entropia da partícula clássica em uma caixa
  • entropia do gás ideal clássico
• A segunda lei da termodinâmica (a entropia sempre aumenta) não é abordada. Ela é complexa o suficiente para exigir outro livro.
• Tentou-se mencionar a mecânica quântica o mínimo possível, mas a constante de Planck é necessária para definir a fórmula da entropia de sistemas clássicos.
• Como físico matemático, dedica-se muito tempo a tornar os conceitos precisos e a procurar contraexemplos estranhos. O que é importante está dentro das caixas.

Resumo do GN⁺

• Este livro é uma tentativa de explicar de forma acessível os conceitos básicos de entropia, começando pela teoria da informação e seguindo até a mecânica estatística e a termodinâmica.
• A entropia não é definida como "desordem", mas explicada como a quantidade de informação que não sabemos.
• Usa conceitos mínimos de mecânica quântica para explicar a entropia de sistemas clássicos.
• É útil para quem deseja compreender física em maior profundidade, especialmente para entender a relação entre mecânica estatística e teoria da informação.
• Outro projeto com proposta semelhante é a série "Theoretical Minimum".

[GN⁺]

Comentários do Hacker News

• Há uma anedota sobre por que Shannon chamou de "entropia" a "incerteza" na teoria da informação

  • John von Neumann sugeriu o termo "entropia"
  • A entropia já era usada na mecânica estatística e isso ajudava em debates

• É importante entender a entropia de Shannon como uma grandeza subjetiva do observador

  • A entropia da variável X é a quantidade de informação necessária para zerar a incerteza do observador
  • Como cada observador pode ter informações diferentes, a incerteza também pode variar

• Na mecânica estatística, a entropia é explicada como o logaritmo do número de maneiras pelas quais um sistema pode ser organizado

  • É mais fácil pensar nisso como pares de lançamentos de dados

• Na teoria da informação, a entropia é explicada como o número de bits de que um algoritmo de compressão precisa para representar um arquivo com exatidão

  • Entradas repetitivas têm baixa entropia e por isso são bem comprimidas

• Há uma playlist do PBS Spacetime sobre entropia

• Prefere uma abordagem que explica a entropia de distribuições discretas de probabilidade com histogramas

  • Mede a probabilidade de que, ao jogar muitas bolas aleatoriamente, o resultado tenha uma distribuição como a do histograma
  • Ao jogar N bolas em uma distribuição P, a probabilidade de o histograma ser igual a P é 2^(-N * [log(k) - H(P)])
  • A distribuição uniforme tem a entropia mais alta

• O livro 'Entropy Demystified' explica a segunda lei da entropia

• Um texto de John Baez foi uma grande fonte de prazer no ensino de graduação

• Gosta da abordagem que explica a entropia como a quantidade de informação que, em teoria, pode ser conhecida sobre um sistema

  • Surpreende que não haja menção à interação com a interpretação de Copenhague

• A entropia da informação é um limite inferior rigoroso de quão eficientemente a informação pode ser transmitida

  • A entropia é calculada usando uma distribuição de probabilidade