ChatGPT é um JPEG borrado da web

• Texto escrito por Ted Chiang, considerado um dos melhores autores de ficção científica da atualidade
• A ideia é que o ChatGPT armazena informação de forma comprimida, então é como olhar para um JPEG borrado em vez do original
• Em 2013, descobriram que uma copiadora da Xerox alterava números para outros números ao copiar plantas técnicas
• O problema aconteceu porque, no processo de digitalização para a cópia, a compressão com perdas JBIG2 armazenava apenas um número parecido e depois o reutilizava
• Não dá para dizer que esse caso e o ChatGPT da OpenAI sejam obviamente equivalentes, mas um cenário semelhante pode acontecer ao armazenar informações da web
• Imagine perder o acesso à internet
  • Você quer comprimir todo o texto da web e fazer uma cópia
  • Mas só tem espaço para armazenar 1% do volume, então precisaria usar um algoritmo com perdas para comprimir
  • Agora você pode pesquisar tudo, mas o texto foi comprimido demais e já não é possível recuperar citações exatas
• Pense no ChatGPT como um JPEG borrado de todo o texto que existe na web
• Como um JPEG, ele preserva muita informação da web, mas não mantém exatamente a mesma sequência de bits
• Tudo o que você recebe é uma aproximação
• Mas essa aproximação geralmente é aceita porque vem na forma de um texto gramaticalmente excelente produzido pelo ChatGPT
• Essa compressão com perdas não é a única maneira de entender como o ChatGPT funciona
• Mas também ajuda a entender as "alucinações" e as respostas absurdas sobre a verdade que o ChatGPT produz
• Essas alucinações são plausíveis o bastante para que, como os números errados produzidos pela copiadora da Xerox, seja preciso comparar com o original para identificar o erro de fato
• Modelos de linguagem de grande porte identificam regularidades estatísticas no texto
• Uma expressão como "a oferta é baixa" aparece perto de uma frase como "os preços sobem"
• Um chatbot que viu muito esse tipo de relação acaba respondendo com aumento de preços quando recebe perguntas sobre os efeitos de uma escassez de oferta
• Só porque um LLM (modelo de linguagem de grande porte) reuniu inúmeras correlações entre termos econômicos, podemos realmente dizer que ele entende teoria econômica?
• Modelos como o ChatGPT não fazem compressão sem perdas. Ou seja, não reconstroem exatamente o texto original
• O GPT-3 quase sempre acerta ao somar ou subtrair pares de números de 2 dígitos, mas se os números tiverem 5 dígitos a precisão cai muito, chegando a 10%
• Isso porque não há muitas páginas na web contendo textos como "245 + 821"
• Mesmo tendo agregado uma quantidade enorme de informação, ele não derivou nem mesmo os "princípios da aritmética"
• Imagine como seria se o ChatGPT fosse um algoritmo sem perdas
• Nesse caso, ele responderia às perguntas citando trechos diretamente das páginas relevantes da web
• Provavelmente acharíamos que o software é apenas uma leve melhoria em relação aos mecanismos de busca existentes e ficaríamos menos impressionados
• O fato de o ChatGPT reformular o material da web em vez de citá-lo palavra por palavra faz parecer que, como um aluno, ele está expressando o pensamento com as próprias palavras em vez de apenas repetir o que leu
• Isso cria a ilusão de que o ChatGPT compreende o material
• Muitos usos foram propostos para LLMs, e pensar neles como um JPEG borrado ajuda a avaliar o que é adequado ou inadequado
• LLMs podem substituir a busca tradicional?
  • Para confiar em LLMs, precisamos saber que eles não foram expostos a propaganda ou teorias da conspiração (isto é, que não foram treinados com dados estranhos)
  • Precisamos saber que o JPEG capturou a seção correta da web
  • Mas, mesmo que um LLM contenha só a informação que queremos, ainda existe o problema do borrão
  • Se há um tipo de borrão aceitável, é o de reformular a informação com outras palavras
  • E também há borrões claramente inaceitáveis, como distorções evidentes, que nunca podem ser tolerados quando estamos buscando fatos
  • Não está claro se é tecnicamente possível eliminar os borrões inaceitáveis e preservar os aceitáveis, mas esperamos descobrir isso em breve
• Mesmo que seja possível limitar os LLMs para que não forjem informações, deveríamos usá-los para gerar conteúdo para a web?
  • Isso só faz sentido se nosso objetivo for apenas reembalar informações que já estão disponíveis na web
  • Algumas empresas existem exatamente para fazer esse tipo de trabalho: o que chamamos de fábricas de conteúdo
  • Talvez o borrão dos LLMs seja útil para elas como forma de evitar violação de direitos autorais
  • Mas, de modo geral, eu diria que o que é bom para fábricas de conteúdo não é bom para quem está tentando encontrar informação
  • Com o aumento desse tipo de reembalagem, encontrar alguma coisa online já ficou mais difícil hoje
• Quanto mais texto gerado por LLMs for publicado na web, mais borrada a web vai se tornar
• Há poucas informações sobre o GPT-4, mas, tentando prever, as pessoas da OpenAI provavelmente se esforçaram para excluir, ao coletar os textos necessários, material gerado pelo ChatGPT ou por outros LLMs
• Se isso for verdade, será uma forma de confirmar se a analogia entre LLMs e compressão com perdas está correta
• Quando um JPEG é comprimido repetidamente, mais informação se perde e mais artefatos de compressão aparecem
• É como antigamente, quando se tirava cópia de uma cópia e a qualidade só piorava
• LLMs podem ajudar humanos a criar obras originais?
  • Minha opinião é que começar com uma cópia borrada em vez de um original não é uma boa maneira de produzir algo original
  • Se você é escritor, vai produzir muita coisa não original antes de escrever algo original
  • O tempo e o esforço investidos em trabalhos não originais não são desperdiçados
  • Pelo contrário: é isso que no fim permite que você crie algo original
  • O tempo gasto escolhendo as palavras certas e reorganizando frases para que fluam bem ensina como a prosa transmite significado
  • Pedir aos alunos que escrevam redações não é apenas uma forma de testar o quanto eles entenderam do material
  • É dar a eles a experiência de expressar seus pensamentos com clareza
• No futuro, pode ser possível construir uma IA capaz de escrever bem com base apenas na própria experiência do mundo
• Será um momento importante, mas o dia em que isso será alcançado está além da nossa capacidade de previsão
• Se fosse necessário guardar uma cópia da internet em um servidor com espaço limitado e sem acesso à internet, modelos de linguagem de grande porte como o ChatGPT poderiam ser uma boa solução
• "Mas nós não perdemos o acesso à internet. Se o original existe, por que deveríamos usar um JPEG borrado"?

[bleu28]

Fiz perguntas repetindo operações de soma e subtração com mais de 5 dígitos, e ele continua dando respostas corretas
Em que ponto essa precisão começa a piorar?

[flaps3]

O ponto que Ted Chiang deixa passar é que a busca no Google, que até agora vinha sendo o principal meio de navegação na internet, teve sua qualidade bastante reduzida nos últimos anos por causa da enxurrada de conteúdo web de baixa qualidade.
Mesmo que o ChatGPT seja um JPEG borrado, se a alternativa for apenas uma busca no Google cheia de ruído, então pode ser racional usar o ChatGPT como o melhor meio disponível neste momento para obter informação.
Foi dito que “não perdemos o acesso à internet”, mas é justamente essa a premissa equivocada. Considerando a escala gigantesca da web, perder a capacidade de navegação equivale, na prática, a perder o acesso. De que adianta ter acesso se não consigo encontrar a informação que quero?
Ou seja, estamos nos aproximando de uma situação em que é como se não houvesse mais “originais”, e acredito que essa seja a razão pela qual as pessoas hoje sentem que precisam usar um “JPEG borrado”.

[laeyoung]

Acho que o comentário deixado abaixo por lightgreenmaesil mostra a diferença entre a perspectiva de Ted Chiang e a das pessoas que estão do lado oposto.

"Antes de tudo, o tamanho também é maior, e leva muito mais tempo para ver. Como é uma foto, talvez seja difícil sentir tanto essa questão do tempo, mas se pensarmos em um livro inteiro e em um resumo de uma página com os pontos centrais desse livro, fica bem mais palpável."

Quando vemos a popularidade e o número de visualizações de coisas como resumos de filmes em 15 minutos ou resumos de livros no YouTube, é fato que as pessoas gostam disso. Shorts também entram nessa. Mas, se pensarmos se esses resumos conseguem de fato representar integralmente o original, parece mais correto dizer que não. Quem se emocionou vendo a obra original sentirá fortemente aquilo que ficou de fora no resumo.

Do ponto de vista de Ted Chiang, que é romancista, o que ChatGPT e os LLMs fazem provavelmente soa como olhar para textos que resumem seus romances em 1 ou 2 páginas. E, ao ver pessoas dizendo ou acreditando que toda a obra está contida naquele texto curto, ele deve pensar: será que isso faz sentido mesmo?

Da mesma forma, será que diretores e atores gostam de pessoas que, em vez do original, assistem apenas a um resumo de 15 minutos do filme? Eles considerariam essas pessoas como alguém que viu sua obra? E, indo além, o que aconteceria se quase todo mundo passasse a perceber um resumo de 15 minutos como sendo mais “filme” do que o próprio filme? Se por causa disso deixasse de ser possível fazer filmes, então os resumos de 15 minutos resumiriam filmes baseados em quê?

Vivemos numa época em que se gosta de resumir texto e vídeo, consumir tudo de forma mais rápida e comprimida, mas, curiosamente, a música continua sendo a única coisa que permanece como é. Não existe gente que ouve música resumida, ou em 2x, ou pulando trechos chatos de 10 em 10 segundos.

Então, seguindo esse espírito do nosso tempo, será que eu, que ouvi Ditto, do NewJeans, em 2x e em uma prévia de 1 minuto, poderia me tornar fã do NewJeans? Eu, que ouvi a música de forma comprimida e resumida, ainda posso dizer que ouvi essa música? Ou não? Ou isso tanto faz?

[fudiso]

Como o próprio Ted Chiang usou a analogia do JPEG, uma compressão com perdas, para explicar modelos de linguagem, mesmo que exista um original, a informação comprimida continua sendo necessária.
E, mesmo que o modelo de linguagem volte a treinar com resultados que ele mesmo criou, quase não há perda de informação. (Quase não ocorrem atualizações nos parâmetros internos do modelo. Como é uma informação que ele já conhece, não há efeito de aprendizado.)

[stdcarrot]

Parece que há uma diferença entre o texto original e a nuance na tradução da última pergunta, e que há muitos comentários que destoam da intenção do original porque as pessoas estão olhando apenas a versão traduzida.

So just how much use is a blurry jpeg, when you still have the original?
Então, quão útil é um JPEG borrado quando você ainda tem o original?

Para mim, isso parece uma pergunta sobre qual seria a utilidade de um JPEG quando você possui o arquivo RAW,
mas, ao interpretar como “qual seria o motivo para usar isso”, acaba parecendo algo na linha de “se já tem RAW, por que usar um negócio como JPEG?”.

Claro, na prática existe um motivo pelo qual JPEG é mais popular que RAW, então acho que é uma pergunta que também inclui essa perspectiva.

[pseudojo]

Às vezes, nem a documentação oficial de projetos open source ou da AWS parece confiável, então muitas vezes é preciso executar tudo diretamente para conferir ou até verificar o código-fonte; imagine então o ChatGPT... Quanto maior a quantidade de informação, mais parece que a quantidade de validação cruzada que os humanos precisam fazer aumenta de forma desnecessária.

[daumkakao]

Você não consegue distinguir entre um JPEG e o original, consegue?

[laeyoung]

Depende das características da imagem e da taxa de compressão. Para quem fotografa, é preferível guardar o original separadamente do JPEG. Mais tarde, na hora de editar e fazer ajustes, a margem de edição com um arquivo JPEG e com o original é bem diferente.

https://www.keptlight.com/does-size-matter/

[botplaysdice]

Não seria justamente criar esse JPEG borrado o trabalho que a maioria das pessoas está fazendo para ganhar a vida neste exato momento?

[namjun]

O ChatGPT é realmente incrível, mas parece humano demais, a ponto de soar inadequado para buscas e transmissão de informações.

[ahwjdekf]

Concordo muito com a ideia de que é parecido com olhar para um JPEG borrado em vez do original. Por exemplo, quando leio um livro traduzido, se a interpretação do tradutor estiver muito refletida no texto, mesmo que eu sinta no meio do caminho que a tradução está estranha, se as palavras continuarem se conectando de forma fluida e eu achar que o contexto geral parece fazer sentido, na maioria das vezes eu simplesmente continuo virando as páginas (embora, depois de terminar, seja outra questão se aquilo realmente fez sentido). Mas aquela tradução que parece estranha pode muito bem ser um absurdo, então isso não é algo que dê para ignorar. Para algumas pessoas esse tipo de tradução pode ser inaceitável, enquanto para outras pode ser algo tolerável.

[norimsu]

Hum. A qualidade da imagem está bem ruim.

[tequila]

Talvez isso também possa servir como um alerta. Eu também uso bastante no trabalho, quando preciso de conselhos ou quando quero lapidar um texto, mas é claro que às vezes ele dá respostas convincentes, porém erradas. E, de fato, para o usuário perceber que essa resposta está errada, muitas vezes é preciso ter conhecimento daquela área ou fazer uma pesquisa adicional. Às vezes há erros que só dá para notar olhando com bastante atenção. (Como quando gera código usando uma função que nem existe.)
Até eu descobrir esse tipo de erro, para falar a verdade, nunca tinha imaginado que essa inteligência artificial me responderia dessa forma. Eu só cogitava duas possibilidades: ou ela não conseguiria responder, ou daria uma resposta totalmente sem sentido.

Vendo que até em lugares como o Stack Overflow, onde há relativamente mais gente com maior entendimento desse tipo de tecnologia, existiram atritos aos poucos relacionados a respostas de IA, parece que, na prática, a validação perfeita pelos usuários não aconteceu tanto quanto se poderia imaginar. Verificar dados gerados por IA exige intervenção humana e é claramente um trabalho que demanda esforço e conhecimento. Se não fosse assim, a Microsoft não teria deixado passar erros convincentes produzidos pela sua própria IA. Por isso sabemos que, por enquanto, precisamos usar essa tecnologia como ferramenta. Mas, quando perguntamos à IA do celular como vai estar o tempo hoje, nunca partimos da premissa de que a resposta pode estar errada por causa de um bug ou outro tipo de falha. Quando inteligências artificiais como o ChatGPT forem evoluindo gradualmente para IAs de uso geral, cada vez mais próximas do cotidiano, não é alta a chance de o usuário aceitar a resposta sem grande desconfiança?

Ultimamente, nas escolas, há muitos casos de uso de ChatGPT e afins para escrever redações no lugar do aluno. Já saíram reportagens sobre casos em que, em vez de apenas apontar erros, sugerir temas para escrever ou expandir um texto, a pessoa entrega de forma indiscriminada a resposta da IA com apenas algumas palavras trocadas e ainda recebe nota alta, sem refletir sobre o problema proposto. Em situações em que se pede a opinião da própria pessoa com base em material pesquisado diretamente, delegar à inteligência artificial o pensamento, a estrutura e até a redação é, sem dúvida, um novo paradigma.

Mesmo deixando a inteligência artificial de lado, às vezes aparecem aos montes na internet materiais errados nos resultados de busca, e muita gente acredita que são fatos sem fazer uma checagem adicional. Eu mesmo, se não lesse verificando tudo ponto por ponto, provavelmente já teria aceitado muita informação errada sem perceber.
Existe até uma piada sobre isso, algo como “erosão dos dados”. Na internet, uma foto em JPG vai sendo compartilhada por vários sites, e nesse processo de redimensionamento e compressão repetidos a qualidade da imagem às vezes fica um desastre. Já vi até fundo branco ficar azulado.
Acho que a preocupação talvez seja algo como a degradação da informação. Como se costuma dizer, a moeda ruim expulsa a boa, não é?
Os sites de compartilhamento de imagens já estão cheios de figuras geradas por IA. Isso não é necessariamente errado, mas, se a internet passar a ser densamente preenchida por artigos aproximados escritos por IA, e se IAs baseadas nisso voltarem a gerar novos artigos repetidamente, será que uma distorção da informação não pode ir se acumulando aos poucos? Fico pensando nisso.

[rousseau]

Sou um fã de verdade que lê ficção científica há mais de 30 anos e considera 'A História da Sua Vida' a melhor entre as novas obras de SF que li nos últimos quase 10 anos, mas, do ponto de vista de alguém da área que trabalha como desenvolvedor há mais de 20 anos, é uma fala que eu não tenho como deixar de contestar.

Basicamente, essa declaração parte de uma perspectiva que dá para chamar de arrogante. É a ideia de que as pessoas vão interpretar mal, por serem ingênuas, que plataformas de IA como o ChatGPT chegaram ao campo da criação, mas eu sei que não é assim, então preciso revelar a elas a verdade verdadeira.

A verdade mesmo é que não só quem trabalha no setor, mas também a maioria das pessoas, sabe que não é assim. Desde o AlphaGo, a IA já se tornou tema do debate público faz muito tempo. Todo mundo conhece, em alguma medida, tanto as capacidades quanto os limites da IA. Hoje, no mundo do Go com IA, há especialistas de sobra que tratariam algo no nível do AlphaGo como brincadeira de criança, mas ninguém recebe isso como um choque. Isso porque já houve muito aprendizado sobre o que isso significa e como deve ser entendido.

Eu vejo essa fala do Ted Chiang, ao contrário, como um erro nascido da ignorância e do preconceito em relação ao público. O público que vibra com o ChatGPT não faz isso por acreditar que ele vá substituir nossa atividade intelectual. Todo mundo sabe muito bem que ele vai "auxiliar" nossa atividade intelectual e o está usando dessa forma. Exemplos de prompts estão sendo sistematizados e compartilhados como manuais. Dá para ver claramente que ele é reconhecido como uma ferramenta.

Como as pessoas encaram a IA que faz desenhos? Será que esfregam isso como uma lâmpada mágica para que ela substitua sua criação? Cerca de 90% das imagens de IA que vi ultimamente eram imagens sugestivas. Se as mãos saem borradas porque ela desenha mal mãos, tudo bem, mas o resto era apenas limpo e nítido.

Tenho muito a dizer, mas como é demais, vou encerrar com apenas uma frase.

"Sr. Kim, há algo que eu ouso aconselhar. Não é nada demais, mas por favor não use tanto funções do Excel. Se existe conveniência, o risco também aumenta. Para abater um boi existe uma lâmina à altura, mas é preciso faca para matar uma galinha?...... Na minha opinião, cálculo mental pode ser rápido, claro que varia de pessoa para pessoa, e a calculadora pode ser boa. Mas um computador não seria uma faca para abater boi? Deixo aqui minha opinião."

[lightgreenmaesil]

A última pergunta estava errada. A comparação não deveria ser com um JPEG borrado, mas com uma descrição em palavras de uma foto JPEG. Por exemplo, um texto como “um cachorro com a língua para fora” versus a foto real disso. Isso também é um tipo de compressão com perdas. Afinal, a maior parte da informação foi apagada e comprimida em apenas alguns bytes de texto. Mas isso significa que essa compressão com perdas não tem valor só porque a foto original existe? Não. Para começar, ela ocupa mais espaço e também leva mais tempo para ser vista. No caso de uma foto, isso pode não parecer tão intuitivo em termos de tempo, mas fica mais claro se pensarmos em um livro inteiro e em um resumo de uma página com os pontos principais desse livro.

Então, se existe um artigo acadêmico, há motivo para ver o resumo desse artigo, que é uma compressão com perdas? Claro que sim, e dependendo do caso isso é muito útil. Se existe um livro e você precisa usar um resumo sobre uma afirmação específica mencionada em um dos capítulos desse livro — obviamente há motivo para isso. De certo modo, quando uma pessoa vai à escola, assiste a dezenas de horas de aula e depois organiza isso em anotações ou em uma cheating sheet, isso também é uma enorme compressão com perdas, de vídeo para texto. Aprender em si é compressão com perdas. Isso não tem utilidade?

A analogia com “compressão”, comparando-a à compressão de imagens, foi escrita de um jeito que faz parecer algo muito trivial e sem grande significado, mas, na verdade, compressão é um processo extremamente essencial e significativo no aprendizado humano. No caso de imagens, os métodos de compressão já estão relativamente bem compreendidos, mas a compressão da linguagem é algo extremamente non-trivial e importante.

[cenoch]

A resposta para a última pergunta é

mesmo que a informação que recebemos por meio do GPT seja uma versão degradada em JPEG,
a informação que queremos, em geral, é uma versão em colagem, e o esforço necessário para montar essa colagem é considerável.

o GPT substitui esse trabalho de colagem e, às vezes, a qualidade final como um todo é melhor do que a que eu conseguiria com a minha própria habilidade manual,
por isso a perda de qualidade da imagem é algo suficientemente aceitável.

Talvez eu nem esteja em posição de avaliar a imaginação e a compreensão técnica de Ted Chiang,
mas a minha impressão geral é que esse texto é resultado de uma superinterpretação de algumas características dessa tecnologia
e que deixou passar justamente os aspectos realmente importantes.

[johtta88]

A resposta para a última pergunta provavelmente é: "porque é conveniente", não?
Não sei se é uma analogia adequada, mas é como a alta satisfação hoje em dia com coisas que condensam o original, como maratonar filmes/séries.

[regentag]

Parece uma analogia muito boa, mas que quem não é da área jamais entenderia.
Como poderíamos explicar isso para não especialistas, incluindo pessoas que fingem ser especialistas?

[yhkee0404]

A super-resolução pode ser melhor do que o original

[wedding]

Claro que pode ser melhor, mas o texto não aponta justamente que isso não significa que será necessariamente melhor?

[yhkee0404]

Disseram que pode melhorar, mas claro que nem sempre melhora. Só que o texto fala apenas que a resolução fica borrada e, por outro lado, acaba descartando a possibilidade de ficar mais nítida. A qualidade de imagem de CCTV também está melhorando, e até estão colorizando imagens em preto e branco, mas o JPEG do título não dá suporte a esse tipo de coisa.

[seunghaekim]

Melhorar a qualidade de uma imagem — ou seja, melhorar a qualidade de um CCTV — em certo sentido não é exatamente uma melhoria. É dar ao ser humano a 'sensação' de que a imagem foi melhorada. O mesmo vale para colorir uma imagem em preto e branco. Ao 'gerar' uma versão colorida de uma imagem em preto e branco, você oferece ao ser humano a 'sensação' de uma imagem colorida. Por isso, a 'melhoria' tratada pelas tecnologias atuais de aumento de qualidade de imagem precisa ser vista como uma questão sob um aspecto muito restrito. Assim, comparar a melhoria de qualidade de CCTV com o fato de o JPEG não oferecer esse tipo de suporte é uma comparação bastante injusta.

[yhkee0404]

Obrigado pelo comentário. Seguindo a mesma lógica, porém, dizer que é borrado também, em certo sentido, não é degradação, mas sim “gerar” algo degradado para proporcionar uma “sensação”, então é uma questão que deveria ser tratada sob um aspecto muito estreito; por isso, comparar a habilidade matemática do ChatGPT com a degradação de um JPEG também parece bastante injusto, não é? Ao aumentar a quantidade de informação em si, não acho que seja necessário trazer à tona algo como a “sensação” humana. Assim como comprimir uma imagem colorida em preto e branco reduz o tamanho, no sentido inverso, aplicar cor aumenta não só a capacidade em bits, mas a própria quantidade de informação, o que se parece mais com descompressão, ou até restauração do original, do que com compressão. Dizer que é borrado só porque não é o original em si parece uma comparação muito mais injusta. Só pelo título, dá até para entender errado que o DALL-E também só cria imagens de baixo tamanho e baixa resolução e não consegue fazer HD. Como o próprio texto diz, ao recomprimir JPEG repetidamente, em geral o tamanho diminui, a qualidade cai e inevitavelmente fica borrado; mas espero que não se ignore o fato de que, embora o deep learning possa ser borrado em cálculos matemáticos com poucos dados, no sentido oposto também há áreas em que ele é ainda mais claro, preciso e competente.

[seunghaekim]

Você não deixou passar nada do que disse. Pelo visto, ficou muito irritado porque está criando o original, enquanto eu estou criando “algo que não é o original, mas que é percebido como original”. Seja como for, esse é o simples fato, então o que se pode fazer?

[yhkee0404]

Como você disse, eu não expressei que estava muito irritado nem que achava muito injusto, certo? Só fiquei preocupado que o público visse este título de artigo dizendo que foi o Ted Chiang quem disse isso e deixasse passar batido. Parece que a maioria concorda, então ainda bem que você o conhece pessoalmente. Concordo que é difícil criar algo analógico de forma digital. Mas, como estamos falando de texto, isso foge um pouco do assunto.

[xguru]

O problema da copiadora Xerox é algo que também apareceu em 52 coisas que aprendi em 2022 #33.
É interessante ver isso se conectando com este assunto, e aí tudo faz muito mais sentido!