Nós automatizamos o 'Bullshit'

Discussões relacionadas à IA

• A discussão sobre IA começou com uma pergunta sobre a importância da IA na África.
• Recentemente, o presidente dos Estados Unidos e o primeiro-ministro do Reino Unido emitiram ordens executivas e realizaram uma cúpula sobre IA, aumentando o interesse no futuro da IA.
• Levanta-se o problema de que a IA, na prática, gera 'bullshit' baseado em texto preditivo, e não em lógica ou fatos.

Como a IA funciona

• O professor de IA do MIT, Rodney Brooks, resume o ChatGPT como algo que "produz coisas agradáveis de ouvir".
• "Coisas agradáveis de ouvir" significa um algoritmo que imita textos encontrados na internet, e "produz" se refere a uma aleatoriedade básica baseada em texto preditivo.
• Outros pesquisadores líderes em IA também apresentam opiniões semelhantes, algo explicado com mais detalhes técnicos em trabalhos como o artigo sobre 'stochastic parrots'.

IA e verdade

• Geoffrey Hinton, considerado o "padrinho" da IA, alerta para o risco de chatbots gerarem textos mais persuasivos do que inteligentes.
• Em um mundo onde evidência e lógica não são respeitadas, há o temor de que sistemas que operam sem evidência nem lógica possam se tornar dominantes por meio da persuasão.
• Em 'On Bullshit', o filósofo Harry Frankfurt descreve o 'bullshit' como algo que não rejeita a autoridade da verdade, mas simplesmente a ignora.

IA e impacto social

• Por que o primeiro-ministro do Reino Unido ficou impressionado com a IA e com um gerador automatizado de 'bullshit'?
• A análise de David Graeber em 'Bullshit Jobs' revela a verdadeira natureza da IA.
• Mais de 30% dos trabalhadores britânicos acreditam que seu trabalho não oferece qualquer valor à sociedade.
• Parte da educação universitária prepara os jovens para se conformarem a processos burocráticos, sem grandes expectativas em relação à vida.

Treinamento de sistemas de IA

• Sistemas de IA são treinados com enormes arquivos de 'bullshit' e também com textos que contêm fatos reais, vindos de Twitter, Facebook, Reddit e outros.
• O ChatGPT não possui um algoritmo que verifique quais partes são verdadeiras, por isso sua saída é definida como 'bullshit'.
• O Twitter incentiva políticos que não se importam com a veracidade, e os arquivos de suas falas podem ser usados para treinar geradores automáticos de 'bullshit'.

Opinião do GN⁺

• O ponto mais importante deste texto é que o conteúdo gerado pela IA não se baseia em verdade e lógica, mas pode produzir 'bullshit' capaz de persuadir as pessoas.
• Isso pode afetar a conversa social e a qualidade da informação, e esse problema se tornará ainda mais importante com o avanço da tecnologia de IA.
• O motivo pelo qual isso interessa às pessoas é que ajuda a entender o impacto potencial da IA em nosso cotidiano e no mercado de trabalho, além de nos preparar para as mudanças que a tecnologia trará.

[GN⁺]

Comentários do Hacker News

• Resumo do primeiro comentário:

  • LLMs (grandes modelos de linguagem) operam com base em "isso parece correto?", e, para quem não é especialista, é difícil julgar se a resposta do LLM está certa.
  • LLMs são ferramentas úteis para especialistas, que conseguem avaliar a precisão dos snippets de código fornecidos dentro da sua área.

• Resumo do segundo comentário:

  • O ChatGPT foi treinado com dados de várias fontes e gera respostas sem distinguir fatos corretos de informações incertas.
  • Os humanos também aprendem de forma parecida, então a saída de um LLM não deve ser confiada cegamente.

• Resumo do terceiro comentário:

  • As respostas fornecidas por LLMs são semelhantes à forma como se gera o próximo token previsível em uma conversa humana.
  • Mesmo em estágio inicial, os LLMs já demonstram capacidade considerável de resolver problemas por meio do diálogo.

• Resumo do quarto comentário:

  • LLMs imitam a linguagem humana e, com isso, imitam a capacidade de raciocínio codificada na estrutura da linguagem.
  • LLMs não têm memória precisa, mas isso pode ser compensado incluindo informações no prompt adequado.

• Resumo do quinto comentário:

  • LLMs usam uma abordagem baseada em conversa para resolver problemas, trazendo inovação ao fluxo de trabalho.

• Resumo do sexto comentário:

  • LLMs são uma tecnologia especializada em habilidade linguística, e podem surgir problemas se não forem integrados a um sistema mais amplo de raciocínio ou a um banco de dados factual.

• Resumo do sétimo comentário:

  • LLMs às vezes podem fornecer respostas imprecisas, mas, dependendo de como o usuário os utiliza, ainda podem aumentar a produtividade.

• Resumo do oitavo comentário:

  • A própria linguagem pode ser vista como um "gerador de bullshit" que funciona independentemente da "verdade", e os LLMs exploram essa característica da linguagem.

• Resumo do nono comentário:

  • Em francês, a palavra "baratineur" descreve alguém que diz o que o outro quer ouvir, independentemente de ser verdade ou mentira, e pode ser uma expressão mais adequada para LLMs.

• Resumo do décimo comentário:

  • Se o código gerado por um LLM atende aos requisitos, então não é "bullshit" e pode ser útil em determinados contextos.