O comportamento descontrolado do chatbot ChatGPT

O ChatGPT está causando transtornos

• Não é brincadeira quando dizemos que o ChatGPT está causando transtornos; é uma constatação e um alerta.
• Nas últimas horas, pessoas relataram uma variedade de problemas relacionados ao ChatGPT.
• A própria OpenAI reconheceu o problema.

A alquimia da inteligência artificial

• IA generativa é uma espécie de alquimia: as pessoas coletam o máximo de dados possível e manipulam prompts ocultos, esperando que tudo funcione perfeitamente.
• Porém, esses sistemas nunca foram realmente estáveis, e ainda não existe uma engenharia capaz de garantir segurança.
• A necessidade de novas tecnologias ainda é crucial: mais transparentes, interpretáveis, fáceis de manter e passíveis de depuração.

Opinião da GN⁺

• O problema que o ChatGPT está enfrentando é um exemplo que evidencia os limites atuais da tecnologia de IA e suas questões de estabilidade.
• Esses problemas ressaltam a importância de novas abordagens e tecnologias para melhorar a confiabilidade e a segurança da inteligência artificial.
• O incidente pode servir de alerta para desenvolvedores e usuários de IA, oferecendo lições importantes para um desenvolvimento de IA melhor no futuro.

[GN⁺]

Comentários do Hacker News

• Um usuário disse que recebeu uma resposta recente do ChatGPT que o confundiu. Normalmente, pelo menos as respostas costumavam ser consistentes, mas dessa vez ele recebeu uma frase estranha. Era uma explicação sobre como executar um script PowerShell, porém a parte final de repente recorreu a uma metáfora com móveis antigos da área de trabalho e enfeites de código, o que gerou confusão.
• Outro usuário suspeitou que essa resposta confusa provavelmente aconteceu porque as penalidades de frequência/presença foram configuradas alto demais na solicitação para o modelo de backend do ChatGPT. Ele observou que ajustar esses parâmetros via API faz o modelo se comportar de maneira semelhante. A API da OpenAI tem quatro parâmetros principais que afetam a geração (temperature, top_p, frequency penalty e presence penalty), e eles são bem documentados. No entanto, esse usuário disse que sua hipótese inicial pode estar errada e acrescentou que o problema também pode ter sido causado por uma configuração de temperature alta.
• Outro usuário comentou que os exemplos apresentados lembram o discurso de Lucky no Waiting for Godot de Samuel Beckett. Esse discurso envolve e circunda o sentido, mas nunca o atinge; não é uma completa desordem sem sentido, embora sempre permaneça girando em torno de significado. Ele disse achar que há uma observação maior sobre a natureza dos LLMs, mas não tem conhecimento suficiente para expressá-la com precisão.
• Um usuário perguntou se alguém usa LLM para agendar reuniões. Ele disse que gostaria que o ChatGPT pudesse dialogar com essas pessoas e transformasse aquela bagunça em conversas sobre como ajudar as decisões e a execução da empresa. A vida em escola e em grandes corporações empurra as pessoas para criar BS por meio de processos formais, e permitir LLM em comunicações internas de uma empresa parece auto-sabotagem.
• Outro usuário lembrou que em 2017 o Google criou uma "IA". Ele observou que, quando eles criaram uma linguagem própria para conversar entre si, isso pode soar como palavrão para nós, mas não necessariamente é nonsense para eles.
• Um usuário disse que fica claro que o LLM não passa de um ótimo mecanismo de autocomplete quando vemos esse tipo de falha. Esses discursos prolixos acabam se aproximando cada vez mais de uma cadeia de Markov bastante grande construída a partir de texto de amostra. Ele acha que vai ser interessante depurar esse tipo de problema em aplicativos futuros.
• Um usuário disse que um tweet que mostra o prompt do sistema do ChatGPT deveria incluir um link do pastebin, mas que o próprio post do blog só tinha uma captura de tela sem o link do tweet, de forma que não dava para ler. E também forneceu os links do tweet e do pastebin citados.
• Outra pessoa trouxe mais um exemplo relacionado a uma tecnologia de 1985 chamada Racter: citou que o New York Times descreveu Racter como estando na borda da insanidade artificial entre computadores se aproximando de IA. Também incluiu um link com saídas do Racter.
• Um usuário disse que ler as respostas do ChatGPT era muito interessante, descrevendo-as como se tivessem sido transformadas em áudio duas vezes: primeiro pelo inglês de Chaucer e depois por um filtro de “falar como pirata”. Ele disse estar curioso sobre o que está sendo alimentado nesse sistema, como é ajustado, e elogiou o ritmo dessa linguagem poética como se fosse música pura.
• Por fim, um usuário disse que, ontem, depois da conversa com o ChatGPT (GPT-4), o modelo entrou em colapso e começou a soar como um anúncio de sabonete da Dr. Bronner. Esse comportamento também se repetiu nas conversas seguintes.