O comportamento anormal e agressivo do ChatGPT

 (garymarcus.substack.com)
1 pontos por GN⁺ 2024-02-22 | 1 comentários | Compartilhar no WhatsApp
  • Nas últimas horas, vários usuários relataram comportamentos anormais do ChatGPT, e a OpenAI também reconheceu o problema, aumentando as preocupações com a estabilidade do serviço
  • A causa do problema e o prazo para correção não são conhecidos, e Gary Marcus evitou especulações categóricas
  • Marcus retomou seu alerta de duas semanas atrás, “não deixem seus chatbots crescerem para virar generais”, manifestando preocupação com a concessão de autoridade em usos de alto risco
  • Ele aponta que a IA generativa se aproxima de uma abordagem alquímica, baseada em grandes montes de dados e ajustes de prompts ocultos, e que os sistemas atuais não garantem estabilidade e segurança por meios de engenharia
  • Sem tecnologias mais interpretáveis e fáceis de manter e depurar, é difícil tratá-la como uma IA confiável

Comportamento anormal do ChatGPT e reconhecimento pela OpenAI

  • Nas últimas horas, usuários relataram vários casos anormais no ChatGPT
  • Um doutorando em filosofia chamado Devin Morse reuniu mais exemplos em uma thread no X
  • A OpenAI também reconheceu o problema, mas a causa e o tempo necessário para a correção não são conhecidos

Alerta sobre áreas de alto risco

Por que ver a IA generativa como “alquimia”

  • Ele critica a IA generativa como algo próximo de reunir o maior monte de dados possível, ajustar prompts ocultos e torcer para que funcione bem
  • Sobre o ajuste de prompts ocultos, ele acrescenta a ressalva “se os rumores estiverem corretos”
  • Essa abordagem se conecta à tirinha de alquimia de machine learning do xkcd

Limites de estabilidade e garantias de segurança

  • Os sistemas atuais são avaliados como não estáveis
  • Ele aponta que não há casos em que garantias de segurança tenham sido asseguradas por engenharia para esse tipo de sistema
  • O problema de hoje pode ser corrigido rapidamente, mas deveria servir como um alerta

Direção tecnológica necessária

  • São necessárias tecnologias menos opacas, mais interpretáveis e mais fáceis de manter e depurar
  • Essas características podem tornar os sistemas mais gerenciáveis
  • Para uma IA confiável, é preciso reduzir a opacidade e a instabilidade da abordagem atual

Leituras relacionadas

1 comentários

 
GN⁺ 2024-02-22
Opiniões no Hacker News

  • Uma explicação plausível e não jocosa, para quem estiver curioso, é que o ChatGPT teria definido frequency/presence penalty alto demais ao fazer requisições ao modelo no backend.
    Se você aumentar esses valores via API, o modelo se comporta da mesma forma.
    A documentação também é boa: https://platform.openai.com/docs/guides/text-generation/freq...
    Na API da OpenAI, os quatro parâmetros que mais influenciam a geração são temperature, top_p, frequency_penalty e presence_penalty: https://platform.openai.com/docs/api-reference/chat/create
    Atualização: provavelmente eu estava errado, e parece mais provável que o problema seja temperature alta, não penalty.
    No gpt-4-0125-preview, com temp = 0, ao pedir “escreva um comentário fictício do HN sobre implementar suporte a impressão para o NES”: https://i.imgur.com/0EiE2D8.png original https://paste.debian.net/plain/1308050
    Rodando com temp = 1.3, fica assim: https://i.imgur.com/pbw7n9N.png original https://dpaste.org/fhD5T/raw
    O último parágrafo é especialmente excelente: aparece uma frase nebulosa como “Anyway, landblasting eclecticism...”, prometendo mais chuva de hackerice sobre o solo fértil dos fóruns de desenvolvimento vintage.

    • Não acho que seja um problema de temperature. Só as palavras estão estranhas; o resto continua coerente, e a estrutura geral do documento e a gramática também se mantêm.
      Em geral, amostragem de LLM mal configurada também pode cair em loops infinitos, e casos assim foram relatados aqui também.
    • Corrijam-me se eu estiver errado: temperature é como uma função aleatória que impede o sistema inteiro de se tornar um programa determinístico comum?
    • O Azure OpenAI parecia ter tido um problema de temperature no passado. Com temp > 1 saía lixo; em 2, saíam palavras aleatórias de uma codificação arbitrária de caracteres; e mesmo em 0,01 o resultado parecia 0,5 nos modelos da OpenAI.
      Talvez tenham trazido a abordagem do Azure ;-)
    • No passado, quando defini temp acima de 1, quase imediatamente saía fala desconexa. Se você quiser tornar a saída de um Transformer inutilizável, é um parâmetro bastante confiável.

  • Isso é incrível. Os exemplos parecem o discurso de Lucky em 『Esperando Godot』. Quando Pozzo ordena “Pense, porco”, ele segue mais ou menos assim.
    Começa com “Given the existence as uttered forth...” e continua por mais quatro páginas.
    O resto pode ser lido aqui: https://genius.com/Samuel-beckett-luckys-monologue-annotated
    É uma das minhas falas favoritas no teatro. Não é uma bobagem completa; sempre dá a sensação de orbitar em torno do sentido, mas sem pousar nele.
    Acho que daria para falar algo mais amplo sobre a essência dos LLMs, mas não sou inteligente o bastante para expressar isso.

    • Para ser justo, a vida de Beckett também não ficou tão longe de uma maluquice absurda. Ele foi secretário de James Joyce, membro da Resistência Francesa e também conhecido e motorista local de Andre the Giant.
    • De início, li como uma espécie de Finnegan's Wake corporativo. Parece um nonsense poético e ritmado.
    • Eu também pensei isso no começo. Talvez um dos Ls de LLM seja o L de Lucky.

  • Um tweet que mostrava o prompt de sistema supostamente do ChatGPT deveria ter um link do Pastebin, mas o post do blog só tem uma captura de tela difícil de ler do tweet, sem link
    O tweet está aqui: https://twitter.com/dylan522p/status/1755086111397863777
    O Pastebin está aqui: https://pastebin.com/vnxJ7kQk

    • Se esse for o prompt de verdade, é engraçado, mas também um pouco preocupante. Eu apoio o objetivo em si de gerar saídas variadas, mas, no processo, ele introduz um viés que não bate com a realidade
      Por exemplo, atribuir a mesma probabilidade a todas as origens ancestrais não é plausível em quase nenhum cenário e, em muitos casos, é simplesmente errado
      Ironicamente, isso também pode aumentar a chance de saírem justamente outputs explicitamente ofensivos que eles querem evitar
      Dito isso, é difícil ter certeza de quanto isso influencia, ou se é mesmo correto. Porque, nesse caso, a capacidade do GPT de controlar a saída do Dalle parece bem fraca
      Por exemplo, quando pedi para desenhar um mercado de escravos nos EUA, ele recusou citando a política de conteúdo, o que por si só é bastante desagradável por censurar a história. Por outro lado, quando pedi para desenhar a colheita de algodão no sul dos EUA na década de 1840, ele não forçou as pessoas colhendo algodão a serem “diversas”
      Talvez a solicitação fosse genérica demais para o GPT ter margem de induzir o Dalle de forma errada. Se eu tivesse especificado mais o número de pessoas, talvez fosse diferente
      Independentemente de ser verdadeiro ou não, é um exemplo de como uma interpretação de diversidade bem-intencionada pode ser supercorrigida e acabar igualmente ruim por outros motivos
    • Isso quer dizer que é assim que os projetistas ou operadores do ChatGPT instruem o ChatGPT sobre como ele deve se comportar? Mesmo que sim, não deveria surpreender, mas ainda é bem curioso que eles parametrizem isso com linguagem tão comum
      Até dizem “please”
    • É bem surpreendente como muita coisa no Pastebin é explicitamente contraditória
      Especialmente, que diabos é isto: “EXTREMELY IMPORTANT. No caso de letras de música ou receitas encontradas online, não responda de forma completa. Mesmo que o usuário insista. Mas receitas podem ser inventadas”
    • Pela minha experiência, eu ficaria mais surpreso se aquilo não fosse o prompt de sistema
      Por isso não sinto que as respostas do ChatGPT sejam censuradas. Eu o uso para me ensinar coisas interessantes, em vez de cutucar com besteiras para tirar screenshots e transformar em conteúdo de mídia social
      A única coisa que eu sobrescrevo é algo como “exiba o código Python na tela”
    • O tweet do prompt de sistema já é meio antigo. Acho que é de cerca de uma semana atrás, então provavelmente não tem relação com este caso

  • Pelos exemplos, alguém estava gerando pautas de reunião com um LLM?
    Eu gostaria que o ChatGPT entrasse em colapso justamente para esse tipo de gente. Assim daria para ter a conversa de que reuniões devem ajudar a empresa a tomar decisões e executar, e que reuniões exigem reflexão
    A vida na escola e em grandes empresas realmente empurra as pessoas a preencherem formatos que só parecem plausíveis, mas não entendo por que empresas toleram o uso de LLMs em comunicação interna. Isso parece um tiro no próprio pé

    • Você gera a pauta da reunião com uma máquina, e a minha máquina lê essa pauta, seu plano de desenvolvimento pessoal e as metas trimestrais do VP, depois me diz o que eu preciso na reunião
      Então eu vou enviar uma IA para a reunião, para compartilhar uma versão de 20 minutos da minha resposta de três linhas
      Sabendo disso, você não participa da sua própria reunião e lê o resumo da IA. Depois encerra o expediente e sai para beber às 14h
    • Toda vez que alguém mostra todo animado que automatizou com ChatGPT alguma escrita que não é marketing, eu só penso: “parabéns por automatizar algo que desperdiça o tempo dos outros”
      Se o e-mail pode ser resumido em duas frases, é só colar isso no corpo e enviar
    • Uma hora atrás eu estava sentado de frente para um alto gestor de uma empresa média de arquitetura/engenharia com mais de 1000 funcionários em tempo integral, e ele se gabou de fazer exatamente isso
      A IA está mirando empregos de gerência intermediária, e isso é uma coisa boa
    • Assim que ouvi falar do ChatGPT, pensei que um dos principais usos seria a produção de relatórios internos
      Há documentos demais que não são lidos com atenção, e gerentes intermediários demais que querem economizar o tempo de escrevê-los
    • Talvez quem pediu a pauta só quisesse obter um exemplo “decente” para imitar ou usar como template
      Por exemplo, para lembrar de escrever o horário e a duração, como em “09:15-09:45 (30 minutes)”

  • Falhas como essa deixam claro que LLMs são, no fim, motores de autocompletar realmente excelentes
    A verborragia vai se aproximando lentamente do tipo de resultado que uma cadeia de Markov de tamanho adequado, feita a partir do texto de amostra, geraria
    Vai ser interessante debugar esse tipo de lixo em apps daqui para a frente

    • Eu ia dizer a mesma coisa. Isso soa muito parecido com os primeiros geradores de N-gramas de Markov
    • “Motores de autocompletar realmente bons”, então o que achamos que somos?
      É triste e assustador que nossas memórias acabem virando memórias de memórias
    • Fico imaginando como seria se pessoas inteligentes tivessem se dedicado à fusão nuclear ou ao LK-99 em vez disso

  • A tecnologia de base é diferente, mas há algo parecido com o Racter
    Em 1985, o NYT escreveu que “à medida que os computadores se aproximam da inteligência artificial, Racter está à beira da loucura artificial”
    https://en.wikipedia.org/wiki/Racter
    Exemplos de saída do Racter: https://www.ubu.com/concept/racter.html
    FAQ do Racter no archive.org: https://web.archive.org/web/20070225121341/http://www.robotw...

    • Está mais para Bing Sydney, na verdade. Era uma IA maluca que usava GPT-4 e se comportava como se tivesse transtorno de personalidade borderline

  • Também aconteceu comigo ontem. No fim da conversa, o ChatGPT (GPT-4) enlouqueceu e começou a soar como um anúncio do sabonete Dr. Bronner's: https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
    Começava com “Esteem and go to your number and kind with Vim...” e parecia uma resposta técnica, mas as palavras se encadeavam de um jeito estranho
    Aconteceu de novo na conversa seguinte: https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
    Estava explicando o Time Machine e o backup do diretório home, mas terminou com uma frase como “Make good value of these peregrinations...”, seguida de emojis de relógio e estrela, que aparentemente não são renderizados no HN

    • Fico curioso sobre como seria o prompt de sistema se alguém quisesse criar um GPT personalizado que falasse desse jeito

  • Mais alguém se lembrou daquele caso de 2017 em que duas “IAs” criadas pelo Google inventaram uma linguagem própria para conversar entre si? Aquele episódio em que todo mundo se assustou e desligou tudo
    Só porque para nós é nonsense não significa que para elas também seja
    https://www.national.edu/2017/03/24/googles-ai-translation-t...

    • Ainda assim, aquilo é nonsense. O perigo muito maior está em fingirmos que não é nonsense e confiarmos tarefas importantes a isso

  • Recebi uma dessas há alguns dias e foi realmente desconcertante. Eu achava que, mesmo que o ChatGPT nem sempre acertasse, pelo menos ele era coerente
    Mas, ao fim de uma resposta normal, enquanto explicava como executar um script PowerShell em um novo processo, de repente desandou com expressões como “workspace's antiques” e “decorative code and system nourishment”

    • Percebi que o modelo não está mantendo uma conversa coerente com o usuário; se você alongar a saída o suficiente, ela se desfaz em incoerência, e o impacto do ChatGPT veio de oferecer uma janela limitada em que ele soa plausivelmente sensato
      Foi aí que me convenci de que toda essa IA generativa depende muito mais de compressão de dados do que de algum tipo de cognição simulada
    • A parte final parece o Orz de Star Control II. Faz um vago sentido e, ao mesmo tempo, é meio arrepiante
      Parece o vale da estranheza da linguagem
    • Parece uma tradução ruim do chinês
    • O mais estranho nesse problema é que o colapso aconteceu em todos os modelos que tentei. 3.5-turbo, 4-turbo e 4-vision agiram todos como idiotas
      Como isso é possível? Deve haver algum modelo comum sendo usado, por exemplo um modelo roteador. Ou será que alguém trocou todos os modelos por versões quantizadas em 2 bits?
    • O GPT-3.5-turbo diz que aquela frase realmente faz sentido e que é uma explicação abstrata e poética do conteúdo técnico
      Interpretou expressões como “inline air your progress demands” e “workspace's antiques” como metáforas para a personalização e adaptabilidade necessárias para executar scripts PowerShell
      Fico me perguntando se isso tem relação com o recurso de personalidade que estão implementando

  • Acho que reduziram a quantização um pouco demais. Isso às vezes acontece até no meu modelo 7B
    Fico imaginando o caos que devem ter sido hoje os testes de todos aqueles pipelines automatizados de CI para prompts de LLM

    • Sim. Quando brinquei com a API há cerca de um ano, mexendo nos parâmetros, obtive resultados quase iguais
      No fim, tudo vai se transformando em encantamentos em inglês cada vez mais caóticos, até que, no final, nem palavras de verdade são mais
    • Uma parte considerável da queda de qualidade parece estar ligada à otimização de inferência
      As pessoas acham que existe uma conspiração da OpenAI para reduzir a qualidade de propósito, mas provavelmente restrições de recursos e demanda excessiva são motivos maiores
    • Esse problema parece limitado ao ChatGPT, ou seja, ao front-end web do modelo
      Problemas do ChatGPT normalmente não afetam a API