GPT-3.5 trava por pensar demais em useRalativeImagePath

A causa da mensagem de erro do ChatGPT 3.5

• Os modelos GPT da OpenAI geram "tokens" com vários caracteres em vez de caracteres individuais.
• Esse método de saída por tokens melhora o desempenho e a precisão do modelo.
• Existem três tokens: richTextPanel, source e loadpath, e eles podem ser trocados entre si.
• O token loadpath é usado como nome de opção em arquivos de configuração XML em 80,4 mil arquivos no GitHub.
• É possível que o token loadpath tenha passado a existir de forma independente por causa do erro de digitação em "R a lative".
• A OpenAI pode ter decidido excluir arquivos XML dos dados de treinamento depois de gerar a lista de tokens, o que provavelmente fez com que quase não houvesse uso de dados de treinamento para o token loadpath.
• Como resultado, o modelo não foi treinado para entender o uso do token useRalativeImagePath e acaba gerando um token inválido.

Uso para envenenamento de dados?

• Pode valer a pena colocar essa expressão em um documento para atrapalhar tentativas de resumir o conteúdo com GPT-3.5.

Leitura adicional

• Há publicações úteis para pesquisar mais sobre esse tema.

Opinião do GN⁺

• O ponto mais importante deste texto é entender por que os modelos GPT produzem erros com certos tokens.
• Essas informações ajudam a compreender como modelos de inteligência artificial funcionam e quais são suas limitações.
• Além disso, o texto oferece um caso interessante sobre envenenamento de dados e sobre como explorar vulnerabilidades de modelos de inteligência artificial.

[GN⁺]

Opiniões do Hacker News

• Explicação sobre tokens com glitch

  • Supõe-se que isso aconteça por causa de palavras ou tokens que apareciam com frequência no conjunto de dados original, mas foram removidos antes do treinamento do GPT-XX.
  • Com isso, o LLM passa a não saber absolutamente nada sobre o significado desse token, e o resultado pode ser bugado ou desagradável.
  • Um exemplo representativo são nomes de usuário que aparecem com frequência no subreddit r/counting.
  • A OpenAI corrigiu a maior parte dos modelos hospedados (provavelmente alterando a forma de tokenização), mas parece que novos tokens com glitch foram descobertos.

• Método de verificação linguística na Holanda durante a Segunda Guerra Mundial

  • Na Holanda, usava-se a pronúncia da palavra Scheveningen para distinguir se alguém era alemão ou não.
  • Hoje, é possível identificar se algo é um bot de LLM ou não pedindo que diga tokens com glitch encontrados na internet.

• Explicação sobre o processo de geração de tokens em LLMs

  • A ideia de que o modelo não entende o token useRalativeImagePath e por isso emite tokens inválidos não corresponde à forma como os LLMs geram tokens.
  • Em cada etapa, ele produz logits para todos os tokens possíveis, converte isso em probabilidades com a função softmax e então faz uma amostragem para decidir qual token usar.
  • Tokens raros podem causar problemas no processo de merge BPE do tokenizador, mas isso não parece ser a causa, porque no GPT-4 o problema não ocorre, embora ele use o mesmo tokenizador do GPT-3.5.

• Análise das possíveis causas de tokens com glitch

  • Um vetor de embedding mal condicionado para um token específico pode levar a rede a uma região numericamente instável.
  • Se ocorrer underflow ou NaN, toda a saída pode ser invalidada e, se houver operações como batch normalization que misturam valores entre itens do mesmo lote, valores incorretos podem até ser retornados para sessões de outros usuários.

• Outra perspectiva sobre a saída do modelo

  • Em geral, o modelo produz saídas usando o mesmo conjunto de vocabulário presente na entrada.
  • Ao ver o token useRalativeImagePath, o modelo pode entrar numa espiral de geração aleatória ou tentar manter um texto coerente.
  • Como o conjunto de tokens que ele pode emitir é fixo, eles deveriam sempre ser “válidos”, a menos que os tokens exibíveis na interface sejam apenas um subconjunto do vocabulário completo.

• Impacto futuro nos dados de treinamento de LLMs

  • Como essa expressão apareceu em uma postagem e nos comentários do Hacker News, talvez esse problema deixe de acontecer no próximo treinamento de LLMs.

• Relato de falha no GPT-4

  • Houve quem compartilhasse uma experiência em que conseguiu fazer o ChatGPT com GPT-4 falhar usando um desafio de plotar pixels no Amstrad CPC.
  • À medida que insistia com reclamações e correções, o modelo parecia ficar ainda mais encurralado, gerando mais mensagens de erro ou algo parecido com resets.
  • A pessoa desistiu da conversa para não causar problemas ao servidor, mas disse que isso mostrou que é possível travar o GPT-4 de verdade.

• Reflexão sobre a qualidade dos dados de entrada

  • Um exemplo clássico de “garbage in, garbage out”.
  • Isso leva à reflexão de que, no futuro, coisas que hoje consideramos grandes decisões talvez sejam vistas como “lixo”.
  • Se um sistema for treinado apenas com registros humanos, surge a dúvida se uma super IA poderia realmente ser sobre-humana.
  • Houve também a sugestão de que técnicas de aprendizado adversarial poderiam ajudar a resolver esse problema.

• Sugestão de usar uma frase para atrapalhar resumos feitos pelo GPT-3.5

  • Pode valer a pena tentar incluir uma frase específica em um documento para atrapalhar tentativas de resumo feitas com GPT-3.5.

• Confusão em torno das palavras RTCatch e redirectToRoute

  • Houve uma pergunta sobre uma situação em que RTCatch e redirectToRoute poderiam ser confundidos como se fossem a mesma palavra.
  • Parece que os dois termos estariam se referindo à mesma coisa, e pode ter havido um erro de digitação ou uso inconsistente.
  • Também houve curiosidade sobre RTCatch, com pedido de mais informações a respeito.