Grande interrupção no ChatGPT e na API

• Entre 5h42 e 7h16 PT de 8 de novembro, uma parte significativa das requisições em todo o ChatGPT e a API da OpenAI falhou com erros 502 ou 503, afetando todos os modelos e endpoints da API
• Nós da camada de roteamento atingiram o limite de memória e falharam nas verificações de prontidão; quando nós suficientes ficaram indisponíveis, não havia capacidade para processar o tráfego de entrada
• Naquela manhã, o número de requisições de completion aumentou muito em relação a qualquer dia anterior, tornando-se o ponto de inflexão que fez um problema de memória existente se transformar em uma interrupção de todo o serviço
• A recuperação foi feita em etapas: limitação do tráfego de entrada, redistribuição em larga escala do serviço e retomada gradual do tráfego; após a correção para reutilizar o responseBuffer, o uso de memória e CPU melhorou 3 vezes
• A OpenAI ajustou os limites de memória, aplicou bloqueio de carga com base em rate limits e aumentou a capacidade; também planeja adicionar alertas de memória e configuração de auto scaling

---

Escopo da interrupção e causa direta

• Entre 5h42 e 7h16 PT de 8 de novembro, uma parte significativa das requisições da OpenAI falhou com erros 502 ou 503
• Durante a interrupção, houve um grande volume de falhas em todos os modelos e endpoints da API
• A causa direta foi que os nós da camada de roteamento atingiram o limite de memória e falharam nas verificações de prontidão
  • Um número suficiente de nós dentro do serviço ficou indisponível
  • Não restou capacidade suficiente para processar o tráfego de entrada
  • O serviço não conseguiu se recuperar sozinho
• Naquela manhã, houve muito mais requisições de completion do que em qualquer dia anterior, e isso atuou como o ponto de inflexão que desencadeou a interrupção

Medidas de recuperação e prevenção de recorrência

• A resposta imediata combinou três ações
  • Limitar o tráfego de entrada
  • Fazer uma redistribuição em larga escala do serviço
  • Aumentar lentamente o tráfego novamente
• A causa raiz do problema crônico de memória estava no fato de o responseBuffer não ser reutilizado dentro de um loop, mas alocado repetidamente como novo
  • Quando havia muitas requisições, o GC não conseguia acompanhar
  • A correção foi feita pré-alocando e reutilizando o buffer
  • Após a implantação, tanto o uso de memória quanto o de CPU melhoraram 3 vezes
• Medidas adicionais já aplicadas:
  • Os limites de memória configurados foram ajustados para um nível adequado, criando uma folga considerável para o serviço
  • Foram implementados controles de rate limit para reduzir o tráfego de forma mais suave
  • A capacidade do serviço foi aumentada como medida preventiva adicional
• Mudanças a serem aplicadas daqui em diante:
  • Implementar mudanças nos alertas para detectar o comportamento de memória antes que ele se transforme em um problema de serviço
  • No passado, não era possível ativar a expansão automática neste serviço porque adicionar capacidade poderia afetar negativamente um serviço upstream
  • Com esse problema raiz resolvido, a OpenAI pretende configurar auto scaling para este serviço
• Interrupções prolongadas de API afetam produtos e negócios dos clientes, e uma interrupção dessa escala pode ser especialmente prejudicial

[xguru]

Parece que, por causa desse evento para desenvolvedores, o tráfego acabou aumentando.
Com certeza, o GPT-4 Turbo mudou bastante em algum aspecto na saída.
Até o resumo do GN+ acabou mudando de formato, mesmo sem eu praticamente alterar o prompt.

[GN⁺]

Opiniões no Hacker News

• Como o ChatGPT caiu, hoje usei o Google Bard pela primeira vez e, sinceramente, achei bem bom
  Ele tem um tom sutilmente diferente do ChatGPT, difícil de explicar

  • Muita gente me recomenda o Bard, mas quase sempre ele me devolve informações erradas ou enganosas
  • O Bard tem dados e métodos de treinamento diferentes, então só isso já ajuda a entender em certa medida por que ele é diferente do ChatGPT
    Do ponto de vista do usuário, as formas de induzir a resposta desejada são diferentes, e o jeito de perguntar ou fazer engenharia de prompt também precisa mudar
  • Pelo mesmo motivo, usei hoje pela primeira vez; foi mais lento e muito mais fraco para programação
    Só perguntei sobre uma consulta SQL de agregação, e ele simplesmente ignorou parte dos requisitos da query
  • O Bard tem filtros excessivamente agressivos
    Mesmo ao fazer brainstorming de ideias para ladrões em um mundo de fantasia, por exemplo com uma vibe tipo Lies of Locke Lamora, ele frequentemente se recusa a colaborar
    Parece que ele roda algum filtro heurístico na saída antes de mostrá-la ao usuário, e às vezes passa se você muda um pouco o prompt
    Do lado do ChatGPT, o sistema é inteligente o bastante para perceber que crimes de fantasia não são informações para executar crimes reais
  • Testei https://you.com/chat e não achei ruim
    Para o modelo GPT4 há um cupom de teste gratuito por um mês, "codegpt", e o GPT3.5 é gratuito

• Phind é bem bom para programação e ainda está no ar porque é baseado no Llama 2 treinado com dezenas de bilhões de tokens adicionais de código: https://www.phind.com/s

  • Fico curioso para saber como as pessoas usam o Phind
    Recentemente conversei diretamente com o Phind e ele disse que, para me ajudar, precisaria ler minha base de código para entender os modelos aos quais eu estava me referindo
    Sem conhecer a base de código, acho que ele não consegue escrever direito nada além das funções mais triviais
    O Phind também respondeu que sim, mas disse que na prática não consegue ler a base de código
    Ele falava de forma bem coerente e parecia entender o que eu dizia
    Se não consegue ajudar quando uma função recebe como parâmetro ou retorna uma classe que não é trivial, não sei de onde exatamente vem o valor
  • Tive muitos bons resultados no Phind
    O modelo mais recente com ajuste fino, o V7, foi bom de usar e melhor que a maioria dos modelos open source
    Só que há um s no fim do link, então dá 404
  • O Phind teve alguns problemas de consistência, mas no geral não tenho grandes reclamações
    De vez em quando havia pequenos defeitos, como não sair resposta em prompts grandes ou as opções de resposta desaparecerem
    No geral, funciona bem junto com o ChatGPT para trocar ideias ou obter outros pontos de vista
    O recurso de anotações, que mostra os sites de onde as informações foram tiradas, também é muito bem feito
  • Parece que o Phind também caiu
    "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
  • Acabei de testar: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
    Para mim, é tudo alucinação. É bom ele anexar links para a documentação
    Correção: quando troquei astrojs por vite, saiu uma resposta muito boa e precisa: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
    Bem impressionante

• Uau, suei frio de verdade
  Cerca de 48 horas antes do lançamento, tínhamos acabado de migrar a maior parte dos serviços para o Azure OpenAI, e não fomos afetados por esta falha
  Foi um alívio enorme

  • Interessante. Então o Azure OpenAI não foi afetado?
    Fico me perguntando se ele recebe as atualizações da API e dos sistemas da OpenAI ao mesmo tempo, e se o preço também é o mesmo

• Agora é um ótimo momento para lembrar que a HuggingFace hospeda vários modelos de chat open source
  Um dos meus modelos favoritos é uma versão com ajuste fino do Mistral 7B: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

  • Já experimentei um pouco modelos de linguagem grandes locais no passado, mas na época não consegui encontrar um modelo que fosse pequeno o bastante para rodar em uma 3080 Ti e ainda fosse decente
    Este modelo é pequeno o suficiente para rodar a uma velocidade minimamente utilizável, gera pouco mais de 1 token por segundo e, até agora, parece estar quase no nível do GPT3.5
  • Se é gratuito, fico me perguntando como eles ganham dinheiro

• Eu ia dizer que era a chance de o Bard brilhar, mas parece que o Bard também teve uma falha

  • Fui testar o Bard, e a tela era limpa, com uma UI realmente muito boa
    As respostas também pareciam bem organizadas e agradáveis de ver
    Seria ótimo se a inteligência artificial fosse tão boa quanto a da OpenAI
  • Acho melhor pegar meu chapéu de papel-alumínio. Isso não pode ser coincidência :D
  • Apareceu "Something went wrong. Sorry, Bard is still experimental"
    Parece que perdeu a chance
  • O Bard ainda está assustado demais e, além disso, ainda nem é um serviço internacional
  • Parece que eles começaram a conversar entre si

• Com base nos falastrões que de repente ficaram em silêncio, agora é a hora perfeita para coletar os comentários do HN e ver quem estava escrevendo comentários no HN com o ChatGPT

  • Hehe. Como um grande modelo de linguagem, acredito que os outros humanos não devem seguir o que este humano diz ;)

• Percebi a queda
  Parece que muita gente vinha usando o ChatGPT como rodinhas de apoio de bicicleta e acabou esquecendo como pedalar sem elas

  • Nessa analogia, parece mais próximo de muletas do que de rodinhas de apoio
    Se você não consegue andar sem isso, então não treinou nada
  • Para mim, é mais essa sensação
    Você está construindo uma motocicleta tradicional, alguém sugere um motor de bicicleta elétrica e, como ainda nem existe um motor de combustão interna, você pensa em usar isso para adiantar a demo ou o lançamento no mercado e depois trocar por um motor de verdade
    Só que, quando você termina o guidão, o motor de bicicleta elétrica já passou por quatro upgrades e ficou melhor do que qualquer motor de combustão interna. Aí não há muito motivo para trocar
    Quando você chega ao mercado, esse motor já recebeu várias outras atualizações e talvez seja totalmente autônomo e até consiga voar
    Além disso, ele passa a ser capaz de autorreplicação, então agora os compradores talvez nem precisem mais de você

• Agora milhões de desenvolvedores juniores vão ter que ler os manuais
  Um grande dia

  • É impressionante como a transição para o ChatGPT e a dependência dele foram repentinas e completas
    São os últimos dias da nossa profissão, então vamos aproveitar
  • Ler manual é coisa de dinossauro; agora é preciso dar um Google

• Usei o Bard hoje, e ele melhorou bastante

  • Tomara
    Ainda fico surpreso com os problemas do Bard
    No mês passado, ele mentiu sobre um fato e, quando perguntei mais detalhes, afirmou que tinha enviado um e-mail
    Depois pediu desculpas, dizendo que na verdade não tinha enviado o e-mail e que “sabia” que não podia enviar
    É como um amigo que não consegue dizer “não sei” e, em vez disso, mente
    Eu perguntei se já houve um mercado dentro da estátua do “Cristo Rei”, em Lisboa, tentando verificar um boato que ouvi de um morador local
    Na realidade não houve, mas o Bard acreditava que sim

• Felizmente, a OpenAI não tem acordo de nível de serviço: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

  • Digo isso como um grande fã do GPT, mas é impressionante como a OpenAI é péssima como empresa e, ainda assim, como subimos tão rápido nessa plataforma terrível
    Nove meses atrás, no meu novo emprego, havia um bug que me impedia de fazer login na conta corporativa da OpenAI
    Levaram 6 meses para responder ao pedido de suporte, e recebi uma resposta genérica de copiar e colar que não tinha nada a ver com o meu problema
    Estávamos gastando uma fortuna, mas não conseguíamos obter resposta nem encontrar alguém para falar por telefone
    No fim, tive que pedir aos colegas que criassem todas as chaves por mim
    Então, cerca de 8 meses depois, um dia, de repente, sem nenhum motivo, voltou a funcionar
    Logo depois mudamos para o Azure OpenAI Service, porque a plataforma da OpenAI era desastrosamente ruim demais para uma empresa séria usar