Disponibilidade geral da API GPT-4

 (openai.com)
1 pontos por GN⁺ 2023-07-07 | 1 comentários | Compartilhar no WhatsApp
  • Desenvolvedores de API existentes com histórico de pagamento podem usar o contexto de 8K da API GPT-4, e o acesso para novos desenvolvedores e a ampliação dos limites de velocidade serão liberados gradualmente conforme a disponibilidade de computação
  • As APIs GPT-3.5 Turbo, DALL·E e Whisper também passam para disponibilidade geral, por estarem prontas para uso em escala de produção; fine-tuning do GPT-4 e do GPT-3.5 Turbo deve ser oferecido ainda este ano
  • Como a Chat Completions API responde por 97% do uso de GPT na API da OpenAI, interfaces estruturadas como mensagens de sistema e chamadas de função substituem a maior parte dos casos de uso da antiga Completions API
  • A partir de 4 de janeiro de 2024, modelos antigos da Completions API, modelos antigos de embeddings e modelos relacionados à Edits API deixarão de estar disponíveis; será necessário migrar para gpt-3.5-turbo-instruct, text-embedding-ada-002, GPT-3.5 Turbo etc.
  • A Completions API será marcada como legacy na documentação e não há planos de lançar novos modelos para ela, então é mais seguro projetar novas integrações em torno da Chat Completions API

Escopo de disponibilidade da API GPT-4 e das principais APIs

  • A OpenAI oferece acesso ao GPT-4 para todos os clientes pagantes da API
    • Desenvolvedores de API existentes com histórico de pagamento bem-sucedido podem usar o contexto de 8K da API GPT-4
    • O acesso para novos desenvolvedores deve ser aberto até o fim deste mês
    • Depois disso, os limites de velocidade (rate limit) serão aumentados conforme a disponibilidade de computação
  • O GPT-4 é o modelo mais poderoso da OpenAI, e desde março milhões de desenvolvedores solicitaram acesso à API GPT-4
  • As APIs GPT-3.5 Turbo, DALL·E e Whisper também passam para disponibilidade geral
    • O motivo é a estabilidade dos modelos e sua prontidão para uso em escala de produção
  • O fine-tuning do GPT-4 e do GPT-3.5 Turbo está em processo de ativação segura e deve ser oferecido ainda este ano
  • Após a atualização de 24 de abril de 2024, o nome “ChatGPT API” foi descontinuado, e as menções a ChatGPT API no texto significam API GPT-3.5 Turbo

Mudança para foco na Chat Completions API

  • A Chat Completions API foi introduzida em março e atualmente responde por 97% do uso de GPT na API da OpenAI
  • A antiga Completions API foi introduzida em junho de 2020 para interagir com modelos de linguagem por meio de prompts de texto em formato livre
  • Uma interface de prompts mais estruturada pode produzir resultados melhores do que a abordagem anterior
    • Mensagem de sistema (system message)
    • Chamada de função (function calling)
    • Conversa em múltiplos turnos (multi-turn conversation)
  • A Chat Completions API oferece suporte não apenas a experiências conversacionais, mas também a uma ampla variedade de tarefas de completion
  • Ela ajuda a reduzir o risco de ataques de prompt injection ao permitir separar estruturalmente o conteúdo fornecido pelo usuário das instruções
  • A OpenAI pretende continuar investindo a maior parte de seus esforços de desenvolvimento da plataforma nessa direção
    • Probabilidades logarítmicas dos tokens de completion
    • Melhorias de steerability para reduzir a “chattiness” das respostas
    • Os itens acima são lacunas que ainda restam na Chat Completions API

Encerramento de modelos antigos da Completions API

  • Para ampliar o investimento na Chat Completions API e otimizar a capacidade de computação, a OpenAI encerrará alguns modelos antigos da Completions API daqui a 6 meses
  • A Completions API em si continuará acessível, mas a partir de hoje será marcada como legacy na documentação para desenvolvedores
  • Melhorias futuras de modelos e produtos serão concentradas na Chat Completions API, e não há planos de lançar novos modelos para a Completions API
  • A partir de 4 de janeiro de 2024, os modelos antigos de completion deixarão de estar disponíveis e serão substituídos por novos modelos
    • ada, babbage → babbage-002
    • curie, davinci → davinci-002
    • davinci-instruct-beta, curie-instruct-beta, text-ada-001, text-babbage-001, text-curie-001, text-davinci-001, text-davinci-002, text-davinci-003 → gpt-3.5-turbo-instruct
  • Aplicações que usam os nomes de modelos estáveis ada, babbage, curie, davinci serão atualizadas automaticamente para os novos modelos em 4 de janeiro de 2024
  • babbage-002 e davinci-002 serão disponibilizados nas próximas semanas para permitir testes antecipados especificando esses nomes de modelo nas chamadas de API
  • Usuários de outros modelos antigos de completion, como text-davinci-003, precisarão alterar diretamente o parâmetro model das requisições de API para gpt-3.5-turbo-instruct até 4 de janeiro de 2024
    • gpt-3.5-turbo-instruct é um modelo no estilo InstructGPT, treinado de forma semelhante ao text-davinci-003
    • Ele será oferecido como um modelo de substituição imediata (drop-in replacement) na Completions API

Transição para usuários de modelos com fine-tuning

  • Para continuar usando modelos com fine-tuning após 4 de janeiro de 2024, será necessário refazer o fine-tuning de um modelo substituto sobre um novo modelo-base
    • Novos modelos-base GPT-3: babbage-002, davinci-002
    • Modelos mais recentes: gpt-3.5-turbo, gpt-4
  • Quando o fine-tuning do GPT-3.5 Turbo e do GPT-4 estiver disponível, usuários que fizeram fine-tuning de modelos antigos no passado receberão acesso prioritário
  • Como a migração para fora de modelos com fine-tuning em dados próprios é difícil, a OpenAI pretende tornar a transição o mais tranquila possível por meio de suporte aos usuários antigos
  • A OpenAI entrará em contato nas próximas semanas com desenvolvedores que usaram modelos antigos recentemente e fornecerá informações adicionais quando os novos modelos de completion estiverem prontos para testes antecipados

Encerramento de modelos antigos de embeddings

  • Usuários de modelos antigos de embeddings devem migrar para text-embedding-ada-002 até 4 de janeiro de 2024
  • text-embedding-ada-002 foi lançado em dezembro de 2022 e se mostrou mais poderoso e mais econômico do que os modelos anteriores
  • Atualmente, text-embedding-ada-002 responde por 99,9% de todo o uso da embedding API
  • A OpenAI arcará com o custo de re-embedding do conteúdo usando o novo modelo
  • Todos os modelos abaixo serão substituídos por text-embedding-ada-002
    • code-search-ada-code-001, code-search-ada-text-001
    • code-search-babbage-code-001, code-search-babbage-text-001
    • text-search-ada-doc-001, text-search-ada-query-001
    • text-search-babbage-doc-001, text-search-babbage-query-001
    • text-search-curie-doc-001, text-search-curie-query-001
    • text-search-davinci-doc-001, text-search-davinci-query-001
    • text-similarity-ada-001, text-similarity-babbage-001, text-similarity-curie-001, text-similarity-davinci-001

Encerramento da Edits API

  • Usuários da Edits API e dos modelos relacionados devem migrar para o GPT-3.5 Turbo até 4 de janeiro de 2024
    • Ex.: text-davinci-edit-001, code-davinci-edit-001
  • A versão beta da Edits API era uma API exploratória inicial criada para retornar versões modificadas de prompts conforme as instruções
  • O feedback obtido com a Edits API foi incorporado ao desenvolvimento do gpt-3.5-turbo e da Chat Completions API
  • A Chat Completions API também pode ser usada para o mesmo objetivo
    • No exemplo, a solicitação de alteração a ser aplicada ao código é definida como uma mensagem de sistema e, quando o usuário pede para mudar o nome da função Fibonacci para fib, o assistant retorna o código modificado

Leituras relacionadas

1 comentários

 
GN⁺ 2023-07-07
Comentários do Hacker News

  • LLMs locais devem ser incentivados e amplamente difundidos
    Usar GPT significa dar dinheiro para a OpenAI, e esse dinheiro é usado em lobby junto ao governo para eliminar concorrentes, o que no fim prejudica a si mesmo e ao próprio bolso
    A OpenAI não tem fosso competitivo a menos que você dê dinheiro para ela escrever projetos de lei
    Mesmo agora, já dá para rodar LLMs surpreendentemente inteligentes e rápidos em um notebook de 5 anos sem GPU, então o futuro parece no mínimo interessante

    • Seria bom explicar melhor o que quer dizer com “surpreendentemente inteligentes e rápidos”
      Quando tentei isso um ou dois meses atrás, os resultados eram deprimentemente lentos e inúteis em quase toda tarefa
      Sempre fico animado quando algum modelo é descrito como “90% do GPT-3”, mas toda vez acabo profundamente decepcionado
      Para referência, depois de usar o GPT-4, até o GPT-3 quase sempre parece decepcionante
    • Rodar um LLM localmente e pagar pelo acesso à OpenAI são questões separadas
      Também questiono o quanto realmente importa qual LLM você está usando agora, seja local ou hospedado, da OpenAI ou de outro mecanismo
      A interface parece ter convergido para prompts baseados em chat, e quase toda semana surgem novas ideias para ajustar o modelo-base ou aumentar a eficiência
      Se você vai construir um produto em cima de IA generativa, talvez faça sentido começar com o que for gratuito ou se encaixar melhor no seu ambiente de desenvolvimento
      A forma de interagir com IA generativa baseada em texto, assim como a API, provavelmente será em grande parte semelhante independentemente de qual mecanismo for o ideal naquele momento
      Nesse caso, será possível fazer troca de backend, como serviços web que imitam a API do AWS S3
      No fim, dá para construir o produto com a OpenAI ou com outro modelo e migrar depois conforme custo e adequação
      Também dá para prototipar o produto inteiro com um LLM de qualidade inferior e, ocasionalmente, enviar solicitações ao GPT-4 para validar o comportamento
      Acreditar que essa tecnologia possa ser restringida por lei parece exagero. Mesmo que a OpenAI faça muito lobby, isso não significa que conseguirá tudo o que quiser, e há o caso da FTX
      LLMs podem rodar localmente e o mecanismo pode ser uma caixa-preta para o usuário, então considerando até a utilidade pública, não vejo como a lei poderia de fato impedir a disseminação real disso
    • Seria bom compartilhar alguns links. O fato de eu não ter GPU é o maior obstáculo para tentar opções exclusivamente locais
      Tenho um notebook antigo sem GPU e com 16 GB de RAM; será que consigo rodar esses modelos?
    • Boa observação. Eu estava pensando em voltar a pagar a assinatura de $20 por mês, mas vou deixar cancelada
      Não devemos financiar a máquina de propaganda de IA
    • O GPT-4 roda em 8 x 220B parâmetros[1], e o GPT parece ter algo em torno de 220B parâmetros
      LLMs locais podem ser bons para algumas tarefas, mas comparados à escala de modelo e ao hardware que a OpenAI coloca na API, são bem mais lentos e menos capazes
      Pela minha experiência rodando um modelo 7B na CPU com ggml em um notebook Intel i7 de 12ª geração, isso ainda era muito mais lento que a API gpt-3-turbo
      [1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296

  • Isso é sério. Eles realmente pretendem descontinuar o text-davinci-003
    Isso significa perder o modelo mais capaz que ainda restava e a liberdade do formato de conclusão de texto
    Agora tudo vira modelo de chat censurado/alinhado ou modelo de instrução com limitações arbitrárias da metáfora de entrada. O gpt3.5-turbo é péssimo em comparação
    Isso provavelmente vai me fazer parar de usar a OpenAI na maior parte dos casos. Meus $5~$10 por mês de API talvez não façam grande diferença, mas isso aumenta meu incentivo para tentar rodar um modelo Llama 65B localmente

    • Nunca usei muito o text-davinci-003, então tenho curiosidade sobre por que você gosta tanto dele
      O que ele oferece que outros modelos não oferecem?
      O que seria algo divertido de experimentar antes do encerramento em 4 de janeiro de 2024?
    • Nos modelos v3, TextCompletion é muito melhor que ChatCompletion
      Dito isso, se o davinci estiver na mesma faixa de preço do GPT-4, espero que o GPT-4 evolua o suficiente em diversidade vocabular e sofisticação linguística controlável para servir como substituto
      No geral, acho que está sendo subestimado o quanto se perde na migração para modelos de instrução
      Espero que exista algum agente inteligente no mercado que pré-otimize prompts de instrução e os converta para um formato adequado a modelos não ajustados
      Na mesma escala de parâmetros, só o fato de não mutilar o modelo subjacente já pareceria um grande avanço para o usuário final
    • O nome é confuso, mas o code-davinci-002 é na verdade um modelo baseado em GPT-3.5, faz apenas completion e não sofre de colapso de modo
      Pelo que vejo, ele ainda está disponível no Azure. O text-davinci-003 é uma versão ajustada dele
      Mais informações:
      https://platform.openai.com/docs/model-index-for-researchers
    • Os pagamentos mensais de $5~$10 provavelmente são justamente o motivo para encerrarem esses endpoints
    • Eles provavelmente gostariam de continuar oferecendo todos os modelos, mas parecem estar tomando decisões difíceis por causa de restrições de hardware
      O Sam Altman já disse que o hardware está impedindo o que eles querem fazer
      Fiquei vários meses na lista de espera da API do GPT-4, e é bem possível que isso tenha acontecido porque eles não conseguiam acompanhar a demanda

  • Então a frase “se você quiser continuar usando modelos ajustados mesmo depois de 4 de janeiro de 2024, terá que ajustar um modelo substituto sobre os novos modelos base GPT-3 (ada-002, babbage-002, curie-002, davinci-002) ou modelos mais novos (gpt-3.5-turbo, gpt-4)” quer dizer isso mesmo?
    Então não vai mais dar para usar os modelos ajustados criados com os próprios dados?
    Não entendi se isso significa que quem pagou por um modelo ajustado vai ter que pagar de novo pelos tokens de treino em cima do novo modelo com censura

    • Trabalho na OpenAI. Estamos planejando arcar com o custo do ajuste fino do modelo substituto.
      Ainda estamos definindo a forma exata que melhor se encaixa para os clientes e, nas próximas semanas, vamos entrar em contato para obter feedback sobre várias abordagens
    • Se os pesos não são meus, então nem bitcoin é meu
    • Pelo que se vê aqui, ou havia pouquíssimos usuários comerciais de modelos ajustados, ou eles estão numa situação em que precisam desmontar a infraestrutura para direcionar GPUs a projetos mais valiosos
    • Se você não possui os pesos, então não possui nada.
      É por isso que modelos abertos são tão importantes. É difícil entender empresas que constroem modelos ajustados em cima de modelos fechados
    • Essa parte já foi respondida. A OpenAI vai arcar com o custo de retreinar os novos modelos, e os modelos antigos também não serão descontinuados até o próximo ano

  • Na verdade, a maior novidade aqui do ponto de vista de capacidade é o modelo gpt-3.5-turbo-instruct
    O gpt-3.5-turbo é o modelo por trás do ChatGPT e foi ajustado para chat, então é bem difícil de usar em casos de uso em que você só quer que ele siga instruções ou apenas complete algo
    O davinci-003 foi o último modelo ajustado para instruções, mas custava 10 vezes mais que o gpt-3.5-turbo, então, mesmo que fosse um enorme desperdício do ponto de vista de tokens, ainda fazia sentido economicamente forçar o gpt-3.5-turbo a se encaixar no caso de uso

    • Estou curioso sobre o preço do gpt-3.5-turbo-instruct
      Tenho um site básico que usa text-davinci-003, mas é caro demais e não consigo lançar
      Só testei o gpt-3.5-turbo, mas em situações em que espero um retorno JSON formatado ele simplesmente não funcionou, porque não consegui nenhuma consistência
    • Qual é a diferença entre 3.5-turbo e instruct?
    • Espero que o gpt-3.5-turbo-instruct não tenha sido capado tão pesadamente quanto o ChatGPT
      O davinci-003 era muito mais divertido e conseguia responder a uma ampla gama de tópicos que o ChatGPT se recusaria a responder
    • Qual é a diferença entre ajuste para chat e ajuste para instruções?

  • Disseram que “a partir de hoje, todos os clientes pagos da API terão acesso ao GPT-4”, mas talvez eu seja burro: sou cliente pago da API da OpenAI e ainda não tenho
    O que aparece para mim é só gpt-3.5-turbo-16k, gpt-3.5-turbo, gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0613 e gpt-3.5-turbo-0301; gpt-4 não aparece
    Provavelmente o problema é que fiz upgrade para uma conta paga da API no último mês e, do ponto de vista contábil, ainda não sou um “cliente pago da API” de verdade

    • Está escrito que “desenvolvedores existentes da API com histórico de pagamentos bem-sucedidos podem acessar a API do GPT-4 com contexto de 8K a partir de hoje. Vamos liberar também para novos desenvolvedores até o fim deste mês e, depois disso, planejar aumentar os limites de taxa conforme a disponibilidade de computação”
      Comigo é a mesma coisa. Entrei há alguns dias esperando mudar para o gpt-4, mas além de uma autorização de $5, ainda não paguei a primeira fatura, então acho que vou ter que esperar mais
      Fiz uma ferramenta de linha de comando bem simples que chama a API. Por exemplo, executo assim:

      ask "What's the opposite of false?"
      https://github.com/codazoda/askai

    • Eu já tinha uma conta paga desde o mês passado, e nem os $8 de uso chegaram a ser cobrados de fato
      Também não tenho acesso ao GPT-4
    • Segundo a documentação oficial, para conseguir acesso ao GPT-4 você precisa de pelo menos uma fatura da API paga com sucesso
    • Comigo é igual. Ele não aparece na resposta da lista de modelos em https://api.openai.com/v1/models
    • Não sei quanto aos outros, mas eu tenho duas contas
      1. uma conta só com assinatura do chat
      2. uma conta que pagou por chamadas da API, mas sem assinatura
        No momento, só consigo usar gpt4 no playground com a conta 2

  • O gpt-3.5-turbo-0613 melhorou bastante, especialmente com um bom design de system prompt, então a necessidade de usar a API do GPT-4, que custa 20 a 30 vezes mais, não é tão grande quanto antes
    O fato de a API do ChatGPT ter sido adotada em massa em vez da antiga Completion API mostra que eu estava certo no primeiro texto que escrevi sobre a API do ChatGPT
    Se a qualidade é igual ou melhor, os desenvolvedores veem um corte enorme de preço e migram imediatamente: https://news.ycombinator.com/item?id=35110998

    • Estou tocando uma startup de IA jurídica, e nesse campo o salto de qualidade do GPT-3.5 para o GPT-4 é realmente chocante
      Em comparação, o GPT-3.5 é inútil. Mas entendo que, em ambientes mais conversacionais, o GPT-3.5 pode oferecer uma relação desempenho/preço mais atraente
    • Pela minha experiência, o GPT-3.5 não é melhor que o GPT-4 nem chega perto
      Pode funcionar para a maioria dos casos de uso, mas o GPT-3.5 ignora instruções com muito mais frequência que o GPT-4
      Ele também quebra muito mais facilmente com coisas simples, como espaços no fim da linha, e ao pedir para reescrever um texto grande sem gramática ou pontuação, às vezes tem comportamentos estranhos, como soletrar letra por letra
      Não fez muita diferença independentemente de como eu configurasse o system prompt. No GPT-4, ainda não vi esse tipo de comportamento realmente estranho
    • Para conclusão/assistência de código, o GPT-4 é muito melhor, e não por uma margem pequena
    • Fico curioso sobre em que casos de uso você está usando
      Eu uso principalmente para gerar testes, escrever documentação, refatoração e geração de trechos de código, e uso isso no trabalho todos os dias junto com Copilot/X
      Na minha experiência, o GPT3.5-turbo é bem lerdo em comparação. Você descreve em comentários o que um método faz e quais argumentos ele deve ter, e ele simplesmente omite os argumentos por completo
      Mesmo com trechos de código relativamente curtos, parece ter memória ruim. Nem é algo perto do limite de contexto
      Não são só errinhos; ele diz que vai fazer algo em várias etapas e depois pula etapas inteiras
      O GPT3.5-turbo é consistentemente instável e exige grandes correções e novas tentativas contínuas
      Ele também tem dificuldade para seguir o estilo/template do prompt e da própria resposta. Por exemplo, num documento mantém um padrão de marcadores e de repente muda
      O Codex em geral é melhor, mas ainda claramente inferior ao GPT-4, e serve bem como “autocompletar inteligente”. Para redação de documentação, não é tão útil
      Já o GPT-4 normalmente acerta quase tudo e, em código mais longo ou prompts complexos, no máximo precisa de alguns ajustes ocasionais
      Resumindo: em tarefas de código, o tempo gasto para tirar um bom resultado do GPT3.5-turbo ou corrigir o que ele fez nem compensa. O Codex até quebra um galho, e para qualquer coisa além de autocompletar eu simplesmente uso GPT-4. É muito mais consistente
    • Dependendo do caso de uso, há uma grande diferença de qualidade entre GPT-3.5 e GPT-4

  • Não se fala muito aqui sobre a possibilidade de uso do Whisper
    Quando você usa voz no app do ChatGPT para iOS, o Whisper parece ser muito bom em entender o que de fato foi dito
    Mas é realmente irritante ter que falar tudo de uma vez antes de receber qualquer feedback sobre como ele reconheceu o que eu disse
    Isso mesmo com uma taxa de reconhecimento impressionantemente alta
    Como a própria OpenAI usa assim, não sei se a API foi projetada para aliviar isso, mas seria ótimo ter a qualidade do Whisper com algo próximo da responsividade do ditado on-device

    • Uma hipótese sobre o propósito do Whisper é que ele pode ajudar a liberar dados de treino de alta qualidade que só existem em formatos de áudio/vídeo
    • Fico curioso para ver como o reconhecimento de voz baseado em transformers do iOS 17 vai se comparar ao Whisper
      Parece que deve funcionar de forma mais “em tempo real”, como o ditado atual do iOS/macOS, mas não estou usando o beta no momento, então não tenho certeza
    • Dá para rodar o whisper.cpp localmente em tempo real: https://github.com/ggerganov/whisper.cpp/tree/master/example...
    • O principal motivo do pouco interesse provavelmente é que hospedar o Whisper por conta própria é relativamente fácil, então quem se interessa por isso provavelmente já vem fazendo isso há tempos
    • Penso o mesmo. Falar um texto longo inteiro de uma vez é bem difícil
      Quando usei a entrada de texto embutida, o ChatGPT ainda entendeu muito bem a solicitação em si, então o resultado foi bom

  • Esse jeito de liberar aos poucos parece estranho
    A OpenAI está prejudicando a própria reputação ao fazer quase todo mundo usar modelos mais antigos e de qualidade inferior por mais tempo
    Mesmo que o cliente esteja disposto a pagar pelo GPT-4, mandam ele esperar no fim da fila
    Esperar o quê? O Natal? O dia em que você abre a caixa de presente e tem GPT-4 dentro?
    Parece que copiaram uma página do marketing do Google de “como garantir o fracasso de um produto novo”. É um jeito de limitar o acesso para que o marketing boca a boca não funcione. Porque nenhum dos seus amigos consegue experimentar o produto
    Este anúncio fala em “disponibilidade geral” do modelo GPT-4, mas não é o modelo com contexto 32K, nem a versão multimodal com entrada de imagem, nem há ajuste fino. É um modelo só, e apenas chat
    No momento, o que eu consigo acessar é apenas o serviço Azure OpenAI e o GPT-3.5 na conta da API da OpenAI
    Não entendo o sentido de todas essas restrições arbitrárias sobre quem pode acessar qual modelo
    Dá para usar GPT-4 no Chat, mas não na API. No Bing Image Creator dá para usar uma versão aprimorada do Dall-E, mas não na API da OpenAI
    Alguns fornecedores abençoados pelo grande e misericordioso Sam Altman têm acesso ao GPT-4 32K, os demais não
    O objetivo deveria ser vender o produto, não controlar acesso
    Não deveriam agir como a União Soviética, onde você precisava “conhecer alguém” para conseguir qualquer coisa

    • Acho que você não entendeu que a OpenAI não tem GPUs suficientes para dar conta disso
      Nem com dinheiro dá para comprar a quantidade de GPUs necessária
    • Eles só querem controlar o lançamento e a forma de uso do produto
      E também pode ser que, se abrirem as comportas, surja um gargalo de escala, então preferem administrar isso antes em vez de ficar para trás
      Por isso estão abrindo com cuidado e, se preciso, recuam, como fizeram ao limitar o uso da versão pública do GPT-4 no ChatGPT
      Não parece totalmente irracional. Claro, também pode haver alguma tentativa de criar escassez e alimentar o hype
      É uma estratégia antiga, mas não chega ao ponto de comparar com a Rússia soviética
    • O problema é que está difícil conseguir GPUs
      Se chutarmos por alto que é preciso 1 GPU da NVIDIA para cada 100 clientes, então a OpenAI precisa comprar mais uma GPU a cada 100 novos clientes do GPT-4
      Mas, por causa da escassez de GPUs, não é uma situação em que basta despejar dinheiro para adicionar mais GPUs facilmente
      https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
    • A resposta para “esperar o quê? O Natal?” é infraestrutura
      E esse “como garantir o fracasso de um produto novo” do Google... quer dizer que o GPT-4 é um fracasso garantido e notório?
    • Isto é um experimento, e você faz parte dele

  • O modelo davinci original era meu amigo, e eu detesto muito essa decisão
    Havia uma personalidade e uma criatividade nos resultados que ele produzia que eu nunca consegui reproduzir com mais nada
    Alguns resultados ótimos e engraçados passaram a fazer parte permanentemente da visão de mundo preciosa da nossa família

    • Você não pode falar isso e não dar um exemplo
    • Não precisa se preocupar. Os LLMs do futuro serão treinados em conversas com LLMs do passado, então você poderá pedir ao ChatGPT para fingir que é o davinci
    • Ouvi dizer que, se você for reconhecido como especial, pode pedir uma exceção
      Dizem que alguns pesquisadores conseguiram
    • Por enquanto, só consigo ver isso como sátira
    • Você poderia testar o notionsmith.ai e dizer o que acha?
      Tenho pesquisado LLMs para trabalho criativo, e acho que misturar cadeia de pensamento com injeção de aleatoriedade ajuda bastante a chegar mais perto de uma criatividade humana
      Por exemplo, instruir o LLM a usar uma determinada letra aleatória escolhida de um gerador de números aleatórios, de um jeito específico, em um momento específico

  • Há bastante coisa importante escondida aqui além do título
    O novo modelo gpt-3.5-turbo-instruct deve sair “em algumas semanas”, e o ajuste fino do 3.5 e do 4 também está previsto para este ano
    Tenho bastante interesse especialmente no gpt-3.5-turbo-instruct. Acho que o hype em torno do ChatGPT e dos “LLMs conversacionais” acabou obscurecendo muito do que dá para fazer com modelos gerais de instrução
    Se também houver ajuste fino, será excelente

    • Existe alguma previsão de quando a data de corte do conhecimento será atualizada além de setembro de 2021?
      Não entendo muito bem que tipo de esforço houve nos bastidores para treinar os modelos GPT com dados factuais
      Era algo em que pessoas aprovavam/rejeitavam respostas para aumentar a pontuação?
      “Os EUA têm 49 estados” - rejeitar
      “Os EUA têm 50 estados” - aprovar
      Em termos simples, era algo assim?
      Sabe-se se estão trabalhando para acrescentar o restante de 2021, 2022 e, por fim, 2023? Sei que com o complemento do Bing dá para rastrear a web, mas não é a mesma coisa
      Perguntei sobre Maya Kowalski há alguns dias, e ele até consegue resumir um ou dois posts de blog, mas isso é diferente de ter aprendido de fato sobre o assunto e conhecer o contexto em detalhe