- Foram revelados o modelo GPT-4 Turbo com suporte a janela de contexto de 128K, a API do GPT-4 com Vision, a Assistants API, a API do DALL-E 3, o novo GPT-3.5 Turbo e mais.
- GPT-4 Turbo
- Suporta janela de contexto (Context Window) de 128K e foi treinado com dados até abril de 2023.
- Em comparação com o GPT-4, os tokens de entrada são 3 vezes mais baratos e os tokens de saída, 2 vezes mais baratos.
- Segue melhor instruções para responder em formatos específicos, e também conta com um modo JSON que garante respostas em JSON.
- Suporta saídas reproduzíveis com base em
seed e deve adicionar futuramente um recurso que retorna log probabilities das saídas.
- O GPT-3.5 Turbo também foi atualizado.
- Assistants API
- IA de propósito específico com recursos de interpretador de código, busca e chamada de funções.
- Gerencia estado com base em threads, permitindo processar conteúdos de comprimento ilimitado.
- Interpretador de código - permite escrever e executar código Python em um ambiente sandbox.
- Busca - pesquisa e responde usando conhecimento externo ao modelo, como documentos fornecidos pelo usuário.
- Chamada de funções - pode chamar apropriadamente funções definidas pelo usuário e incluir os resultados na resposta.
- Outras novas APIs
- O GPT-4 Turbo ganhou a capacidade de reconhecer imagens.
- O DALL-E 3 foi lançado como API, a US$ 0,04 por imagem gerada.
- Foi adicionada uma API de TTS.
- Customização de modelos
- O modelo de fine-tuning do GPT-4 deve ser lançado em acesso experimental.
- Será oferecido um serviço de modelos sob medida para criar modelos personalizados para grandes organizações.
- Incluindo treinamento com conjuntos de dados proprietários de mais de bilhões de tokens.
- Redução de preços
- GPT-4 Turbo 128K custa US$ 0,01 por token de entrada e US$ 0,03 por token de saída.
- Em relação ao anterior, os tokens de entrada ficaram 3 vezes mais baratos e os de saída, 2 vezes mais baratos.
- GPT-3.5 Turbo 16K é oferecido a US$ 0,001 por token de entrada e US$ 0,002 por token de saída.
- Em relação ao anterior, os tokens de entrada ficaram 3 vezes mais baratos e os de saída, 2 vezes mais baratos; em comparação com o modelo 4K, os tokens de entrada também ficaram 33% mais baratos.
- O modelo de fine-tuning do GPT-3.5 Turbo é oferecido a US$ 0,003 por token de entrada e US$ 0,006 por token de saída.
- Em relação ao anterior, os tokens de entrada ficaram 4 vezes mais baratos e os de saída, 2,7 vezes mais baratos.
8 comentários
Desde ontem, também aplicamos o GPT-4 Turbo no GN⁺.
Dá para perceber claramente que as respostas ficaram mais rápidas e que ele entende melhor os comandos.
Ele resume bem conforme as instruções e também entrega resultados mais bem acabados.
Antes eu misturava prompts em inglês, mas agora até com prompts só em coreano ele responde muito bem.
Não entendo muito bem de IA, mas a velocidade da queda dos preços só deve ficar cada vez mais rápida, né? Realmente não consigo imaginar como será o mundo daqui a 1 ou 2 anos.
O preço por token acima é o preço por 1.000 tokens. Tenha isso em mente.
E 128 mil tokens... agora, para os usos que faço, normalmente os problemas de contexto devem desaparecer.
Ah, eu estava organizando isso para postar, mas acabei me atrasando T_T
Já achei impressionante quando a Anthropic lançou o modelo de 100K, mas agora, com o GPT-4 anunciando 128K tokens, parece que voltou a ficar na frente.
No geral, os preços também caíram várias vezes, então até onde vai a capacidade técnica da OpenAI...?
De qualquer forma, é muito bem-vindo.
O GPT-4 era discretamente caro mesmo, especialmente ao usar 16K, mas agora aumentaram bastante o tamanho de tokens e realmente ficou bem mais barato. +_+
E também fiquei curioso com a Assistants API, acho que vou testar.
Se não precisar usar embeddings para busca, talvez seja ainda mais vantajoso...?
Resumo em IA da thread do HN.
Há uma alucinação aí.
Os preços já estão todos escritos.