- A OpenAI anunciou no DevDay uma grande expansão do seu portfólio para desenvolvedores ao ampliar o modelo central da plataforma de API para o GPT‑4 Turbo, além de apresentar a Assistants API, recursos multimodais e reduções de preço
- O GPT‑4 Turbo, com contexto de 128K e conhecimento até abril de 2023, será oferecido por um preço 3 vezes menor em tokens de entrada e 2 vezes menor em tokens de saída em comparação ao GPT‑4
- A nova Assistants API reúne Code Interpreter, Retrieval, chamada de funções e threads persistentes sem limite de tamanho para permitir a criação de assistants de IA orientados a objetivos dentro de apps
- A API também ganhou entrada por visão, DALL·E 3 e conversão de texto em fala (TTS), enquanto o GPT‑3.5 Turbo passa a oferecer por padrão contexto de 16K, JSON mode e chamadas de função paralelas
- O limite de tokens por minuto para clientes pagantes do GPT‑4 será dobrado, e o Copyright Shield passa a oferecer defesa e cobertura de custos em reivindicações de violação de direitos autorais para recursos de disponibilidade geral do ChatGPT Enterprise e da plataforma para desenvolvedores
Atualizações do GPT‑4 Turbo e do GPT‑3.5 Turbo
- O GPT‑4 Turbo foi lançado como preview do modelo de próxima geração do GPT‑4
- Todos os desenvolvedores pagantes podem usá-lo na API enviando
gpt-4-1106-preview - Um modelo estável, pronto para produção, deve ser lançado nas próximas semanas
- Com uma janela de contexto de 128K, é possível inserir em um único prompt o equivalente a mais de 300 páginas de texto
- Seu conhecimento de mundo vai até abril de 2023
- Todos os desenvolvedores pagantes podem usá-lo na API enviando
- O preço ficou menor que o do GPT‑4
- Tokens de entrada do GPT‑4 Turbo: $0.01/1,000 tokens
- Tokens de saída do GPT‑4 Turbo: $0.03/1,000 tokens
- A entrada custa 3 vezes menos que no GPT‑4, e a saída, 2 vezes menos
- A chamada de funções (function calling) agora pode acionar várias funções em uma única mensagem
- Por exemplo, uma solicitação como “abra a janela do carro e desligue o ar-condicionado” pode ser processada em uma única mensagem, sem várias idas e vindas como antes
- O GPT‑4 Turbo também passou a ter maior probabilidade de retornar parâmetros corretos de função
- O JSON mode restringe a resposta do modelo a JSON válido
- Com o novo parâmetro de API
response_format, é possível forçar a geração de um objeto JSON sintaticamente correto - Isso é útil para desenvolvedores que geram JSON com a Chat Completions API fora do fluxo de chamada de funções
- O GPT‑4 Turbo também apresenta desempenho melhor que os modelos anteriores em tarefas que exigem seguir formatos específicos, como “responda sempre em XML”.
- Com o novo parâmetro de API
- Saídas reproduzíveis e log probabilities também foram adicionadas
- O parâmetro
seedpermite retornar completions consistentes na maioria dos casos, oferecendo saídas reproduzíveis - Isso pode ser usado para depuração por reprodução de requisições, testes unitários mais abrangentes e controle do comportamento do modelo
- O recurso de retorno de log probabilities para os tokens de saída mais prováveis do GPT‑4 Turbo e do GPT‑3.5 Turbo deve chegar nas próximas semanas
- É útil para criar recursos como autocomplete em experiências de busca
- O parâmetro
- O novo GPT‑3.5 Turbo passa a oferecer por padrão uma janela de contexto de 16K
- Na API, ele pode ser acessado como
gpt-3.5-turbo-1106 - Traz melhorias no seguimento de instruções, JSON mode e chamadas de função paralelas
- Em avaliações internas, tarefas de conformidade de formato, como geração de JSON, XML e YAML, melhoraram 38%
- O modelo atual
gpt-3.5-turbo-0613continuará acessível até 13 de junho de 2024 - Aplicações que usam o nome
gpt-3.5-turbonão serão mais atualizadas automaticamente
- Na API, ele pode ser acessado como
Assistants API, Retrieval e Code Interpreter
- A Assistants API foi lançada como o primeiro passo para permitir que desenvolvedores criem experiências de agente dentro de aplicações
- Um assistant é uma IA orientada a objetivos, com instruções específicas, que usa conhecimento adicional e aciona modelos e ferramentas para executar tarefas
- Os casos de uso incluem apps de análise de dados em linguagem natural, assistants de programação, planejadores de viagem com IA, DJs controlados por voz e telas visuais inteligentes
- Ela é construída sobre recursos como custom instructions, Code Interpreter, Retrieval e chamada de funções, que também viabilizam o novo produto GPTs da OpenAI
- A principal mudança é a existência de threads persistentes e sem limite de tamanho
- Os desenvolvedores podem transferir à OpenAI o gerenciamento do estado da thread
- Isso funciona adicionando novas mensagens à
threadexistente para contornar as limitações da janela de contexto
- A Assistants API pode chamar várias ferramentas
- Code Interpreter: escreve e executa código Python em um ambiente sandbox, gera gráficos e diagramas e processa arquivos de vários tipos e formatos
- Retrieval: complementa o assistant com conhecimento externo ao modelo, como dados proprietários de domínio, informações de produto e documentos enviados por usuários
- Com Retrieval, o desenvolvedor não precisa implementar por conta própria armazenamento de embeddings, chunking de documentos nem algoritmos de busca
- Function calling: permite que o assistant chame funções definidas pelo desenvolvedor e incorpore as respostas dessas funções às mensagens
- Os dados e arquivos enviados pela API não serão usados para treinar os modelos da OpenAI, e poderão ser excluídos quando o desenvolvedor considerar apropriado
- A Assistants API está disponível em beta para todos os desenvolvedores e pode ser testada sem código no Assistants playground
- Os preços da Assistants API e das ferramentas estão disponíveis na página de preços da OpenAI
Recursos de visão, imagem e voz adicionados à API
- O GPT‑4 Turbo with vision pode receber imagens como entrada na Chat Completions API
- Ele oferece suporte a casos de uso como geração de legendas, análise detalhada de imagens reais e leitura de documentos com ilustrações
- A BeMyEyes usa essa tecnologia para ajudar pessoas cegas ou com baixa visão em tarefas do dia a dia, como identificar produtos e se locomover em lojas
- Os desenvolvedores podem acessá-lo com
gpt-4-vision-preview - O suporte a visão será incorporado ao modelo principal GPT‑4 Turbo como parte de uma versão estável
- O preço varia de acordo com o tamanho da imagem de entrada; enviar uma imagem de 1080×1080 ao GPT‑4 Turbo custa $0.00765
- O DALL·E 3 pode ser integrado a apps e produtos via Images API ao especificar o modelo
dall-e-3- Snap, Coca-Cola e Shutterstock usam o DALL·E 3 para gerar programaticamente imagens e designs para clientes e campanhas
- Assim como nas versões anteriores do DALL·E, a API inclui moderação integrada para ajudar a prevenir uso indevido
- Há opções de formato e qualidade, com preços a partir de $0.04 por imagem gerada
- A API de texto para fala (TTS) gera voz em nível humano a partir de texto
- O novo modelo de TTS oferece 6 preset voices
- Há duas variantes de modelo:
tts-1etts-1-hd - O
tts-1é otimizado para casos de uso em tempo real, enquanto otts-1-hdprioriza a qualidade - O preço começa em $0.015 por 1.000 caracteres de entrada
Customização de modelos
- A OpenAI está criando um programa de acesso experimental para fine-tuning do GPT‑4
- Resultados preliminares indicam que, ao contrário dos grandes ganhos obtidos com fine-tuning do GPT‑3.5, o GPT‑4 fine-tuning exige mais trabalho para gerar melhorias significativas em relação ao modelo base
- Quando a qualidade e a segurança do GPT‑4 fine-tuning melhorarem, desenvolvedores que usam ativamente fine-tuning do GPT‑3.5 receberão na console de fine-tuning a opção de se candidatar ao programa do GPT‑4
- O Custom Models program é voltado a organizações que precisam de um nível de customização ainda maior do que o fine-tuning oferece
- Ele se aplica especialmente a domínios com conjuntos de dados proprietários muito grandes, na casa de dezenas de bilhões de tokens ou mais
- Organizações selecionadas poderão treinar um GPT‑4 customizado para seu domínio com um grupo dedicado de pesquisadores da OpenAI
- Será possível modificar todas as etapas do processo de treinamento do modelo, do pre-training adicional especializado por domínio ao post-training com RL customizado para um domínio específico
- A organização terá acesso exclusivo ao seu próprio modelo customizado
- O modelo customizado não será oferecido nem compartilhado com outros clientes, nem usado para treinar outros modelos
- Os dados proprietários fornecidos para treinar o modelo customizado não serão reutilizados em outros contextos
- Inicialmente, o programa será extremamente limitado e de alto custo
Redução de preços e ampliação dos rate limits
- A OpenAI reduziu os preços em várias áreas da plataforma
- Todos os preços são por 1,000 tokens
- Preços do GPT‑4 Turbo
- GPT‑4 8K: entrada $0.03, saída $0.06
- GPT‑4 32K: entrada $0.06, saída $0.12
- GPT‑4 Turbo 128K: entrada $0.01, saída $0.03
- Preços do GPT‑3.5 Turbo
- GPT‑3.5 Turbo 4K anterior: entrada $0.0015, saída $0.002
- GPT‑3.5 Turbo 16K anterior: entrada $0.003, saída $0.004
- Novo GPT‑3.5 Turbo 16K: entrada $0.001, saída $0.002
- Os novos preços se aplicam apenas ao novo GPT‑3.5 Turbo apresentado nesse dia
- Para usuários do GPT‑3.5 Turbo 4K anterior, o preço dos tokens de entrada cai 33%
- Preços de fine-tuning do GPT‑3.5 Turbo
- GPT‑3.5 Turbo 4K fine-tuning anterior: treinamento $0.008, entrada $0.012, saída $0.016
- Novo GPT‑3.5 Turbo 4K·16K fine-tuning: treinamento $0.008, entrada $0.003, saída $0.006
- Os tokens de entrada ficam 4 vezes mais baratos, e os de saída, 2,7 vezes mais baratos
- Nos novos modelos GPT‑3.5 Turbo, o fine-tuning com contexto de 16K passa a ser oferecido pelo mesmo preço do 4K
- Os novos preços também se aplicam aos modelos fine-tuned
gpt-3.5-turbo-0613
- Os rate limits também foram ampliados
- O limite de tokens por minuto para todos os clientes pagantes do GPT‑4 será dobrado
- Os novos rate limits podem ser consultados na página de rate limits
- Foram divulgados usage tiers que determinam aumentos automáticos de rate limit
- É possível solicitar aumento dos limites de uso nas configurações da conta
Copyright Shield e lançamentos open source
- O Copyright Shield é um programa no qual a OpenAI assume a defesa e os custos caso clientes recebam reivindicações legais relacionadas a violação de direitos autorais
- Ele se aplica a recursos de disponibilidade geral do ChatGPT Enterprise e da plataforma para desenvolvedores
- A OpenAI mantém a posição de proteger clientes com salvaguardas de direitos autorais incorporadas ao sistema
- O Whisper large-v3 foi lançado
- É a próxima versão do modelo open source de reconhecimento automático de fala (ASR) da OpenAI
- O desempenho foi melhorado em vários idiomas
- A OpenAI planeja oferecer suporte ao Whisper v3 na API em um futuro próximo
- O Consistency Decoder também foi lançado como open source
- É um drop-in replacement para o decoder VAE do Stable Diffusion
- Melhora todas as imagens compatíveis com o VAE do Stable Diffusion 1.0+
- Traz grandes melhorias em texto, rostos e linhas retas
1 comentários
Opiniões no Hacker News
A maioria dos produtos anunciados e a redução de preços parecem mais voltados a aumentar a dependência da plataforma da API da OpenAI, o que não surpreende diante da concorrência cada vez maior
Em especial, as demos de GPTs/GPT Agents e Assistants pareceram uma caixa-preta dentro de uma caixa-preta impossível de migrar para outro lugar
As avaliações do anúncio estão divididas, e acho que será preciso ver mais detalhes na documentação da API que acabou de ser atualizada: https://platform.openai.com/docs/api-reference
A página de preços também foi atualizada: https://openai.com/pricing
Em especial, a API do DALL-E 3 custa US$ 0,04 por imagem, cerca de uma ordem de grandeza mais cara do que outros serviços nessa área
Um ponto interessante da nova estrutura de preços que não foi mencionado no keynote é que o ChatGPT 3.5 com fine-tuning agora caiu para 3 vezes o custo do ChatGPT 3.5 básico. Antes era 8 vezes, então o fine-tuning se tornou uma opção mais convincente
Pelo que pesquisei, a configuração de ponta a ponta mais realista para ter meu próprio LLM por completo seria algo como colocar algumas 3090 em uma placa-mãe de consumidor e rodar 24/7, mas o custo operacional é considerável, o desempenho não é suficiente e ainda assim sai bem caro
Gastando um pouco mais, dá para comprar uma configuração Apple Silicon de 128 GB/192 GB e melhorar a qualidade e o custo operacional, mas ela é muito, muito mais lenta do que o serviço “Turbo” da OpenAI
O maior motivo que me afastava da OpenAI era a sensação de que a experiência de chat era subsidiada muito mais pesadamente do que a API, mas este anúncio parece ter alinhado bastante essa diferença
Em resumo, a OpenAI está oferecendo condições atraentes demais para ignorar, e isso é um serviço fortemente subsidiado. Não acho que o custo de migração no futuro vá superar os benefícios obtidos agora
Sem novas regulamentações, não vejo o que impediria alguém de sair da OpenAI para algo como a Anthropic, além do custo de aprender a usar a Anthropic de forma eficaz para um caso de uso específico
Não é como se a OpenAI tivesse algum feed separado de exportação para extrair dados de um banco de dados
A nova interface Threads no painel de administração da OpenAI mostra exatamente como ela interpreta as entradas e saídas, tentando reduzir o efeito de caixa-preta
Fonte: em https://platform.openai.com/docs/api-reference/runs/listRunS..., dá para ver exatamente quais etapas a cadeia percorre. Há mais visibilidade do que antes
O Claude dá uma aula de ética a cada duas respostas, gerando custo toda vez e dificultando a vontade de embuti-lo em um produto
Se alguém não tivesse tido contato com a sociedade desde 29 de novembro de 2022, o dia anterior ao lançamento do ChatGPT segundo a Wikipedia, e voltasse hoje para assistir ao keynote da OpenAI, provavelmente teria perdido a cabeça
A velocidade de evolução e a utilidade desses produtos são realmente surpreendentes
Por coincidência, eu tinha acabado de terminar de ler The Singularity is Near pela segunda vez
O interpretador de código e a chamada de funções já eram possíveis com um LLM avançado capaz de seguir instruções bem o bastante para emitir tokens em um formato estritamente parseável. Era só colocar essa saída em um parser e devolver o resultado ao LLM. Fazer isso com uma API online como o ChatGPT era meio tosco, mas totalmente possível
Chatbots personalizados também já eram fáceis de criar, e serviços de criação como Poe.com já existiam
Saída em JSON também só exige uma IA que consiga produzir probabilidades de tokens e seguir bem instruções, junto com um validador de esquema que escolha tokens de modo que o resultado seja um JSON compatível com o esquema
O GPT-4 128k parece revolucionário, mas o Claude 100k já existia, e como a avaliação de LLMs cresce quadraticamente em relação ao tamanho do contexto, provavelmente eles estão usando algum truque para expandir o contexto. Não acho que sejam tokens “completos”. Se eu estiver errado, admito com prazer
Contexto grande é útil, mas, em programação, se você fornecer o contexto correto — por exemplo, preenchendo o contexto com resultados de “ir para definição” recursivo em 2 ou 3 níveis para um símbolo específico — dá para fazer alguma coisa mesmo com um contexto de 8k
O DALL-E 3 parece o mais inovador, mas, ao usá-lo, embora sua capacidade de composição tenha melhorado muito em relação ao SD, ele ainda falha em alguns casos
No geral, o anúncio de hoje parece mais um polimento e refinamento em cima da grande ruptura explosiva do ano passado
Pensei: “Ah, mais uma modinha de chatbot que as pessoas vão usar por 5 minutos e largar”, e eu estava completamente errado
Whisper V3 foi lançado: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
Parece ser um novo checkpoint do modelo large. Seria bom se os modelos menores também fossem atualizados, mas parece que será fácil integrar em coisas que usam o Whisper V2
Estou animado, porque pretendo adicioná-lo também à minha IA de voz local: https://www.microsoft.com/store/apps/9NC624PBFGB7
Acho que a voz do ChatGPT já estava usando o Whisper V3, mas ainda aparecia a alucinação típica do Whisper, “Thank you for watching!”. Parece mais uma melhoria incremental do que uma mudança revolucionária
Havia muitos vídeos com legendas nos dados de treinamento, mas alguns vídeos/áudios foram cortados e as legendas mantiveram a fala final; então talvez agora ele esteja reconhecendo o silêncio como uma despedida de programa de TV
Pessoalmente, acho que o gargalo atual em voz é a infraestrutura ao redor. Coisas como detectar o início e o fim da fala, e como manter o usuário pronto para falar mesmo enquanto sons ou voz estão sendo reproduzidos
São elementos absolutamente necessários, mas no geral não funcionam bem, e é realmente necessária uma integração de hardware/software
Contexto de 128.000 tokens, Assistants API, modo JSON, base de conhecimento até abril de 2023, GPT-4 Turbo, preços mais baixos e GPTs personalizados: no geral, houve bastantes anúncios
https://openai.com/pricing
Agora é possível pagar de 2 a 3 milhões de dólares pelo [1] pré-treinamento de um modelo gpt-n personalizado. Não recebeu tanta atenção, mas parece bem interessante
Se uma startup puder gastar esse dinheiro, acho que certamente daria uma vantagem competitiva
[1] https://openai.com/form/custom-models
Esqueci o link, então estou adicionando
Mesmo por cerca de 3 milhões de dólares, parece uma opção atraente
Mas, se você for um intermediário da OpenAI que pré-treina modelos gpt-n para outros clientes, não sei por que você acha que a OpenAI não acabaria passando por cima de você
Se você procurar startups construídas sobre APIs e plataformas, para cada caso de sucesso há um cemitério cheio de empresas mortas por mudanças nas regras da API e da plataforma
Para os céticos nos comentários, o elefante na sala que nem todo mundo quer admitir é que o GPT-4 ainda é muito melhor que todo o resto
Em média, ele pode ser melhor, mas não vejo como melhor em todas as tarefas
Os outros modelos também vão continuar melhorando
Treinamento por crowdsourcing ainda é inviável?
Lembro como o mundo dos modelos de difusão avançou rápido no primeiro ano, mas depois do Midjourney, em comparação com o DALL-E 3, parece meio estagnado. Os modelos de texto estão na mesma situação?
O playbook que a OpenAI está seguindo é parecido com o da AWS. Começa com capacidades brutas, como geração de texto e geração de imagens, constrói a base como EC2, S3 e RDS, e depois empilha serviços de valor agregado por cima, como a Assistants API
Nesse aspecto, ela está muito à frente da AWS e de outros concorrentes
A AWS praticamente não teve concorrência por 7 anos, e as outras grandes nuvens de hoje estavam todas negando a realidade
A OpenAI já tem muitos concorrentes. Eles podem estar piores nos rankings agora, mas não é uma situação em que ignoraram esse campo por anos e só depois correram para alcançar
Pela minha experiência usando ferramentas desse tipo, elas também ajudam na manutenção da base de código? Fico curioso para saber se isso acontece diretamente ou indiretamente, por meio de um código mais legível e bem organizado
Essas ferramentas parecem excelentes para escrever código novo. Pela minha experiência, há um limite para a quantidade de código que um desenvolvedor consegue manter. No fim, você deixa de conseguir manter tudo na cabeça e precisa parar para entender alguma coisa, o que torna a manutenção mais difícil
Fico pensando se, caso essas ferramentas ajudem a escrever mais código, mas não ajudem na manutenção, pode chegar uma situação em que uma enorme quantidade de código novo seja escrita muito rapidamente e depois tudo pare porque ninguém entende profundamente o que há nele
https://github.com/paul-gauthier/aider
Ela analisa a árvore de sintaxe abstrata do código de todo o repositório para criar um “mapa do repositório”, ajudando o GPT a entender bases de código maiores
Tudo isso é feito com tree-sitter, a mesma ferramenta que impulsiona a busca e a navegação de código no GitHub e em muitas IDEs populares
https://aider.chat/docs/repomap.html
Os consumidores provavelmente vão perceber logo; no B2B, talvez sejam enganados por alguns anos, até acabarem abandonando e migrando para concorrentes tradicionais de maior qualidade que contratam talentos seniores
Dito isso, é possível que surjam modelos bons em expandir e manter uma base de código consistente. Olhando para onde estamos agora, não parece uma tarefa impossível. Mas, como você apontou, ainda estamos bem longe
Primeiro, a era do engenheiro de software tradicional pode acabar e dar lugar à era dos depuradores. Depuradores humanos passariam o dia inteiro definindo breakpoints e encontrando bugs em um mar de código criado por LLMs
Segundo, a contratação vai mudar de problemas de Leetcode para “abra o depurador e descubra o que há de errado neste código”
Um contexto maior significa que, potencialmente, seria possível colocar a base de código inteira. A maioria das pessoas tem dificuldade até de manter na cabeça os detalhes de uma base de código pequena
O próximo passo é uma integração mais profunda com as ferramentas, garantindo que, seja o que for alterado, os testes passem e o código compile. Escrever testes também é uma das coisas que essa ferramenta consegue fazer
Assim, pode se tornar possível resgatar com auxílio de IA bases de código legadas que, de outra forma, seriam economicamente difíceis de lidar
Espero que a produtividade de desenvolvedores assistidos por IA aumente muito nos próximos anos. Pessoalmente, acho que isso deve funcionar melhor em linguagens de tipagem estática, porque é muito mais fácil para as ferramentas raciocinarem sobre elas
https://ai.stepci.com
“Nas próximas semanas, também lançaremos a capacidade de retornar as log-probabilidades dos tokens de saída mais prováveis gerados pelo GPT-4 Turbo e pelo GPT-3.5 Turbo, o que será útil para criar recursos como autocompletar em experiências de busca.”
Isso é bem surpreendente. Eles não estão preocupados não só com pessoas treinando em cima das saídas do GPT-4 para roubar as capacidades do modelo, mas também com uma destilação de conhecimento por logits em grande escala?
Todo mundo achava que esse era justamente o motivo de terem bloqueado o acesso aos logits
“Mais prováveis” pode significar literalmente apenas alguns tokens, e isso talvez cubra só uma fração minúscula da distribuição total
Talvez esse julgamento esteja certo