1 pontos por GN⁺ 2023-11-07 | 1 comentários | Compartilhar no WhatsApp
  • A OpenAI anunciou no DevDay uma grande expansão do seu portfólio para desenvolvedores ao ampliar o modelo central da plataforma de API para o GPT‑4 Turbo, além de apresentar a Assistants API, recursos multimodais e reduções de preço
  • O GPT‑4 Turbo, com contexto de 128K e conhecimento até abril de 2023, será oferecido por um preço 3 vezes menor em tokens de entrada e 2 vezes menor em tokens de saída em comparação ao GPT‑4
  • A nova Assistants API reúne Code Interpreter, Retrieval, chamada de funções e threads persistentes sem limite de tamanho para permitir a criação de assistants de IA orientados a objetivos dentro de apps
  • A API também ganhou entrada por visão, DALL·E 3 e conversão de texto em fala (TTS), enquanto o GPT‑3.5 Turbo passa a oferecer por padrão contexto de 16K, JSON mode e chamadas de função paralelas
  • O limite de tokens por minuto para clientes pagantes do GPT‑4 será dobrado, e o Copyright Shield passa a oferecer defesa e cobertura de custos em reivindicações de violação de direitos autorais para recursos de disponibilidade geral do ChatGPT Enterprise e da plataforma para desenvolvedores

Atualizações do GPT‑4 Turbo e do GPT‑3.5 Turbo

  • O GPT‑4 Turbo foi lançado como preview do modelo de próxima geração do GPT‑4
    • Todos os desenvolvedores pagantes podem usá-lo na API enviando gpt-4-1106-preview
    • Um modelo estável, pronto para produção, deve ser lançado nas próximas semanas
    • Com uma janela de contexto de 128K, é possível inserir em um único prompt o equivalente a mais de 300 páginas de texto
    • Seu conhecimento de mundo vai até abril de 2023
  • O preço ficou menor que o do GPT‑4
    • Tokens de entrada do GPT‑4 Turbo: $0.01/1,000 tokens
    • Tokens de saída do GPT‑4 Turbo: $0.03/1,000 tokens
    • A entrada custa 3 vezes menos que no GPT‑4, e a saída, 2 vezes menos
  • A chamada de funções (function calling) agora pode acionar várias funções em uma única mensagem
    • Por exemplo, uma solicitação como “abra a janela do carro e desligue o ar-condicionado” pode ser processada em uma única mensagem, sem várias idas e vindas como antes
    • O GPT‑4 Turbo também passou a ter maior probabilidade de retornar parâmetros corretos de função
  • O JSON mode restringe a resposta do modelo a JSON válido
    • Com o novo parâmetro de API response_format, é possível forçar a geração de um objeto JSON sintaticamente correto
    • Isso é útil para desenvolvedores que geram JSON com a Chat Completions API fora do fluxo de chamada de funções
    • O GPT‑4 Turbo também apresenta desempenho melhor que os modelos anteriores em tarefas que exigem seguir formatos específicos, como “responda sempre em XML”.
  • Saídas reproduzíveis e log probabilities também foram adicionadas
    • O parâmetro seed permite retornar completions consistentes na maioria dos casos, oferecendo saídas reproduzíveis
    • Isso pode ser usado para depuração por reprodução de requisições, testes unitários mais abrangentes e controle do comportamento do modelo
    • O recurso de retorno de log probabilities para os tokens de saída mais prováveis do GPT‑4 Turbo e do GPT‑3.5 Turbo deve chegar nas próximas semanas
    • É útil para criar recursos como autocomplete em experiências de busca
  • O novo GPT‑3.5 Turbo passa a oferecer por padrão uma janela de contexto de 16K
    • Na API, ele pode ser acessado como gpt-3.5-turbo-1106
    • Traz melhorias no seguimento de instruções, JSON mode e chamadas de função paralelas
    • Em avaliações internas, tarefas de conformidade de formato, como geração de JSON, XML e YAML, melhoraram 38%
    • O modelo atual gpt-3.5-turbo-0613 continuará acessível até 13 de junho de 2024
    • Aplicações que usam o nome gpt-3.5-turbo não serão mais atualizadas automaticamente

Assistants API, Retrieval e Code Interpreter

  • A Assistants API foi lançada como o primeiro passo para permitir que desenvolvedores criem experiências de agente dentro de aplicações
    • Um assistant é uma IA orientada a objetivos, com instruções específicas, que usa conhecimento adicional e aciona modelos e ferramentas para executar tarefas
    • Os casos de uso incluem apps de análise de dados em linguagem natural, assistants de programação, planejadores de viagem com IA, DJs controlados por voz e telas visuais inteligentes
    • Ela é construída sobre recursos como custom instructions, Code Interpreter, Retrieval e chamada de funções, que também viabilizam o novo produto GPTs da OpenAI
  • A principal mudança é a existência de threads persistentes e sem limite de tamanho
    • Os desenvolvedores podem transferir à OpenAI o gerenciamento do estado da thread
    • Isso funciona adicionando novas mensagens à thread existente para contornar as limitações da janela de contexto
  • A Assistants API pode chamar várias ferramentas
    • Code Interpreter: escreve e executa código Python em um ambiente sandbox, gera gráficos e diagramas e processa arquivos de vários tipos e formatos
    • Retrieval: complementa o assistant com conhecimento externo ao modelo, como dados proprietários de domínio, informações de produto e documentos enviados por usuários
    • Com Retrieval, o desenvolvedor não precisa implementar por conta própria armazenamento de embeddings, chunking de documentos nem algoritmos de busca
    • Function calling: permite que o assistant chame funções definidas pelo desenvolvedor e incorpore as respostas dessas funções às mensagens
  • Os dados e arquivos enviados pela API não serão usados para treinar os modelos da OpenAI, e poderão ser excluídos quando o desenvolvedor considerar apropriado
  • A Assistants API está disponível em beta para todos os desenvolvedores e pode ser testada sem código no Assistants playground
  • Os preços da Assistants API e das ferramentas estão disponíveis na página de preços da OpenAI

Recursos de visão, imagem e voz adicionados à API

  • O GPT‑4 Turbo with vision pode receber imagens como entrada na Chat Completions API
    • Ele oferece suporte a casos de uso como geração de legendas, análise detalhada de imagens reais e leitura de documentos com ilustrações
    • A BeMyEyes usa essa tecnologia para ajudar pessoas cegas ou com baixa visão em tarefas do dia a dia, como identificar produtos e se locomover em lojas
    • Os desenvolvedores podem acessá-lo com gpt-4-vision-preview
    • O suporte a visão será incorporado ao modelo principal GPT‑4 Turbo como parte de uma versão estável
    • O preço varia de acordo com o tamanho da imagem de entrada; enviar uma imagem de 1080×1080 ao GPT‑4 Turbo custa $0.00765
  • O DALL·E 3 pode ser integrado a apps e produtos via Images API ao especificar o modelo dall-e-3
    • Snap, Coca-Cola e Shutterstock usam o DALL·E 3 para gerar programaticamente imagens e designs para clientes e campanhas
    • Assim como nas versões anteriores do DALL·E, a API inclui moderação integrada para ajudar a prevenir uso indevido
    • Há opções de formato e qualidade, com preços a partir de $0.04 por imagem gerada
  • A API de texto para fala (TTS) gera voz em nível humano a partir de texto
    • O novo modelo de TTS oferece 6 preset voices
    • Há duas variantes de modelo: tts-1 e tts-1-hd
    • O tts-1 é otimizado para casos de uso em tempo real, enquanto o tts-1-hd prioriza a qualidade
    • O preço começa em $0.015 por 1.000 caracteres de entrada

Customização de modelos

  • A OpenAI está criando um programa de acesso experimental para fine-tuning do GPT‑4
    • Resultados preliminares indicam que, ao contrário dos grandes ganhos obtidos com fine-tuning do GPT‑3.5, o GPT‑4 fine-tuning exige mais trabalho para gerar melhorias significativas em relação ao modelo base
    • Quando a qualidade e a segurança do GPT‑4 fine-tuning melhorarem, desenvolvedores que usam ativamente fine-tuning do GPT‑3.5 receberão na console de fine-tuning a opção de se candidatar ao programa do GPT‑4
  • O Custom Models program é voltado a organizações que precisam de um nível de customização ainda maior do que o fine-tuning oferece
    • Ele se aplica especialmente a domínios com conjuntos de dados proprietários muito grandes, na casa de dezenas de bilhões de tokens ou mais
    • Organizações selecionadas poderão treinar um GPT‑4 customizado para seu domínio com um grupo dedicado de pesquisadores da OpenAI
    • Será possível modificar todas as etapas do processo de treinamento do modelo, do pre-training adicional especializado por domínio ao post-training com RL customizado para um domínio específico
    • A organização terá acesso exclusivo ao seu próprio modelo customizado
    • O modelo customizado não será oferecido nem compartilhado com outros clientes, nem usado para treinar outros modelos
    • Os dados proprietários fornecidos para treinar o modelo customizado não serão reutilizados em outros contextos
    • Inicialmente, o programa será extremamente limitado e de alto custo

Redução de preços e ampliação dos rate limits

  • A OpenAI reduziu os preços em várias áreas da plataforma
    • Todos os preços são por 1,000 tokens
  • Preços do GPT‑4 Turbo
    • GPT‑4 8K: entrada $0.03, saída $0.06
    • GPT‑4 32K: entrada $0.06, saída $0.12
    • GPT‑4 Turbo 128K: entrada $0.01, saída $0.03
  • Preços do GPT‑3.5 Turbo
    • GPT‑3.5 Turbo 4K anterior: entrada $0.0015, saída $0.002
    • GPT‑3.5 Turbo 16K anterior: entrada $0.003, saída $0.004
    • Novo GPT‑3.5 Turbo 16K: entrada $0.001, saída $0.002
    • Os novos preços se aplicam apenas ao novo GPT‑3.5 Turbo apresentado nesse dia
    • Para usuários do GPT‑3.5 Turbo 4K anterior, o preço dos tokens de entrada cai 33%
  • Preços de fine-tuning do GPT‑3.5 Turbo
    • GPT‑3.5 Turbo 4K fine-tuning anterior: treinamento $0.008, entrada $0.012, saída $0.016
    • Novo GPT‑3.5 Turbo 4K·16K fine-tuning: treinamento $0.008, entrada $0.003, saída $0.006
    • Os tokens de entrada ficam 4 vezes mais baratos, e os de saída, 2,7 vezes mais baratos
    • Nos novos modelos GPT‑3.5 Turbo, o fine-tuning com contexto de 16K passa a ser oferecido pelo mesmo preço do 4K
    • Os novos preços também se aplicam aos modelos fine-tuned gpt-3.5-turbo-0613
  • Os rate limits também foram ampliados
    • O limite de tokens por minuto para todos os clientes pagantes do GPT‑4 será dobrado
    • Os novos rate limits podem ser consultados na página de rate limits
    • Foram divulgados usage tiers que determinam aumentos automáticos de rate limit
    • É possível solicitar aumento dos limites de uso nas configurações da conta

Copyright Shield e lançamentos open source

  • O Copyright Shield é um programa no qual a OpenAI assume a defesa e os custos caso clientes recebam reivindicações legais relacionadas a violação de direitos autorais
    • Ele se aplica a recursos de disponibilidade geral do ChatGPT Enterprise e da plataforma para desenvolvedores
    • A OpenAI mantém a posição de proteger clientes com salvaguardas de direitos autorais incorporadas ao sistema
  • O Whisper large-v3 foi lançado
    • É a próxima versão do modelo open source de reconhecimento automático de fala (ASR) da OpenAI
    • O desempenho foi melhorado em vários idiomas
    • A OpenAI planeja oferecer suporte ao Whisper v3 na API em um futuro próximo
  • O Consistency Decoder também foi lançado como open source
    • É um drop-in replacement para o decoder VAE do Stable Diffusion
    • Melhora todas as imagens compatíveis com o VAE do Stable Diffusion 1.0+
    • Traz grandes melhorias em texto, rostos e linhas retas

1 comentários

 
GN⁺ 2023-11-07
Opiniões no Hacker News
  • A maioria dos produtos anunciados e a redução de preços parecem mais voltados a aumentar a dependência da plataforma da API da OpenAI, o que não surpreende diante da concorrência cada vez maior
    Em especial, as demos de GPTs/GPT Agents e Assistants pareceram uma caixa-preta dentro de uma caixa-preta impossível de migrar para outro lugar
    As avaliações do anúncio estão divididas, e acho que será preciso ver mais detalhes na documentação da API que acabou de ser atualizada: https://platform.openai.com/docs/api-reference
    A página de preços também foi atualizada: https://openai.com/pricing
    Em especial, a API do DALL-E 3 custa US$ 0,04 por imagem, cerca de uma ordem de grandeza mais cara do que outros serviços nessa área
    Um ponto interessante da nova estrutura de preços que não foi mencionado no keynote é que o ChatGPT 3.5 com fine-tuning agora caiu para 3 vezes o custo do ChatGPT 3.5 básico. Antes era 8 vezes, então o fine-tuning se tornou uma opção mais convincente

    • É uma boa estratégia. Para evitar o fosso defensivo, você precisa reduzir muito a qualidade e acabar entrando no fosso de outra empresa, ou reduzir muito a qualidade gastando muito mais dinheiro
      Pelo que pesquisei, a configuração de ponta a ponta mais realista para ter meu próprio LLM por completo seria algo como colocar algumas 3090 em uma placa-mãe de consumidor e rodar 24/7, mas o custo operacional é considerável, o desempenho não é suficiente e ainda assim sai bem caro
      Gastando um pouco mais, dá para comprar uma configuração Apple Silicon de 128 GB/192 GB e melhorar a qualidade e o custo operacional, mas ela é muito, muito mais lenta do que o serviço “Turbo” da OpenAI
      O maior motivo que me afastava da OpenAI era a sensação de que a experiência de chat era subsidiada muito mais pesadamente do que a API, mas este anúncio parece ter alinhado bastante essa diferença
      Em resumo, a OpenAI está oferecendo condições atraentes demais para ignorar, e isso é um serviço fortemente subsidiado. Não acho que o custo de migração no futuro vá superar os benefícios obtidos agora
    • Não entendo muito bem o argumento de dependência aqui. Se surgir um concorrente, haverá custo de migração porque será preciso aprender de novo, mas, do ponto de vista do código, é só uma chave e funções de uma API relativamente pequena
      Sem novas regulamentações, não vejo o que impediria alguém de sair da OpenAI para algo como a Anthropic, além do custo de aprender a usar a Anthropic de forma eficaz para um caso de uso específico
      Não é como se a OpenAI tivesse algum feed separado de exportação para extrair dados de um banco de dados
    • Quanto à avaliação de que “a demo do Assistants é uma caixa-preta dentro de uma caixa-preta impossível de migrar”, eu vejo quase o contrário
      A nova interface Threads no painel de administração da OpenAI mostra exatamente como ela interpreta as entradas e saídas, tentando reduzir o efeito de caixa-preta
      Fonte: em https://platform.openai.com/docs/api-reference/runs/listRunS..., dá para ver exatamente quais etapas a cadeia percorre. Há mais visibilidade do que antes
    • Parece que a comunidade conseguiria fazer isso com o Mistral em duas semanas de trabalho. Não seria tão bom, mas poderia ser usado gratuitamente de forma privada, e o desempenho provavelmente ficaria 6 a 12 meses atrás da OpenAI
    • Ainda assim, o produto em si é impressionante. Testei alternativas, mas nem o Claude foi tão bom quanto o ChatGPT
      O Claude dá uma aula de ética a cada duas respostas, gerando custo toda vez e dificultando a vontade de embuti-lo em um produto
  • Se alguém não tivesse tido contato com a sociedade desde 29 de novembro de 2022, o dia anterior ao lançamento do ChatGPT segundo a Wikipedia, e voltasse hoje para assistir ao keynote da OpenAI, provavelmente teria perdido a cabeça
    A velocidade de evolução e a utilidade desses produtos são realmente surpreendentes

    • Eu estava na prisão quando o ChatGPT saiu. Só vi uma manchete passar muito rápido na CNN e liguei para um amigo para perguntar: “O que diabos é Chat OPT?”
      Por coincidência, eu tinha acabado de terminar de ler The Singularity is Near pela segunda vez
    • Não sei que recurso revolucionário você viu aqui
      O interpretador de código e a chamada de funções já eram possíveis com um LLM avançado capaz de seguir instruções bem o bastante para emitir tokens em um formato estritamente parseável. Era só colocar essa saída em um parser e devolver o resultado ao LLM. Fazer isso com uma API online como o ChatGPT era meio tosco, mas totalmente possível
      Chatbots personalizados também já eram fáceis de criar, e serviços de criação como Poe.com já existiam
      Saída em JSON também só exige uma IA que consiga produzir probabilidades de tokens e seguir bem instruções, junto com um validador de esquema que escolha tokens de modo que o resultado seja um JSON compatível com o esquema
      O GPT-4 128k parece revolucionário, mas o Claude 100k já existia, e como a avaliação de LLMs cresce quadraticamente em relação ao tamanho do contexto, provavelmente eles estão usando algum truque para expandir o contexto. Não acho que sejam tokens “completos”. Se eu estiver errado, admito com prazer
      Contexto grande é útil, mas, em programação, se você fornecer o contexto correto — por exemplo, preenchendo o contexto com resultados de “ir para definição” recursivo em 2 ou 3 níveis para um símbolo específico — dá para fazer alguma coisa mesmo com um contexto de 8k
      O DALL-E 3 parece o mais inovador, mas, ao usá-lo, embora sua capacidade de composição tenha melhorado muito em relação ao SD, ele ainda falha em alguns casos
      No geral, o anúncio de hoje parece mais um polimento e refinamento em cima da grande ruptura explosiva do ano passado
    • Naquela noite, abri o Twitter e as pessoas de tecnologia que eu seguia estavam compartilhando um monte de capturas de tela de conversas com um pequeno ícone verde
      Pensei: “Ah, mais uma modinha de chatbot que as pessoas vão usar por 5 minutos e largar”, e eu estava completamente errado
    • Também parece estranho para outras pessoas que o ChatGPT tenha sido lançado há menos de um ano? Parece que ele existe há muito mais tempo
    • Eu continuei em contato com a sociedade e ainda assim sinto que vou perder a cabeça
  • Whisper V3 foi lançado: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
    Parece ser um novo checkpoint do modelo large. Seria bom se os modelos menores também fossem atualizados, mas parece que será fácil integrar em coisas que usam o Whisper V2
    Estou animado, porque pretendo adicioná-lo também à minha IA de voz local: https://www.microsoft.com/store/apps/9NC624PBFGB7
    Acho que a voz do ChatGPT já estava usando o Whisper V3, mas ainda aparecia a alucinação típica do Whisper, “Thank you for watching!”. Parece mais uma melhoria incremental do que uma mudança revolucionária

    • Essa alucinação também acontece em trechos de silêncio?
      Havia muitos vídeos com legendas nos dados de treinamento, mas alguns vídeos/áudios foram cortados e as legendas mantiveram a fala final; então talvez agora ele esteja reconhecendo o silêncio como uma despedida de programa de TV
      Pessoalmente, acho que o gargalo atual em voz é a infraestrutura ao redor. Coisas como detectar o início e o fim da fala, e como manter o usuário pronto para falar mesmo enquanto sons ou voz estão sendo reproduzidos
      São elementos absolutamente necessários, mas no geral não funcionam bem, e é realmente necessária uma integração de hardware/software
    • Gostei do fato de Sama ter dedicado literalmente 16 segundos ao Whisper em uma apresentação de 45 minutos: https://app.reduct.video/o/eca54fbf9f/p/250fab814f/share/9d9...
    • Ainda há diarização de falantes?
    • É uma pena que a API do Whisper ainda não tenha sido atualizada. Quero logo poder usá-lo em https://whispermemos.com
  • Contexto de 128.000 tokens, Assistants API, modo JSON, base de conhecimento até abril de 2023, GPT-4 Turbo, preços mais baixos e GPTs personalizados: no geral, houve bastantes anúncios
    https://openai.com/pricing

    • Achei que o GPT-4 agora pudesse acessar a internet
  • Agora é possível pagar de 2 a 3 milhões de dólares pelo [1] pré-treinamento de um modelo gpt-n personalizado. Não recebeu tanta atenção, mas parece bem interessante
    Se uma startup puder gastar esse dinheiro, acho que certamente daria uma vantagem competitiva
    [1] https://openai.com/form/custom-models
    Esqueci o link, então estou adicionando

    • Acho que não. Porque eles vão usar o modelo pelo qual você pagou e pegar seus clientes
    • Uau, isso deve afetar diretamente nossa empresa no curto prazo. Tentamos fazer tudo internamente, mas tivemos pouquíssimo sucesso
      Mesmo por cerca de 3 milhões de dólares, parece uma opção atraente
    • Se você for um cliente final da OpenAI, não há problema em pré-treinar um modelo gpt-n para o seu próprio negócio
      Mas, se você for um intermediário da OpenAI que pré-treina modelos gpt-n para outros clientes, não sei por que você acha que a OpenAI não acabaria passando por cima de você
      Se você procurar startups construídas sobre APIs e plataformas, para cada caso de sucesso há um cemitério cheio de empresas mortas por mudanças nas regras da API e da plataforma
  • Para os céticos nos comentários, o elefante na sala que nem todo mundo quer admitir é que o GPT-4 ainda é muito melhor que todo o resto

    • Cancelei minha assinatura do GPT-4. Para código, o Claude foi mais útil, e para tarefas em chinês, o Qwen foi melhor
      Em média, ele pode ser melhor, mas não vejo como melhor em todas as tarefas
      Os outros modelos também vão continuar melhorando
    • O único que uso como complemento ao GPT-4 é o Phind, e só isso já é bastante impressionante
    • Há algo promissor?
      Treinamento por crowdsourcing ainda é inviável?
      Lembro como o mundo dos modelos de difusão avançou rápido no primeiro ano, mas depois do Midjourney, em comparação com o DALL-E 3, parece meio estagnado. Os modelos de texto estão na mesma situação?
    • Grok? Brincadeira
  • O playbook que a OpenAI está seguindo é parecido com o da AWS. Começa com capacidades brutas, como geração de texto e geração de imagens, constrói a base como EC2, S3 e RDS, e depois empilha serviços de valor agregado por cima, como a Assistants API
    Nesse aspecto, ela está muito à frente da AWS e de outros concorrentes

    • Vai competir com os próprios clientes, como a Amazon. Nesse aspecto também já está muito à frente. Na prática, está pegando o patrimônio digital de todo mundo e revendendo
    • Não sei se eu diria “muito à frente”
      A AWS praticamente não teve concorrência por 7 anos, e as outras grandes nuvens de hoje estavam todas negando a realidade
      A OpenAI já tem muitos concorrentes. Eles podem estar piores nos rankings agora, mas não é uma situação em que ignoraram esse campo por anos e só depois correram para alcançar
  • Pela minha experiência usando ferramentas desse tipo, elas também ajudam na manutenção da base de código? Fico curioso para saber se isso acontece diretamente ou indiretamente, por meio de um código mais legível e bem organizado
    Essas ferramentas parecem excelentes para escrever código novo. Pela minha experiência, há um limite para a quantidade de código que um desenvolvedor consegue manter. No fim, você deixa de conseguir manter tudo na cabeça e precisa parar para entender alguma coisa, o que torna a manutenção mais difícil
    Fico pensando se, caso essas ferramentas ajudem a escrever mais código, mas não ajudem na manutenção, pode chegar uma situação em que uma enorme quantidade de código novo seja escrita muito rapidamente e depois tudo pare porque ninguém entende profundamente o que há nele

    • Minha ferramenta open source de codificação com IA, aider, é única no sentido de que foi projetada para funcionar com bases de código existentes. Você pode entrar em um repositório git existente e pedir mudanças, novos recursos etc. diretamente
      https://github.com/paul-gauthier/aider
      Ela analisa a árvore de sintaxe abstrata do código de todo o repositório para criar um “mapa do repositório”, ajudando o GPT a entender bases de código maiores
      Tudo isso é feito com tree-sitter, a mesma ferramenta que impulsiona a busca e a navegação de código no GitHub e em muitas IDEs populares
      https://aider.chat/docs/repomap.html
    • Concordo. Empresas que “amplificam” desenvolvedores juniores com LLMs vão conseguir bastante cobertura positiva, mas resta ver por quanto tempo o mercado vai recompensar esse comportamento
      Os consumidores provavelmente vão perceber logo; no B2B, talvez sejam enganados por alguns anos, até acabarem abandonando e migrando para concorrentes tradicionais de maior qualidade que contratam talentos seniores
      Dito isso, é possível que surjam modelos bons em expandir e manter uma base de código consistente. Olhando para onde estamos agora, não parece uma tarefa impossível. Mas, como você apontou, ainda estamos bem longe
    • Venho pensando nisso há algum tempo por duas perspectivas
      Primeiro, a era do engenheiro de software tradicional pode acabar e dar lugar à era dos depuradores. Depuradores humanos passariam o dia inteiro definindo breakpoints e encontrando bugs em um mar de código criado por LLMs
      Segundo, a contratação vai mudar de problemas de Leetcode para “abra o depurador e descubra o que há de errado neste código”
    • Há bons plugins CodeGPT para IntelliJ e VS Code. Basicamente, você pode selecionar código e pedir crítica, refatoração, otimização, busca de bugs, documentação, explicação etc.
      Um contexto maior significa que, potencialmente, seria possível colocar a base de código inteira. A maioria das pessoas tem dificuldade até de manter na cabeça os detalhes de uma base de código pequena
      O próximo passo é uma integração mais profunda com as ferramentas, garantindo que, seja o que for alterado, os testes passem e o código compile. Escrever testes também é uma das coisas que essa ferramenta consegue fazer
      Assim, pode se tornar possível resgatar com auxílio de IA bases de código legadas que, de outra forma, seriam economicamente difíceis de lidar
      Espero que a produtividade de desenvolvedores assistidos por IA aumente muito nos próximos anos. Pessoalmente, acho que isso deve funcionar melhor em linguagens de tipagem estática, porque é muito mais fácil para as ferramentas raciocinarem sobre elas
    • Estamos fazendo isso agora para testes de API. Vale conferir nosso site
      https://ai.stepci.com
  • “Nas próximas semanas, também lançaremos a capacidade de retornar as log-probabilidades dos tokens de saída mais prováveis gerados pelo GPT-4 Turbo e pelo GPT-3.5 Turbo, o que será útil para criar recursos como autocompletar em experiências de busca.”
    Isso é bem surpreendente. Eles não estão preocupados não só com pessoas treinando em cima das saídas do GPT-4 para roubar as capacidades do modelo, mas também com uma destilação de conhecimento por logits em grande escala?
    Todo mundo achava que esse era justamente o motivo de terem bloqueado o acesso aos logits

    • Quantos GB de logits seriam necessários para fazer engenharia reversa do modelo? Além disso, se eles estiverem usando um conjunto de vários modelos, isso levaria a um beco sem saída
    • Também pensei a mesma coisa. Meu palpite é que fizeram muita análise e decidiram que era seguro o suficiente
      “Mais prováveis” pode significar literalmente apenas alguns tokens, e isso talvez cubra só uma fração minúscula da distribuição total
    • Aos olhos deles, parece que a ordem executiva resolve esse problema, ilegalizando modelos abertos
      Talvez esse julgamento esteja certo