OpenAI apresenta o GPT‑Live

• Para tornar o ChatGPT Voice mais próximo de uma conversa em tempo real natural, a OpenAI apresentou o GPT‑Live‑1 e o GPT‑Live‑1 mini
• Com uma arquitetura full-duplex, ele processa escuta e fala ao mesmo tempo, permitindo pequenas reações, trocas rápidas e a capacidade de esperar enquanto o usuário pensa
• Os métodos de voz anteriores, em cascata e baseados em turnos, tinham problemas de latência, perda de informação e interrupções pouco naturais; o GPT‑Live busca reduzir essas limitações com interação contínua
• Buscas, raciocínio e tarefas complexas são delegados em segundo plano a modelos mais recentes, como o GPT‑5.5, enquanto o GPT‑Live mantém a conversa fluindo
• Será distribuído para iOS, Android e ChatGPT.com; para usuários Go, Plus e Pro, o GPT‑Live‑1 se torna o modelo padrão do ChatGPT Voice, enquanto para usuários Free o padrão passa a ser o GPT‑Live‑1 mini

---

Como o GPT‑Live muda a estrutura das conversas por voz

• GPT‑Live é uma nova geração de modelo de voz para tornar conversas por voz com IA mais próximas de conversas reais entre pessoas
• O ponto central é a arquitetura full-duplex, capaz de ouvir e falar simultaneamente durante a conversa
  • Enquanto o usuário fala, pode demonstrar que está ouvindo com reações curtas como “mhmm” e “yeah”
  • Lida com conversas de troca rápida
  • Pode esperar em silêncio quando o usuário precisa de tempo para pensar
• Essa estrutura torna o ChatGPT Voice mais natural e, no longo prazo, permite adicionar voz a tarefas agentivas mais complexas e demoradas

Limitações do método anterior do ChatGPT Voice

• Sistemas de voz em cascata, como o ChatGPT Voice inicial, conectam vários modelos em sequência para processar uma única fala
  • O original ChatGPT Voice juntava um modelo que convertia fala em texto, um grande modelo de linguagem que gerava a resposta e um modelo que convertia texto em fala
  • Isso tornou possível conversar por voz com modelos de IA de fronteira, mas informações podiam se perder entre os modelos, e as respostas podiam ficar lentas ou rígidas
• Modelos de voz baseados em turnos, como o ChatGPT Advanced Voice Mode, processam e geram áudio dentro de um único modelo, reduzindo a latência
  • Ainda funcionam em uma estrutura de turnos, respondendo apenas depois que o usuário para de falar
  • Como a detecção de turno se baseia no silêncio, pausas curtas ou ruídos de fundo podem ser interpretados incorretamente como fim do turno
  • Nesses casos, o modelo pode interromper em um momento pouco natural

Interação contínua e delegação de tarefas

• Em vez de processar mensagens separadas uma após a outra, o GPT‑Live continua recebendo entradas enquanto gera saídas
• O modelo toma decisões de interação várias vezes por segundo
  • Se deve falar
  • Se deve continuar ouvindo
  • Se deve pausar por um momento
  • Se deve interromper
  • Se deve chamar uma ferramenta
• Essa abordagem permite uma troca mais natural, melhor percepção de tempo e tradução em tempo real
• Trabalhos aprofundados são tratados separadamente do GPT‑Live
  • Perguntas que exigem busca, raciocínio ou recursos mais agentivos podem ser delegadas a outros modelos, como o GPT‑5.5
  • Mesmo enquanto várias tarefas são processadas em segundo plano, o GPT‑Live mantém a conversa
  • É uma estrutura que combina interação por voz natural com o uso dos modelos e agentes mais recentes

Versões do modelo e plano de distribuição

• A OpenAI começou a distribuir gradualmente duas versões, GPT‑Live‑1 e GPT‑Live‑1 mini, para usuários do ChatGPT em todo o mundo
• A disponibilização via API também está prevista, e desenvolvedores e empresas podem se inscrever para receber notificações pelo formulário
• No lançamento, o GPT‑Live usa o GPT‑5.5 em segundo plano
  • O GPT‑Live‑1 instant e o GPT‑Live‑1 mini usam o modelo GPT‑5.5 Instant
  • O GPT‑Live‑1 Medium e o GPT‑Live‑1 High usam o modelo GPT‑5.5 Thinking com esforços de raciocínio medium e high, respectivamente
• A OpenAI planeja continuar atualizando os modelos em segundo plano usados pelo GPT‑Live quando novos modelos de fronteira forem lançados

Resultados de avaliação

• A OpenAI criou uma nova avaliação humana para medir o prazer e o fluxo da conversa
• Em conversas ajustadas de 5 a 10 minutos, o GPT‑Live‑1 e o GPT‑Live‑1 mini foram fortemente preferidos em relação ao Advanced Voice Mode
  • Preferência geral
  • Troca de turnos
  • Interrupções
  • Fluxo da conversa
  • Naturalidade da interação
• O GPT‑Live‑1 mostra resultados melhores que o Advanced Voice Mode em vários benchmarks
  • GPQA: testa raciocínio científico em nível de especialista em biologia, química e física; o GPT‑Live‑1 ficou bem à frente
  • BrowseComp: testa busca web agentiva e a capacidade de encontrar informações difíceis de localizar; o GPT‑Live‑1 mostrou grande melhoria
  • τ³-Voice Telecom: uma variação interna que testa agentes de voz em tarefas realistas de suporte de operadoras com múltiplos turnos; o GPT‑Live‑1 teve desempenho melhor
• A avaliação τ³-Voice Telecom usa um modelo de usuário personalizado alimentado por um modelo de raciocínio de última geração

O que muda na experiência do ChatGPT Voice

• Mais de 150 milhões de pessoas conversam com o ChatGPT toda semana por meio de recursos como Voice e Dictation
• Usuários usam voz para ajuda cotidiana sem as mãos, prática de idiomas, histórias de dormir, conversas durante o deslocamento e outros usos
• Ao tocar no botão Voice, a experiência baseada no GPT‑Live é aplicada
  • Conversas mais naturais
  • Respostas mais inteligentes
  • Melhor escuta
  • Respostas visuais
• O usuário pode interromper com perguntas, pausar para organizar pensamentos ou pedir que o ChatGPT fale devagar
• O ChatGPT pode indicar que está acompanhando a fala do usuário com reações como “mhmm” e “got it”
• As 9 vozes exclusivas do ChatGPT foram remasterizadas para o GPT‑Live
• O usuário pode escolher o nível de raciocínio
  • Instant: respostas rápidas
  • Medium e High: fazem o ChatGPT pensar por mais tempo
• O ChatGPT Voice pode esperar sem interromper quando o usuário está pensando por um momento
• Se o usuário pedir para ele apenas ouvir em silêncio, o ChatGPT pode seguir a instrução
• Mesmo com ruídos de fundo, como veículos passando ou conversas ao redor, ele se concentra melhor na voz do usuário
• Alguns temas, como clima, ações e esportes, podem ser exibidos durante a conversa em cartões visuais ricos
• O Voice continua oferecendo suporte a busca, memória, imagens e upload de arquivos

Salvaguardas e monitoramento

• O GPT‑Live se baseia nas melhorias de segurança dos modelos mais recentes e adiciona treinamento de segurança específico para voz e novas proteções
• A OpenAI ampliou as avaliações baseadas em áudio para refletir melhor os ambientes reais de uso por voz
• Com base no que aprendeu com o Advanced Voice Mode, também criou avaliações sintéticas que usam áudio gerado
  • Automutilação
  • Psicose e mania
  • Dependência emocional de IA
  • Violência
  • Conteúdo sexual
• Especialistas internos realizaram testes de red team voltados a riscos específicos da voz
• Nos testes, o GPT‑Live teve desempenho semelhante ou melhor que o Advanced Voice Mode em quase todas as áreas avaliadas
• Testes e proteções detalhados podem ser vistos no system card do GPT‑Live
• Como conversas por voz acontecem em tempo real, foram adicionadas proteções que funcionam mesmo enquanto o modelo está falando
  • Se uma saída potencialmente insegura for detectada, ela é direcionada para uma resposta mais segura
  • Mensagens ou recursos adicionais de segurança podem ser exibidos
  • Em situações de risco mais alto, a conversa por voz pode ser encerrada
• Para conversas sobre automutilação, os fluxos de suporte do ChatGPT foram adaptados para voz, incluindo apoio de linhas de ajuda em crises revisado por especialistas
• Também foram projetadas proteções adicionais para usuários adolescentes
  • Comportamentos apropriados à idade foram treinados diretamente no modelo para reduzir o risco de respostas inadequadas
  • Pais podem escolher, nos Parental Controls, se adolescentes podem usar o ChatGPT Voice
  • Pais conectados podem receber notificações em situações de alto risco com possíveis sinais de automutilação ou intenção suicida
• Também há medições de longo prazo e monitoramento pós-lançamento com foco em dependência emocional
  • Baseiam-se no estudo anterior sobre uso afetivo e bem-estar emocional
  • São usados para identificar novos padrões em interações emocionalmente sensíveis e melhorar as formas de resposta
• O GPT‑Live é um modelo para conversas, não para imitação de voz
  • Usa o conjunto de vozes predefinidas do ChatGPT
  • Tem proteções para impedir a imitação da voz de pessoas reais

Cobertura de suporte e limitações atuais

• O GPT‑Live está sendo distribuído para usuários do ChatGPT em todo o mundo no iOS, Android e ChatGPT.com
• O GPT‑Live‑1 passa a ser o modelo padrão do ChatGPT Voice para usuários Go, Plus e Pro
• O GPT‑Live‑1 mini passa a ser o modelo padrão para usuários Free
• A disponibilidade mais detalhada pode ser consultada no Help Center
• O GPT‑Live é otimizado para alguns dos idiomas mais usados no ChatGPT
  • Em alguns idiomas, pode haver lacunas em sotaques não nativos ou fluência
  • A OpenAI está trabalhando para melhorar a experiência em vários idiomas
• No lançamento, o ChatGPT não oferece suporte a vídeo baseado em voz nem compartilhamento de tela
  • A OpenAI está trabalhando para introduzir esses recursos em breve
  • Esses recursos continuam disponíveis nas versões anteriores do ChatGPT Voice, como Standard e Advanced Voice Mode

[GN⁺]

Opiniões do Hacker News

• Usei antecipadamente por algumas semanas e achei bem bom. Tive uma conversa de uma hora enquanto passeava com o cachorro, e também rendeu um brainstorming bem decente sobre um dos meus projetos
  O melhor recurso é que dá para delegar perguntas ao GPT-5.5 em segundo plano, então você não fica mais preso a um modelo de voz anos atrás do estado da arte
  Também reportei um bug engraçado: ele me interrompia enquanto eu ainda estava falando e ria de coisas que eu não tinha dito como piada. Felizmente parece que reduziram esse comportamento; na época, soava meio rude e condescendente

  • Fico curioso para saber se ele responde bem a configurações de personalidade. Não quero de jeito nenhum uma namorada de IA falsa, mas tenho tirado bastante valor do modo de voz
    Estou ansioso para testar, mas espero que não seja uma bagunça assustadoramente encenada demais como o Sesame. Como o caminho que eu quero provavelmente não vai aumentar muito o engajamento, imagino que eles vão continuar empurrando para o lado de namoradas de IA falsas
  • Poder delegar ao GPT-5.5 em segundo plano é exatamente a direção que eu queria
    Eu queria usar o modo de voz do ChatGPT para brainstormings no trajeto para o trabalho ou durante exercícios, mas aquela sensação de estar preso ao passado me fazia usar menos
  • Recomendo fortemente apenas aproveitar a caminhada
  • Fico me perguntando se é uma versão emburrecida do GPT, como o modelo de voz atual. Pelo menos em francês, o modo de voz do GPT hoje é inútil, então acabo usando só o modo de ditado
    Quando faço uma pergunta, ele responde algo como “Essa é uma pergunta interessante. Posso ajudar. Há algo que você queira saber sobre X?”, e, se eu pergunto de novo, só recebo o mesmo tipo de não resposta
  • Gosto da experiência de usuário do modo de voz, mas sempre detestei o modelo de voz em si
    O Gemini, em especial, termina sempre com alguma pergunta estranha, e nem com prompt dá para impedir isso de forma confiável, então acabei criando meu próprio cliente, só com STT → modelo → TTS, para meu fluxo de trabalho real. STT e TTS também são úteis isoladamente
    Pode haver algum valor em o modelo responder rápido e com mais nuance, mas não é muito. Posso esperar até a resposta terminar; prefiro que ela seja de fato útil. Não estou procurando um amigo digital
    Com o recurso de delegação, vejo algum valor no modelo de voz para funções mais de orquestração, mas não gosto de ter que conversar com um modelo com capacidades e quirks diferentes só porque o meio de comunicação mudou, e nem entendo muito bem por que as pessoas gostam disso

• Isso é exatamente o oposto da direção que a IA deveria seguir. Relações humanas são a coisa mais valiosa que temos, mas a tecnologia naturalmente tenta se interpor entre elas e agora tenta substituí-las
  Não sou católico, mas há um argumento interessante contra tratar a IA como interlocutor humano neste podcast: https://newpolity.com/podcasts-hub/debate-chatbots

  • A maior parte do que a IA faz já está na direção errada. Ela está tirando não só a interação entre pessoas, mas também pensamento, criação, percepção sensorial e reação
    As pessoas chamam isso de ajudar os humanos, mas eu vejo como sugar dos humanos aquilo que os torna humanos
    Depois que o dano estiver feito, as megacorporações vão dar de ombros e dizer: “só estávamos respondendo à concorrência”. Empresas não são humanas, então não sabem o que é humanidade. Corporações e máquinas veem humanos como alimento, e os humanos as criaram acreditando que isso era progresso. Chamamos de progresso porque exigiu capacidade intelectual e nos ajudou a dominar outras espécies, mas os golfinhos devem estar rindo de nós
  • É um ponto válido, mas parece misturar duas coisas diferentes
    Se for um modo de voz de IA que substitui a socialização ou a conversa humana, também acho cringe e concordo totalmente. Isso vale tanto para texto quanto para voz
    Mas, como interface alternativa para interagir com a IA enquanto ferramenta, acho uma ótima ideia. Houve momentos em que eu estava cansado demais para digitar, ou queria fazer brainstorming de um jeito mais livre, e teria sido bom ter um modo de voz que funcionasse bem
    É claro que hoje a distinção entre usar IA como uma personalidade ou como uma ferramenta fica inteiramente do lado do usuário. Eu quero muito a segunda opção; se alguém quiser usar como a primeira, não é problema meu. Só acho uma pena que, no fim, esse recurso provavelmente será avaliado menos pelas vantagens como ferramenta e mais por quão regressiva e reducionista será a forma como a pessoa média o usa
  • Cada minuto gasto escrevendo ou falando com um chatbot é um minuto que, de outro modo, teria sido usado conversando com outro ser humano. A única coisa que importa na vida, a base de todo valor, a formação da identidade própria, vem da comunicação com outros humanos
  • Acho que a voz é uma diferença de grau, não de tipo. Eu também converso com a IA como se ela fosse humana, e dá para dizer que a própria experiência de usuário da IA imita humanos
    Uma boa parte das interações humanas também acontece por texto. Este comentário, por exemplo
  • Discordo. Uma IA conversacional fluida e natural é muito mais produtiva do que qualquer interface para trabalhar com LLMs
    Dito isso, também dá para argumentar que ela deveria ser mais robótica. Como em Star Trek. Sinceramente, para trabalho talvez isso seja melhor. Algo como um “modo de resolver tarefas”, frio e de pura eficiência

• O que ficou de fora deste anúncio foi a capacidade de usar conectores e ferramentas. Não entendo bem. Entre assistentes de ponta como Claude, ChatGPT, Gemini e Grok, nenhum consegue usar ferramentas ou conectores no modo de voz.
  Parece tão óbvio, mas quero conversar enquanto pesquiso materiais, abro documentos, deixo anotações e faço trabalho produtivo. Não quero encerrar o modo de voz toda vez que preciso me conectar a um app ou serviço.
  O estranho é que o antigo modo de voz do Claude conseguia usar ferramentas, mas perdeu essa capacidade na reformulação e agora ficou preso ao Haiku.
  É bom que finalmente tenha surgido um modo de voz baseado em um modelo de ponta, que dá para esperar que seja tão bom quanto o modo de voz do Grok, mas é uma pena que o uso de ferramentas ainda não apareça no modo de voz.
  Ainda não testei pessoalmente, só li o anúncio.

  • Há um TikTok em que Sam Altman reage a um clipe viral engraçado de alguém tentando cronometrar uma corrida de 1 milha pelo Voice e falhando.
    A reação de Sam foi: “Sim, ele não tem acesso a ferramentas como um cronômetro. É um problema conhecido, e isso deve chegar em cerca de 1 ano”.
    O clipe está aqui: https://www.youtube.com/shorts/Py2YgJe8fqQ
  • Usando gpt-realtime-2, dá para obter resultados parecidos com streaming de baixa latência, dando a sensação de um assistente presente na sala.
    Há um lugar ajustado para permitir testar o modelo gpt-realtime-2 também com uso de ferramentas: https://sippet.ai/?enabler=hn
  • Uso gpt-realtime-1 em um assistente pessoal que administra minha empresa e planeja minha agenda diária, e funciona bem. Ele também faz chamadas de ferramentas.
    Mas, por causa do processamento multimodal, tive de depurar muitos eventos estranhos e condições de corrida entre mensagens e sequências de áudio. Ainda assim, no geral, é bem excelente.
    Pretendo migrar para este modelo mais tarde hoje e volto para contar os resultados.
  • Ferramentas podem ter relação com isso, já que a latência é imprevisível. Mesmo assim, se já estão fazendo delegação em segundo plano para o 5.5, parece que poderiam simplesmente ativar isso dentro desse contexto.
  • Será mesmo que assistentes de ponta não conseguem usar ferramentas e conectores no modo de voz? Um amigo costuma fazer brainstorming com o Gemini e, pelo que entendo, talvez no celular Android ele de fato execute tarefas relacionadas à conversa e também adicione conteúdo às notas.
    De todo modo, dá para fazer vibe coding com pi a qualquer momento e criar um.

• Como muitos recursos de IA, é incrível e ao mesmo tempo meio assustador. Nunca usei interfaces de voz como Siri, Google ou as que existem em TVs, então provavelmente não sou o público-alvo, mas parece uma melhoria.
  A parte assustadora é que vivemos numa época em que estamos mais desconectados uns dos outros do que nunca. Precisamos mesmo substituir até a conversa? O vídeo de demonstração com senhoras idosas sugere alguma coisa, e acho que já existe um problema enorme de solidão entre idosos e de como a sociedade trata pessoas idosas. Imaginar pessoas ficando realmente próximas de uma máquina que, na verdade, não pensa, me dá tristeza e uma sensação clara de desconforto.

• Aqui é Atty, da OpenAI.
  GPT-Live-1 é a primeira versão de uma nova geração de modelos, e acredito que a arquitetura full-duplex e a capacidade de delegação possibilitam uma forma totalmente nova de interação humano-IA.
  Gostaria de ouvir feedback.

  • Pode ser uma pergunta meio incomum, mas você acha que conseguiria lidar consigo mesmo se isso piorasse a epidemia de solidão e a atomização da sociedade?
    Fico curioso para saber se, daqui a 5 anos, ao ouvir que adolescentes passam tempo apenas com o chatbot de vocês, você sentiria algum grau de responsabilidade pessoal, ou nenhuma.
  • Posso conectá-lo à minha tecnologia ou às minhas ferramentas? Por exemplo, minha empresa tem uma base de conhecimento e logs de eventos, e precisamos de um parceiro de brainstorming que tenha acesso completo a esse conhecimento para conversar e que possa chamar tecnologias ou ferramentas no repositório.
  • Se ele não consegue se conectar a outros apps, como gcal, deveria sugerir usar o cliente GPT padrão em vez de dizer “não tenho esse recurso”.
    Dizer isso pode levar a entender, de forma enganosa, que o cliente comum também não tem esse recurso.
  • Ele só consegue delegar a um agente por vez, ou pode criar vários subagentes para múltiplas tarefas?
  • Ele consegue cantar? É um modelo multimodal de ponta a ponta?

• Fico irritado porque isso talvez me faça assinar o ChatGPT de novo. Antes dos LLMs, eu não acreditaria que usaria tanto recursos de voz, mas hoje o ChatGPT tem a melhor interface de voz.
  Acho que a interface do Grok vem em seguida, e depois a do Claude.

  • Comigo é igual. Uso recursos de voz o tempo todo, então talvez eu volte do Gemini para o ChatGPT.
    Um dos meus casos de uso favoritos é conversar e aprender sobre temas aleatórios enquanto dirijo.

• Está muito melhor do que antes, mas ainda é bem mais fraco do que o chat direto.
  Por exemplo, perguntei: “Vocês dizem com frequência que a magnitude de um vetor não codifica a maior parte das informações úteis; então por que a atenção em LLMs deveria usar produto interno em vez de similaridade por cosseno?”
  A resposta por voz estava na direção certa, mas faltavam detalhes e pareceu meio enrolada.
  A resposta do chat de texto para a mesma pergunta foi de qualidade muito superior.
  Na resposta por voz, ele disse “vou pensar sobre isso…”, então parece estar chamando o 5.5 como anunciado, mas é claramente mais fraco.
  Mantive as configurações de raciocínio iguais nos dois.

  • Isso é bastante ajustável. A personalidade atual é otimizada para brainstorming e conversa, mas você pode usar instruções personalizadas para pedir que ele vá mais fundo e dê respostas com maior densidade de informação ou mais técnicas.
  • As pessoas conseguem ler muito mais texto do que conseguem ouvir. Se uma resposta por voz for longa demais, a paciência acaba rápido.
    Por isso, se houver muito texto, é melhor mostrar na tela.
  • A suposição natural é que reduziram ao mínimo o nível de pensamento em segundo plano. É uma espécie de problema da parada, e, no 5.5 em texto com pensamento no máximo, ele às vezes fica mastigando uma única pergunta por 5 a 10 minutos.
    Esse tipo de conversa ficaria bem esquisito.

• Fico curioso para saber se existe algum modelo full-duplex open source divulgado além do PersonaPlex. Acho que um modelo público chinês com um nome parecido com Fun Audio chat tinha dito que lançaria uma versão full-duplex, mas não sei se chegou a lançar de fato
  Meu sonho é um modelo full-duplex open source com chamadas de função ou saída de texto bem básica. O PersonaPlex também continua interessante, mas parecia precisar de fine-tuning para lidar com o processamento da saída ou para evitar que saísse facilmente do controle

  • A Standard Intelligence divulgou um há 2 anos
    https://si.inc/posts/hertz-dev/
    Só tem 8,5B, e não soa totalmente conversacional
  • Eu também queria saber disso. Porque quero montar, meio no improviso, um alto-falante inteligente para interagir com um assistente de IA local
    Hoje faço tudo pelo iMessage, mas seria bom poder falar, quando estou com as mãos ocupadas na cozinha, para adicionar itens à lista de compras por voz. Também gostaria de sugestões sobre que microfone e alto-falante escolher, e para o cérebro pretendo reutilizar um Raspberry Pi que está largado por aqui
  • Estamos trabalhando nisso em https://duplexio.ai, e será gratuito para uso não comercial com pesos abertos. Se quiser trabalhar junto, pode mandar e-mail para [e-mail]

• O Gemini live já consegue fazer isso há mais de um ano. Basta ligá-lo no celular e ele funciona surpreendentemente bem na prática, especialmente ao lidar com interrupções
  Testei com uma avó holandesa de 95 anos, e ele alternou sem problemas entre inglês e neerlandês, lidou bem com a audição ruim dela e aceitou bem pedidos de repetição
  É um pouco surpreendente ver a OpenAI correndo atrás disso agora

  • O Gemini live também é bem bom em visão computacional. Usei algumas vezes ao consertar bicicleta e carro, e ele circulava ou destacava parafusos e peças específicos pela câmera do celular
    Se você deixar o celular em um tripé, ele consegue guiar o conserto inteiro passo a passo
  • O ChatGPT também já tinha isso há mais de um ano. Este é um modelo melhor
  • Um ponto que Simon destacou é que, em geral, modelos de voz em tempo real não são tão capazes quanto os modelos de ponta
    O que torna este modelo especial é que, durante a conversa, ele consegue delegar tarefas a modelos de ponta
  • Gemini live é a mesma coisa que o app no meu OnePlus 15? Aquilo não parece ser full-duplex
  • Não entendo o que você quer dizer. A OpenAI tem modelos de voz em tempo real desde agosto do ano passado. Este é um novo modelo com desempenho melhor

• O pior cenário é as pessoas ficarem tão acostumadas a conversar com uma IA que sempre concorda com elas que percam a capacidade de conversar com seres que apresentem pontos de vista diferentes dos seus ou respostas que não afaguem o ego