OpenAI o1-pro agora disponível via API

• US$ 150 para tokens de entrada, US$ 600 para tokens de saída (por 1 milhão)
  • 150 vezes mais caro que o o1-mini
• Os modelos da série o1 foram treinados com aprendizado por reforço (Reinforcement Learning) para pensar antes de responder e realizar raciocínios complexos
  • O modelo o1-pro usa mais recursos computacionais para pensar com mais profundidade e fornecer respostas consistentes e de alta qualidade
• Disponível apenas na Responses API, com suporte aos seguintes recursos
  • Suporte a múltiplas chamadas de ferramentas
  • Suporte a interações do modelo ao longo de vários turnos antes de responder à requisição da API
• Janela de contexto de 200.000, com no máximo 100.000 tokens de saída
• Data de corte: 1º de outubro de 2023

[GN⁺]

Comentários no Hacker News

• Este modelo só pode ser usado pela nova Responses API. Se você tem código usando Chat Completions, precisará migrar para Responses para ter suporte
  • Pode levar um tempo para adicionar suporte à minha ferramenta de LLM
• Preço: $150 por 1 milhão de tokens de entrada e $600 por 1 milhão de tokens de saída
  • É muito caro, mas, por ter usado junto com a assinatura ChatGPT Pro, ele é surpreendentemente capaz
  • Se você fornecer uma base de código de 100.000 tokens, ele encontra bugs sutis que eu ignorei completamente
  • Comparando o preço da API com o valor da assinatura que eu pago, fico até um pouco culpado
• Custou 94 centavos para renderizar um SVG de um pelicano andando de bicicleta
• Assumindo que um trabalhador de escritório motivado com salário anual de $160k passe 6 horas por dia ouvindo ou falando, o custo por 1 milhão de tokens fica em cerca de $10k
  • A OpenAI agora chegou, no preço de seus modelos de ponta, a um nível parecido com o de humanos altamente qualificados
  • O o3 pro pode mudar esse cenário, mas acho que eles não teriam lançado este modelo se o o3 já estivesse prestes a sair
• Tem cutoff de conhecimento em 2023 e janela de contexto de 200k
  • Um pouco decepcionante
• O o1-pro ainda se destaca mesmo comparado a todos os outros lançamentos, incluindo Grok 3 think e Claude 3.7 think
  • Eu ia cancelar a assinatura Pro, mas o 4.5 é bom demais para tarefas que não são de código/matemática
  • Mal posso esperar pelo o3 pro
• Há pessoas que testaram e gostaram
  • Tenho bastante confiança no Sonnet 3.7
  • Gostaria que fosse mais rápido
  • A maioria dos problemas é de execução, e eu quero que a IA faça isso mais rápido do que eu mesmo programando
• O o1-pro parece ser algo para usar como ferramenta de conferência ou para revisar uma base de código
  • Mesmo com preço mais baixo, suponho que seria preciso muito trabalho e conhecimento de domínio para conseguir 10x a velocidade do Sonnet
• O o1-pro não suporta streaming
  • A suposição é que ele usa técnicas do tipo best-of-n para buscar várias respostas
  • Acho que seria possível obter resultados parecidos por um preço muito menor usando llm-consortium
  • Você pode enviar prompts para vários modelos e escolher ou compor a melhor resposta entre eles
  • Pode repetir isso até atingir um limiar de confiança
• No começo achei que poderia adicionar à plataforma, mas, vendo o preço, hesito em ativar o modelo para a maioria dos usuários
  • Tirando empresas ricas, a maioria dos usuários acabaria se prejudicando
• Sempre suspeitei que o o1-Pro pudesse ser um workflow do modelo o1
  • Pode ser algo como distribuir em 8 instâncias de o1 e agregar os resultados