Modelos de fronteira da OpenAI e Codex agora estão disponíveis na AWS

 (openai.com)
2 pontos por GN⁺ 10 시간 전 | 1 comentários | Compartilhar no WhatsApp
  • Os modelos de fronteira da OpenAI e o Codex agora estão oficialmente disponíveis na AWS, permitindo que milhões de clientes da AWS criem com a OpenAI na plataforma onde já operam seus negócios
  • As empresas podem colocar IA de fronteira em produção por meio de seus fluxos de trabalho existentes de segurança, conformidade, compras, faturamento e governança, reduzindo o atrito desde a avaliação até a implantação real
  • OpenAI models on Amazon Bedrock permite criar aplicações de IA usando controles nativos de segurança e governança da AWS
  • Codex on Amazon Bedrock leva para o ambiente AWS o agente de engenharia de software da OpenAI, usado por mais de 5 milhões de pessoas por semana, para apoiar escrita de código, revisão, depuração e modernização
  • No futuro, a oferta será expandida com o Daybreak para clientes da AWS, incorporando revisão segura de código, modelagem de ameaças, verificação de patches, análise de risco de dependências, detecção e orientação de melhorias ao loop diário de desenvolvimento

Colocando a OpenAI em produção na AWS

  • Os modelos de fronteira da OpenAI e o Codex estão em disponibilidade geral na AWS
  • Clientes da AWS podem usar os recursos da OpenAI pela plataforma AWS onde já operam seus negócios
  • Barreiras importantes para empresas, como segurança, conformidade, compras, faturamento e processos de governança, podem ser tratadas dentro dos fluxos de trabalho existentes
  • As organizações podem reduzir barreiras operacionais e passar mais rapidamente da etapa de avaliação para a implantação real

Forma de oferta e plano de expansão

  • OpenAI models on Amazon Bedrock permite criar aplicações de IA usando controles nativos de segurança e governança da AWS
  • Codex on Amazon Bedrock é oferecido como um agente de engenharia de software que ajuda equipes com escrita de código, revisão, depuração e modernização no ambiente AWS onde já constroem e implantam
  • As duas ofertas podem ser usadas nas regiões AWS Commercial e GovCloud
  • A OpenAI e a AWS planejam continuar expandindo os recursos da OpenAI oferecidos via AWS para que as equipes avancem da avaliação para a produção com menos atrito e mais confiança
  • O Daybreak, que será oferecido futuramente, inclui modelos cibernéticos e o Codex Security, e foi projetado para ajudar defensores cibernéticos a identificar riscos mais cedo, responder mais rapidamente e tornar o software mais resiliente

Leituras relacionadas

1 comentários

 
GN⁺ 10 시간 전
Comentários do Hacker News

  • Sempre que vejo alguém perguntando por que você confia em AWS, Azure, GCP etc. e por que paga esse prêmio, penso que essa pessoa nunca trabalhou em um ambiente enterprise
    A grande empresa onde trabalho tem contratos de clientes com governança de dados rigorosa, além de exigências internas de governança. Usar um fornecedor que não só foi aprovado por segurança da informação, mas também está explicitamente definido nos contratos dos clientes como processador de dados, é a forma de evitar demissão e processo
    Em casa, brincando com meu próprio código e meus próprios dados, posso fazer o que quiser, mas com dados da empresa e dos clientes, isso jamais. É pelo mesmo motivo que não usamos qualquer modelo frontier da moda. Projetos paralelos e startups têm restrições e considerações totalmente diferentes

    • Fico curioso se você já conferiu o contrato real da AWS e a responsabilidade limitada declarada nos documentos vinculados no contrato e nos materiais de marketing
      Ler as letras miúdas é bem interessante. A responsabilidade por perda de dados em geral fica com o cliente, pedidos de SLA exigem evidências específicas, e a reparação aceita costuma ser crédito de uso futuro exatamente do produto em que você perdeu os dados
      Mesmo assim, os termos da AWS são até bem razoáveis em comparação com lugares como o GCP. O SLA do GCP parece servir principalmente para que o time de compras enterprise diga: “tem SLA, então fizemos a diligência e não vou ser demitido por escolher isso”. Por outro lado, o GCP pode dizer: “você aceitou a reparação proposta quando assinou o contrato, então se processar a gente, vamos mostrar essa cláusula. Obrigado por confiar”. [0]
      [0] https://docs.cloud.google.com/storage/docs/storage-classes
      Armazenamento padrão multi-região ou dual-region tem SLA de disponibilidade de 99,95%; o padrão regional, 99,9%; e Nearline, Coldline e Archive regionais podem cair para 99,0%. Os créditos são de 10%, 25% ou 50% do valor mensal cobrado pela camada de serviço afetada, com teto mensal agregado de 50%, e se aplicam a uso futuro. O Google também diz que, se o cliente não pedir o crédito em até 30 dias, considera-se que ele abriu mão
    • Além disso, há uma enorme diferença entre “aquele time gastou US$ 1.000 em IA no relatório de despesas, o que eles conseguiram com isso?” e “a conta total da empresa na AWS subiu alguns por cento, vamos olhar isso quando der”. A segunda situação torna o projeto muito mais realista
    • A postura de segurança da AWS é diferente. Startups de IA, ferramentas de criação de webapp para startups e empresas de plugin para VSCode têm grande chance de serem invadidas e vazarem dados
      A AWS também pode ser hackeada, mas eles se preocuparam em reduzir um pouco essa probabilidade e em facilitar rastrear quais clientes foram afetados. Por exemplo, se você mergulhar nos logs da AWS, só de deixar tudo ligado já fica registrado um volume enorme de informação, o suficiente para refazer quem fez o quê em permissões ou ambientes. Imagino que o acesso de funcionários da AWS também fique bem registrado. No passado, para vincular um funcionário da AWS à minha conta, eu precisava passar por vários procedimentos
    • Em resumo, é a velha história de que ninguém foi demitido por comprar IBM
    • Acabei de sair de um ambiente livre, em que eu podia usar qualquer harness ou modelo de IA, para um ambiente enterprise rígido
      Fiquei chocado ao descobrir o quão difícil é usar uma única licença do GitHub Copilot no Azure. Mesmo sendo ambos produtos da Microsoft, a TI teve de descobrir como configurar o GitHub Enterprise, conectá-lo à assinatura do Azure e fazer todo tipo de trabalho

  • Se você já usou modelos de codificação com IA em um ambiente de grande empresa, sabe que muitas implantações enterprise na prática exigem o uso do AWS Bedrock. O motivo é simples

    1. Grandes empresas muitas vezes já têm relacionamento com a AWS, então o processo é muito mais fácil do que criar uma relação com um novo fornecedor
    2. Grandes empresas costumam ter exigências internas fortes para que os dados internos permaneçam sob controle da empresa. Com o AWS Bedrock, dá para ter muito mais confiança de que o que você envia ao modelo não vai parar em algum dataset de treinamento por aí. Onde eu trabalho, por causa dessa exigência, é obrigatório passar pelo AWS Bedrock em vez de usar diretamente a API da OpenAI
    • Indo um passo além, muitas vezes é impossível adicionar um novo fornecedor porque vários contratos com clientes prometem, de diferentes formas, que os dados do cliente não serão enviados a outro fornecedor
    • Em muitos LLMs, o Bedrock permite controlar em que país os dados permanecem. Por exemplo, na API do Claude não há esse controle
      Nós não trabalhamos nos EUA e temos exigências fortes de que os dados fiquem dentro do nosso país, e o Bedrock oferece esse controle
    • Discussão interessante
      Se essa for a direção, fico curioso sobre como a IA continuará crescendo no futuro. Supondo que a maior parte dos dados valiosos esteja por trás desses firewalls, os dados públicos já devem ter sido colhidos, e talvez tenha havido treinamento em dados obtidos ilegalmente. Essa parte é uma área cinzenta
      No fim, isso vira um ecossistema fechado sem entrada externa?
    • Gostaria de saber como alguém pode ter certeza de que os dados do Bedrock não são transferidos para provedores externos

  • Se você está se perguntando por que alguém pagaria mais caro por essas APIs via AWS em vez de usar direto, é porque em algumas empresas conseguir aprovação de novo fornecedor é quase impossível. Se a empresa já tem contrato com a AWS, então precisa usar o que a AWS oferece

    • Espera, a AWS está revendendo acesso aos servidores de alguma empresa de IA, ou está executando os modelos em hardware próprio?
    • Mesmo que a aprovação seja possível, isso amplia o escopo da auditoria anual de segurança, acrescenta mais um fornecedor a divulgar nas avaliações de segurança, espalha os dados para mais um processador e ainda adiciona mais uma fatura e mais uma discussão de orçamento
      Dependendo do contrato com o cliente, talvez você também precise notificar o cliente sobre o novo fornecedor, o que pode disparar uma nova revisão de segurança. Agora, se for só adicionar mais um modelo no Bedrock? Muito mais fácil
    • CEOs, conselhos e gerentes médios do mundo todo agora estão obcecados pelo hype de IA. Parece mesmo que pedir um contrato direto com um laboratório frontier seria tão barrado assim?

  • É uma grande notícia para a OpenAI. Existe um número maior do que se imagina de empresas que adotaram Claude só porque podia ser usado na AWS, e agora há concorrência séria

  • É um bom movimento para a OpenAI e algo com que a Anthropic deveria se preocupar. Por causa da dependência de AWS e das exigências de segurança, por um bom tempo o Bedrock foi a única forma de eu usar modelos base

    • O Claude já é oferecido tanto via repasse da AWS para os servidores da Anthropic quanto pelo próprio Bedrock. https://aws.amazon.com/claude-platform/
      Eles talvez não gostem de perder a vantagem de pioneirismo, mas imagino que esperassem isso há muito tempo

  • Boa notícia para a concorrência
    O Claude Code continua deixando de fora novos recursos para quem usa via Amazon Bedrock. Por exemplo, modo automático, plano Ultra e Claude for Chrome. Com mais concorrência, talvez eles repensem a estratégia

    • O curioso é que os modelos Claude no Amazon Bedrock suportam todos esses recursos
      Há algum tempo venho mantendo um emulador de api.anthropic.com que encaminha as requisições “por baixo dos panos” para o Amazon Bedrock. Funciona bem, e agora até dá para usar imediatamente recursos exclusivos do provedor primário
    • Agora o modo automático também funciona no Bedrock

  • A Anthropic provavelmente deveria fazer o IPO logo. O enorme salto de receita foi, na prática, resultado do fracasso do lançamento do Gemini e do fato de a OpenAI estar presa ao Azure e de mãos atadas
    Os modelos da Anthropic eram literalmente a única API serverless realmente prática disponível na AWS, isto é, os modelos do Bedrock. A família Qwen 3.5/3.6 nem chegou a ser lançada recentemente. Com a tendência de foco em eficiência de tokens e retorno sobre investimento, quero muito ver como a Anthropic vai fechar o terceiro trimestre

  • Os laboratórios frontier oferecem aos hyperscalers builds congeladas de modelos apenas para serving, sem coleta de dados. Para a maioria das empresas que quer usar LLMs frontier enquanto armazena dados sensíveis, isso é uma pré-condição

  • Isso é ruim para o Azure. Era o escolhido, mas não conseguiu acompanhar a demanda
    Quando a OpenAI saiu do acordo de exclusividade dizendo que o Azure não era confiável, já dava para saber que o próximo destino seria a AWS