1 pontos por GN⁺ 2023-08-29 | 1 comentários | Compartilhar no WhatsApp
  • Com o aumento da demanda das empresas para implantar o ChatGPT com segurança dentro de suas organizações, a OpenAI lançou o ChatGPT Enterprise
  • Dados corporativos e conversas não são usados para treinar o modelo, e o produto oferece conformidade com SOC 2, criptografia em repouso e em trânsito, console de administração e SSO
  • Remove o limite de uso do GPT‑4 e inclui desempenho até 2x mais rápido, contexto de 32k e análise avançada de dados ilimitada
  • Em apenas 9 meses após o lançamento do ChatGPT, foram identificadas contas registradas com domínio de e-mail corporativo em mais de 80% das empresas da Fortune 500
  • No futuro, serão adicionados personalização com conexão a dados da empresa, self-serve ChatGPT Business para equipes menores, reforço em análise e browsing para o trabalho e ferramentas por função

ChatGPT Enterprise voltado para implantação corporativa

  • A OpenAI lançou o ChatGPT Enterprise
  • O produto reúne segurança e privacidade para uso corporativo, uma experiência mais poderosa com o ChatGPT, janela de contexto para processar entradas longas, análise avançada de dados e recursos de personalização para organizações
  • O objetivo é ajustar um assistente de IA para o trabalho à realidade de cada organização, protegendo ao mesmo tempo os dados da empresa

Demanda confirmada na Fortune 500

  • Nos 9 meses após o lançamento do ChatGPT, foram identificadas contas registradas do ChatGPT em mais de 80% das empresas da Fortune 500
    • Esse número considera contas vinculadas a domínios de e-mail corporativos
  • Líderes empresariais vinham pedindo uma forma mais simples e segura de implantar o ChatGPT dentro das organizações
  • Entre as empresas usuárias iniciais estão Block, Canva, Carlyle, The Estée Lauder Companies, PwC, Zapier
  • Os principais casos de uso incluem redigir comunicações mais claras, acelerar tarefas de programação, explorar perguntas complexas de negócios e dar suporte a trabalhos criativos
  • A Klarna pretende fortalecer a capacidade de seus funcionários e a experiência do cliente com a integração do ChatGPT Enterprise para atender 150 milhões de usuários ativos no mundo todo

Segurança, privacidade e recursos de administração

  • As empresas possuem e controlam os dados de negócio no ChatGPT Enterprise
  • A OpenAI não usa os dados de negócio nem as conversas dos clientes para treinar seus modelos, e os modelos também não aprendem com o uso
  • A configuração de segurança inclui:
    • Criptografia de dados em repouso: AES 256
    • Criptografia em trânsito: TLS 1.2+
    • Conformidade com SOC 2
  • O novo console de administração oferece suporte a implantações corporativas em larga escala
    • Gerenciamento em massa de membros
    • SSO
    • Verificação de domínio
    • Dashboard analítico para insights de uso
  • Mais informações sobre como os dados são processados podem ser consultadas na privacy page e no Trust Portal

GPT‑4, análise de dados e recursos de fluxo de trabalho

  • O ChatGPT Enterprise remove o limite de uso do GPT‑4
  • O desempenho do GPT‑4 é oferecido com velocidade de até 2x maior
  • Com contexto de 32k, ele pode lidar com entradas mais longas, arquivos e perguntas de acompanhamento
    • A OpenAI descreve isso como capacidade para processar entradas ou arquivos 4x maiores
  • O recurso de análise avançada de dados pode ser usado sem limite
    • Esse recurso era conhecido anteriormente como Code Interpreter
    • Há casos de uso como processamento de dados de mercado por pesquisadores financeiros, análise de resultados de pesquisas por profissionais de marketing e depuração de scripts ETL por cientistas de dados
  • É possível usar modelos de chat compartilháveis para fluxos de trabalho personalizados da organização
  • Caso seja necessário expandir a OpenAI para uma solução totalmente personalizada para a organização, o preço inclui créditos gratuitos para uso da API
  • A Asana afirmou que, com o ChatGPT Enterprise, o tempo de pesquisa da equipe caiu em média 1 hora por dia
  • A Canva citou vários casos de uso, como resolução de bugs por engenheiros, clustering de dados em formato livre por analistas de dados e criação de fórmulas de planilha por analistas financeiros

Recursos disponíveis e expansões planejadas

  • O ChatGPT Enterprise está disponível para clientes corporativos desde o dia do lançamento
  • Os principais recursos oferecidos a todos os clientes enterprise são os seguintes
    • Prompts dos clientes e dados da empresa não são usados no treinamento dos modelos da OpenAI
    • Criptografia de dados em repouso e em trânsito
    • Conformidade com SOC 2
    • Console de administração, gerenciamento em massa de membros, SSO, verificação de domínio e dashboard analítico
    • Acesso ilimitado ao GPT‑4
    • Desempenho do GPT‑4 até 2x mais rápido
    • Análise avançada de dados ilimitada
    • Janela de contexto de 32k tokens
    • Modelos de chat compartilháveis para colaboração interna e criação de fluxos de trabalho comuns na empresa
    • Créditos gratuitos da OpenAI API para expandir para soluções totalmente personalizadas
  • Os recursos em preparação são os seguintes
    • Customization: conectar aplicativos já utilizados para expandir com segurança o conhecimento do ChatGPT com dados da empresa
    • Availability for all team sizes: self-serve ChatGPT Business para equipes menores
    • Power tools: Advanced Data Analysis e browsing mais poderosos e otimizados para o trabalho
    • Solutions for your function: ferramentas para funções específicas, como analistas de dados, profissionais de marketing e suporte ao cliente
  • A OpenAI pretende fazer o onboarding do maior número possível de empresas nas próximas semanas
  • Empresas que quiserem começar podem obter mais detalhes e falar com a equipe comercial no site do ChatGPT Enterprise

1 comentários

 
GN⁺ 2023-08-29
Opiniões no Hacker News
  • Ao deixar explícito que não treinará com dados corporativos e destacar a conformidade com SOC 2, fica mais fácil para muitas empresas se sentirem seguras para incorporar o ChatGPT aos processos de trabalho
    Ao conversar com empresas tentando vender uma plataforma de apps de LLM, ficou claro rapidamente o quanto elas são sensíveis ao compartilhamento de dados. Em organizações que não bloquearam o acesso ao ChatGPT, os funcionários já estavam colando muitos dados sensíveis; também vi algumas empresas implantarem o chatbot-ui com a oferta de OpenAI da Azure, porque a Azure afirma não usar dados dos usuários (https://learn.microsoft.com/en-us/legal/cognitive-services/o...)
    Para lidar com essas preocupações de privacidade dessas empresas, também adicionamos suporte ao Azure OpenAI à nossa plataforma e abrimos o código do engine para oferecer suporte a implantações on-premises (LLMStack - https://github.com/trypromptly/LLMStack)

    • Minha empresa está na Fortune 500 e tem 80 mil funcionários em tempo integral, e há uma política que proíbe o uso de ferramentas de IA ou LLM
      A grande preocupação descrita na política é a possibilidade de usar, sem querer, propriedade intelectual de terceiros presente nos dados de treinamento. A entrada dos nossos dados na ferramenta também preocupa, mas o fato de a ferramenta já ter algo dentro dos dados que nós poderíamos acabar usando sem autorização também é um problema. Como provar que isso nunca acontece? O único método que me vem à mente é fornecer uma lista abrangente de todos os itens com os quais a ferramenta foi treinada
    • Tenho curiosidade sobre como vocês planejam comercializar o produto. Há muitos provedores de apps em nuvem no formato chatbot construídos sobre a API do ChatGPT ou a API da Azure, e já vi casos em que pedem ao usuário para inserir uma chave de API
      Empresas ainda serão muito cautelosas ao colocar dados nesse tipo de plataforma multi-tenant. Mesmo com criptografia, a sensação é de que não basta. Para uso corporativo, parece necessário um stack de LLM privado virtual totalmente isolado
    • Muitas empresas lidam com dados de outras empresas, e essas empresas não permitem o compartilhamento de dados; por isso, há grandes exceções à ideia de que as empresas passarão a adotar o ChatGPT com tranquilidade
    • Na empresa onde trabalho, o ChatGPT, e até o Bing, estão bloqueados no firewall. Tomara que agora passem a poder ser usados
    • Mantive a certificação SOC 2 por vários anos e, em geral, considero que ela é mais para constar e pouco eficaz como indicador de postura de segurança
      O framework SOC 2 é complexo e caro de cumprir, o que pode levar organizações a se concentrarem em marcar checkboxes em vez de implementar controles de segurança significativos. Como métrica universal para entender a cultura de segurança de uma organização, SOC 2 não é bom, e é assustador que isso seja o melhor que temos hoje
  • Não treinar o modelo com dados corporativos é uma condição básica em produtos de machine learning para empresas. O Google, por exemplo, também faz isso
    Para ser considerado em setores mais regulados, o nível de conformidade também terá que subir. Parece que ainda não chega à conformidade com HIPAA, e o próximo passo provavelmente será estabelecer fronteiras geográficas em trânsito, de modo que o hardware usado pela instituição precise estar dentro de uma jurisdição específica. Parece tedioso, mas é uma maneira fácil de aumentar o mercado endereçável
    Dito isso, no momento é muito provável que simplesmente haja falta de oferta. Só atender à primeira onda já deve lotar a capacidade. Também fico curioso se vão lançar um serviço de processamento em lote que rode enquanto os funcionários das empresas dormem

    • A OpenAI oferece BAA para alguns clientes
    • Eu já entendia que os dados de entrada da API não eram usados para treinamento. Pelo que entendi, quem usava dados para treinamento era apenas o produto ChatGPT voltado ao consumidor, e a contribuição das entradas da API era por adesão opcional
      https://help.openai.com/en/articles/5722486-how-your-data-is...
      Ainda assim, se uma empresa usa internamente o produto de consumo, parece razoável pagar para optar por não ter as entradas usadas no treinamento
  • Na prática, considero que o modelo do ChatGPT violou todas as licenças open source. Até a licença MIT exige atribuição; antes de refutar, eu gostaria de ver ao menos um único aviso de licença de algum projeto open source
    Com o apoio da Microsoft, não sei o que acontece se eles quebrarem a promessa e treinarem seletivamente com dados de concorrentes ou de pequenas empresas em potencial
    O que, na prática, poderia impedi-los? A maioria das empresas não tem poder de fogo para enfrentar a OpenAI apoiada pela Microsoft. Como garantir que isso não será violado e, realisticamente, como responsabilizá-los? Para mim, isso está no nível de “confie em nós”; há algum motivo para ver de outro jeito?

    • Se a afirmação é que o modelo ChatGPT violou todas as licenças open source porque usou material protegido por copyright como dados de treinamento, acho que o ponto de partida está errado
      Corrijam-me se eu estiver enganado. Da última vez que vi, a questão do uso de dados protegidos por copyright é juridicamente muito ambígua e se move em uma zona cinzenta. Além disso, acho que muitas licenças open source nem proíbem explicitamente o uso do próprio código como dados de treinamento. O problema não é só que outras empresas não tenham recursos para brigar com a Microsoft/OpenAI; é também que, mesmo que tivessem recursos, não está claro se um tribunal concluiria que a Microsoft/OpenAI agiu errado
      Não quero dizer que estou do lado da Microsoft/OpenAI nessa discussão, mas acho que não é uma questão tão clara quanto você está colocando
    • Microsoft, Amazon e Google já têm dados de concorrentes em suas nuvens. Eles também poderiam falsificar a criptografia para obter acesso aos discos dos clientes
      Além disso, a maioria dos funcionários usa as nuvens do Google Workspace ou do Office 365 para armazenar e compartilhar arquivos confidenciais. O que há de diferente na OpenAI que a torna mais preocupante?
    • Pelo que entendo, o trem já partiu. Será difícil detê-lo apenas com uma legislação cinzenta frágil
  • Achei que os itens oferecidos a clientes corporativos — ou seja, não usar prompts de clientes nem dados da empresa para treinar os modelos da OpenAI, acesso ilimitado à análise avançada de dados (antigo Code Interpreter) e uma janela de contexto de 32k tokens para entradas, arquivos e perguntas de acompanhamento 4 vezes maiores — já fossem possíveis também para clientes não corporativos. Talvez eu esteja errado, ou talvez algo tenha mudado

    • Acho que o recurso de verdade é esta parte: “Não treinamos com seus dados de negócios nem conversas, e nossos modelos não aprendem com seu uso. O ChatGPT Enterprise também está em conformidade com SOC 2, e todas as conversas são criptografadas em trânsito e em repouso”
    • Parece que esta parte passou batida: o ChatGPT Enterprise está em conformidade com SOC 2, e todas as conversas são criptografadas em trânsito e em repouso. Um novo console de administração facilita o gerenciamento de membros da equipe, e verificação de domínio, SSO e insights de uso permitem implantações em larga escala no nível da empresa
      A adequação produto-mercado parece ser bem sólida. O produto (ChatGPT) já estava pronto, mas não era para empresas; agora passou a ser. Deve gerar muitos leads de vendas
    • Pelo que sei, as conclusões de chat da API já garantiam privacidade havia algum tempo. O ChatGPT, o aplicativo de chat que a OpenAI opera em cima dos modelos de chat, continuava sendo usado para treinamento, e acho que é por isso que ele é barato para consumidores
      Este anúncio permite que empresas autorizem seus funcionários a usar o ChatGPT ao mesmo tempo em que reduzem preocupações com privacidade de dados
    • E quanto a manter as entradas de prompts e as saídas de respostas por alguns dias para monitoramento de abuso? Eles não fazem isso na versão corporativa? No serviço Microsoft Azure OpenAI, é preciso obter uma isenção para que nada seja armazenado
    • É bom que prompts de clientes e dados da empresa não sejam usados para treinar os modelos da OpenAI. Mas eles podem revender esses dados para data brokers?
  • Interessante, mas é um pouco decepcionante que este lançamento não inclua ajuste fino sobre o corpus de documentos da empresa. Parece apenas um ChatGPT um pouco mais conveniente e mais favorável à privacidade. Estou deixando passar alguma coisa?

    • Está na seção “em breve” lá no fim: “Personalização para conectar os aplicativos que você já usa e ampliar com segurança o conhecimento do ChatGPT com os dados da sua empresa”
    • Para colocar conhecimento no modelo, eles não fazem ajuste fino com um corpus de documentos; usam busca
      O envio de documentos via Code Interpreter já é compatível, e eles estão adicionando conectores para aplicativos onde os documentos ficam. Não sei bem o que mais você esperaria
    • Vale a pena dar uma olhada em geração aumentada por recuperação. Umas 1–3 semanas atrás apareceu aqui um bom texto introdutório sobre isso
  • A mensagem deste vídeo definitivamente envelheceu mal: https://www.youtube.com/watch?v=smHw9kEwcgM
    Em resumo, isso pode ter matado muitas startups mesmo

    • Eu também pensei naquele vídeo da Y Combinator. A previsão errou, e está ficando claro que a OpenAI é, na prática, concorrente direta da maioria das startups que usam sua API. A maior parte das startups do tipo “converse com meus dados” deve morrer com este movimento
    • Se a startup inteira era apenas uma UI em cima da API do ChatGPT, provavelmente ela nunca foi tão valiosa para começo de conversa, e seu fechamento não seria uma perda significativa para o setor como um todo
    • Existe uma intuição de negócios comum de que uma grande empresa deixaria oportunidades de negócio para várias empresas satélite que adaptam recursos derivados da proposta de valor do produto a nichos específicos
      Mas a maioria é mais ou menos “API da OpenAI + prompt na frente + interface de usuário + marketing”. O problema, como já era levantado desde o lançamento da API do GPT-3 há 3 anos, é que é difícil qualquer startup entregar um valor muito maior do que o valor fornecido pela própria API. Por isso, é relativamente fácil para a OpenAI incorporar esse negócio diretamente, mais do que em casos passados em que modelos semelhantes de startup funcionaram ao redor de outras grandes empresas
    • Startups que usam ChatGPT internamente acabam fazendo pesquisa de mercado de graça para a OpenAI. A mesma coisa aconteceu quando as pessoas estavam experimentando completamento de código com GPT-3 e logo foram substituídas pelo Copilot
      Se você está criando uma startup de IA e precisa de um LLM, deve usar Llama ou outro modelo que possa controlar e hospedar diretamente. Qualquer outra escolha é praticamente suicídio
  • Está escrito “acesso ilimitado à análise avançada de dados (antigo Code Interpreter)”, mas Code Interpreter era um nome bem ruim. Para quem não estudou ciência da computação, ele não significava muita coisa
    Mas qual é o novo nome? “Análise avançada de dados” parece mais uma descrição de recurso em um bullet point do que um nome

    • Uma história que ouvi na internet — acho que foi no Twitter do Ethan Mollick — dizia que o Code Interpreter era melhor que o GPT-4 até em tarefas que não envolviam interpretação de código. Era algo mais próximo de um GPT-4.5
      Talvez fosse uma prévia experimental e agora só empresas possam usar. De todo modo, eu não tinha acesso
    • Na minha conta, agora aparece “Advanced Data Analysis” em vez de “Code Interpreter”. Parece ser o novo nome
    • Eu via o nome antigo, mas ao atualizar a página ele mudou para o novo. É um nome realmente horrível. Eles deveriam ter pedido sugestões ao ChatGPT
  • Será que tem relação com o fato de esse repositório ter sumido de repente?
    https://github.com/microsoft/azurechatgpt
    Discussão anterior:
    https://news.ycombinator.com/item?id=37112741

    • Parecia um excelente projeto. Seria bom se voltasse
      Há alguns bons projetos open source nessa área. Não são exatamente iguais, e muitos focam em LLMs locais, como o Llama2 ou o Code Llama, lançado na semana passada
      https://github.com/jmorganca/ollama (baixa e executa LLMs localmente; sou mantenedor)
      https://github.com/simonw/llm (acessa LLMs na nuvem e locais pela linha de comando)
      https://github.com/oobabooga/text-generation-webui (UI web com suporte a vários backends)
      https://github.com/ggerganov/llama.cpp (executor rápido de LLMs locais)
      https://github.com/go-skynet/LocalAI (oferece uma API compatível com a OpenAI)
    • Toda a atividade parou algumas semanas atrás. Antes de ser excluído ou tornado privado, estava muito ativo e tinha quase 5 mil eventos de estrelas e monitoramento
      Infelizmente, não cheguei a indexar o código. Os insights podem ser vistos em https://devboard.gitsense.com/microsoft/azurechatgpt
      Para ser transparente, essa é a minha ferramenta
    • Parece que foi movido
      https://github.com/matijagrcic/azurechatgpt
    • Não tem relação. Aquele projeto era apenas uma implementação de referência de “conversar com meus dados via /chat API”, e o nome era realmente enganoso
    • Olhando a discussão anterior, parece que foi removido porque o nome e a descrição eram enganosos demais. As pessoas deram estrela porque era um repositório chamado “azurechatgpt” publicado pela Microsoft, mas na prática era só uma UI de frontend de exemplo para um chatbot que podia conversar com a API da OpenAI
  • Eu achava que a Microsoft estava ocupada com o mercado corporativo, mas a OpenAI anunciou um produto empresarial. Dá a impressão de que as duas não estão se dando muito bem

    • É o mesmo produto vendido simultaneamente sob duas marcas?
      Estratégia de negócios ideal. Faz parecer que há mais concorrência e muda a decisão de “devo usar o ChatGPT?” para “qual fornecedor de GPT devo usar?”
    • A Microsoft é, basicamente, uma empresa de mercado intermediário. Claro que também vende para grandes empresas, mas o que torna a Microsoft realmente impressionante é sua capacidade de vender, em escala enorme, para todas as pequenas e médias empresas do mundo por meio de uma vasta rede de parceiros
      A OpenAI é uma empresa pequena em comparação com a Microsoft. Não tem condições de criar uma rede gigantesca de parceiros. No máximo, pode oferecer uma linha de produtos com suporte em nível de fórum para clientes menores e uma linha empresarial com bastante suporte para grandes clientes. Mas o mercado intermediário, como sempre, ficará com a Microsoft
    • É bem interessante ver as duas empresas copiando uma à outra. O Bing Chat tem GPT-4 with Vision, histórico de conversas e outros recursos, e a OpenAI está se expandindo para o B2B
    • Na empresa, estamos usando o Bing Enterprise há pouco tempo; ele é baseado no ChatGPT-4 e faz a mesma promessa de manter os dados privados. Na minha opinião, o Bing Chat é superior ao ChatGPT-4 em vários aspectos
    • Talvez tenham sido pressionados a compensar mais os custos operacionais. E empresas que já pagam por produtos da Microsoft provavelmente estariam dispostas a pagar também pela OpenAI para jogar pelo seguro
  • Não entendo bem onde termina o segmento de mercado da OpenAI e onde começa o da Azure

    • Fica mais fácil entender se você vê a OpenAI como um laboratório de pesquisa e desenvolvimento em IA operado pela Microsoft sem o ônus político e regulatório. Sob esse ponto de vista, na verdade é tudo a mesma coisa. Não consigo imaginar outro desfecho final para a OpenAI que não seja virar parte da Microsoft
    • Deve haver alguma sobreposição. Se você for cliente da Azure, usa Azure; se não, usa OpenAI, algo assim