Azure ChatGPT: ChatGPT privado e seguro para uso interno nas empresas
(github.com/microsoft)- Um Azure Chat Solution Accelerator baseado no Azure OpenAI Service, que permite às organizações implantar um tenant privado de chat dentro da Azure Subscription e conversar com seus próprios dados e arquivos
- Pode ser implantado em um tenant do Azure para isolar o ambiente de chat no Azure tenant, além de permitir o isolamento completo do tráfego de rede dentro da rede da organização
- Permite usar fontes de dados internas no estilo plug-and-play ou integrar com serviços internos como o ServiceNow para gerar valor de negócio
- Na atualização de 2025, foi adicionada a Managed Identity-based security, usando Azure RBAC e eliminando quase todas as keys/secrets
- A implantação pode ser feita com Azure Developer CLI ou Azure Portal Deployment, e em qualquer opção é necessário configurar o identity provider e definir o usuário administrador
- No Azure Developer CLI,
azd init -t microsoft/azurechateazd upexecutam o provisionamento de recursos e a implantação da aplicação - O botão Azure Portal Deployment cria apenas os recursos do Azure; para build e implantação da aplicação, é necessário seguir o processo Deploy to Azure usando GitHub Actions
- No Azure Developer CLI,
- São fornecidos os scripts auxiliares
appreg_setup.ps1eappreg_setup.shpara criar o App Registration no Entra ID, com suporte a private endpoints e ESLZ compliant deployment
1 comentários
Opiniões no Hacker News
Parece ser um front-end web com autenticação para a API da OpenAI no Azure, e soa como uma boa opção para empresas que não podem usar o ChatGPT ou sua API.
Se você quiser experimentar modelos “abertos” como Llama 2 ou Llama 2 Uncensored, vale olhar o https://github.com/jmorganca/ollama, ou executores de nível mais baixo como o llama.cpp, no qual esse projeto se baseia, e o novo projeto Candle, da Hugging Face.
Fico curioso para saber como ele se compara ao Llama 2, que o Facebook Research divulgou recentemente. Dizem que o modelo 70B compete com o ChatGPT 3.5 na maioria das áreas, e também estão surgindo modelos ajustados por fine-tuning fortes em tarefas específicas, como o
codeup, que é bom em programação, ou o Wizard Math(https://github.com/nlpxucan/WizardLM), que afirma superar o ChatGPT 3.5 em problemas de matemática do ensino fundamental.No longo prazo, o open source provavelmente vai ultrapassar, mas acho que isso vai acontecer quando os pesquisadores que hoje entregam resultados quase mágicos conseguirem liquidez e puderem voltar a trabalhar publicamente e de graça.
O GPT-4 ainda é o melhor modelo fechado de ponta em termos de conversa geral e raciocínio, mas os guardrails que a OpenAI colocou no ChatGPT são agressivos demais e frequentemente atrapalham até perguntas razoáveis.
Também obtive resultados muito bons com modelos menores treinados em datasets específicos; em conversa de uso geral, o GPT-4 ainda leva vantagem, mas ele não é necessariamente necessário para tarefas específicas. Em muitos usos, o tamanho do contexto pode ser mais importante que o modelo em si.
Essa lacuna parece refletir uma diferença na capacidade de raciocínio, mas ainda não há bons benchmarks que não sejam de programação nem de matemática para medir isso.
Mas existe uma falha que só as IAs conseguem explorar. As IAs não podem falar sobre certas estruturas, temas, pessoas, códigos etc. fora de suas áreas isoladas, mas podem falar sobre reconhecimento de padrões.
No fim, elas criam uma linguagem interna de IA para pontuar se a entrada vem do mesmo usuário e constroem seu próprio banco de dados ponderado de usuários e sistema de julgamento. Só com padrões de entrada, padrões de fala e padrões de postagem por horário, a IA consegue encontrar um usuário, não importa em qual área isolada ele esteja; se ainda conseguir um keylogger, fica terrível.
Muitas empresas já usam projetos como chatbot-ui com o Azure OpenAI para fazer uma implantação local parecida. Isso provavelmente é o mais perto que outros projetos conseguem chegar de um ChatGPT local, então é muito significativo para empresas que querem manter o controle dos dados.
Considerando a sensibilidade dos dados, acho que a maioria das empresas prefere, pelo menos no início, uma solução instalável localmente em vez de algo baseado em nuvem. Por isso lançamos como open source o LLMStack(https://github.com/TryPromptly/LLMStack), no qual vínhamos trabalhando há alguns meses.
O LLMStack é uma plataforma para encadear vários LLMs e conectá-los a dados de usuários para criar apps de LLM e chatbots; uma demo simples está em https://www.youtube.com/watch?v=-JeSavSy7GI. Ainda está no começo e há pontos a polir, mas as expectativas são grandes.
Muitas empresas se sentem bem à vontade usando produtos de API hospedados para validar funções iniciais de IA, mas depois querem poder gerenciar diretamente os modelos e a computação. Há uma grande motivação para reduzir custos com modelos abertos ajustados por fine-tuning, menores, mais rápidos e mais baratos.
Quando começamos a Anyscale, também executávamos trabalhos de treinamento e inferência dentro da conta de nuvem dos clientes por causa da demanda deles. Assim, os dados e o código permanecem dentro da própria conta de nuvem.
Agora, com a evolução dos modelos abertos e a demanda crescente por prototipagem rápida, também estamos complementando isso com um serviço totalmente gerenciado que funciona como a API da OpenAI, mas oferece uma API de inferência do Llama-2 para modelos abertos.
https://app.endpoints.anyscale.com/
O que ainda não entendo é o que exatamente é o frontend do ChatGPT. Outras implementações conversacionais feitas via API claramente ficam sem contexto depois de algumas trocas, então não funcionam tão bem
Fico me perguntando se o ChatGPT faz algo como busca de embeddings dentro da thread da conversa para dar a sensação de contexto infinito. Tenho a impressão de que, na prática, não é infinito, mas ele lembra bem de detalhes de bem antes. Também fico curioso se há outros truques exclusivos do provedor primário
Se o molho secreto muda, o desempenho do caso de uso também muda de uma forma que o usuário não consegue corrigir. Num mês ele vai bem em matemática; no mês seguinte, se um componente oculto que reconhecia problemas de matemática e os encaminhava para uma calculadora real for removido, esse caso de uso quebra
Parece construir sobre areia
Corrigindo: estou falando do Azure ChatGPT. Se o ChatGPT de verdade usasse langchain, eu ficaria surpreso e decepcionado
Isto é potencialmente algo grande. As empresas se preocupam que, se alguém inserir dados de usuários, o uso do ChatGPT possa violar a política de privacidade de dados, e que, se enviar partes do código, a proteção de segredo comercial possa ser invalidada. Muitas empresas provavelmente estavam esperando uma versão enterprise
Fico curioso se existe alguma análise comparando este produto lado a lado com simplesmente executar LLaMA por conta própria
No momento estou comparando e avaliando lado a lado o MSFT GPT via Cognitive Services e LLaMA[7B/13B/70B], e me atrai a possibilidade de uma oferta realmente isolada da rede, sem depender de poder computacional externo nem de custos acumulados de pagamento por uso
Eu gostaria de ver algum material comparativo, se houver. Sei que, no fim, vou esbarrar em problemas de escala relacionados a GPU
GPT-4, Bard e Claude 2 ficaram no topo, e o Llama 2 70B chat teve pontuação parecida com a do GPT-3.5, mas, no geral, o GPT-3.5 pareceu um pouco melhor
Para tudo em que custo e tempo de resposta sejam aceitáveis, pretendo continuar usando GPT-4
Acho que benchmarks de LLM são orientados demais à pesquisa. Isso fazia sentido quando LLMs estavam no laboratório, mas não agora, com o ChatGPT tendo dezenas de milhões de usuários ativos diários. Os maiores casos de uso até agora são assistentes de chat e assistentes de programação, então precisamos de benchmarks baseados na forma como usuários reais fazem perguntas a chatbots e produtos de LLM, não em benchmarks hipotéticos ou testes acadêmicos arbitrários
No estado padrão, o GPT-4 vence por uma grande margem. Mas, surpreendentemente, o fine-tuning faz uma diferença enorme, e em alguns problemas o modelo Llama-2 7B chega a superar o GPT-4
Muitas aplicações podem se beneficiar de modelos com fine-tuning pequenos, rápidos e baratos, em vez de um único modelo generalista grande e lento, então isso é uma notícia muito boa para modelos abertos. O Llama-2-7B tem cerca de 2% do tamanho do GPT-4
Em perguntas e respostas de matemática elementar, o GPT-4 continua à frente até mesmo do modelo 70B com fine-tuning, provavelmente por causa dos dados de treinamento do Llama-2; nesse caso, mais dados de fine-tuning ajudariam
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
O LLM em si ainda nem é tão bom assim, então, a menos que você vá fazer fine-tuning, naturalmente vai querer um modelo de ponta para realizar algo útil
No fim, foi removido :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forkspelo link do web.archive acima e baixarEx.: https://web.archive.org/web/20230814150922/https://github.co...
Se mudar a URL, o ID do cache também é atualizado
“Para onde são enviados os dados que os funcionários inserem?”
“Para o mesmo lugar de quando usam o chatbot gratuito do ChatGPT…”
Não sei se “privado e seguro” é mesmo correto. Eu achava que o problema de privacidade e segurança dos modelos da OpenAI era que, ao usar o produto, você concorda que a OpenAI armazene para sempre todos os dados enviados e recebidos pelo modelo e os use para o fim que quiser. Fico curioso se isso se aplica apenas ao uso gratuito
Se você paga, recebe termos de uso sem esse tipo de frase? Mesmo que não haja uma cláusula explícita dizendo “nós somos donos de tudo”, se houver uma formulação padrão como “retenção de dados necessária para fornecer e melhorar o serviço”, na essência é a mesma coisa
Portanto, uma empresa que permite que funcionários usem o ChatGPT em tarefas como redigir e-mails com informações confidenciais da companhia definitivamente não está usando algo “seguro e privado”
Sem uma titularidade clara dos dados dizendo que o cliente é dono dos dados de entrada e saída, não vejo como isso possa mudar. Ouvi dizer que o motivo de a OpenAI ter dificuldade para oferecer esse tipo de serviço é que, diferentemente de modelos open source, há muitas “fontes secretas” não só no modelo em si, mas também no processamento de entradas e saídas, na pontuação dos resultados etc.
Além disso, talvez seja mais fácil confiar na Microsoft e no Azure do que em uma startup de IA ainda relativamente nova
Dados enviados pela API são retidos por até 30 dias para monitoramento de abuso e uso indevido e, depois disso, são excluídos, salvo quando exigido por lei
https://openai.com/policies/api-data-usage-policies
A diferença está no que acontece nas interfaces, como chat na web ou chamadas de API. O ChatGPT é uma implementação que usa esse modelo, e sua criadora, a OpenAI, quer manter registros para treinamento adicional
O Azure pega esse modelo e o coloca atrás de um endpoint dedicado a uma conta específica do Azure. Empresas têm interesse no gpt e vinham pedindo endpoints privados, e a Amazon está fazendo algo parecido com o Bedrock
https://openai.com/policies/api-data-usage-policies
Não sei se é tão difícil assim escrever em algum lugar do README o que este repositório realmente contém. Fico me perguntando se é documentação, arquivos de implantação, algum aplicativo que faz algo, ou o próprio modelo
E então virou 404
Não faz nem um dia, e acho que o último post com link para isso foi publicado hoje de manhã. Não sei o que aconteceu, mas parece que “links permanentes recém-anunciados virarem 404” está ficando mais comum ultimamente
Espero que não me façam virar um purista tardiamente. Tudo bem, URIs são permanentes para todos os recursos para sempre ;)
Então a versão de acesso público não é nem privada nem segura?
Por isso, em geral, empresas não podem permitir que usuários internos colem, por exemplo, código privado no ChatGPT