Se você quer criar seu próprio chatbot open source no estilo ChatGPT
(hacks.mozilla.org)- Uma pequena equipe do grupo de inovação da Mozilla criou, em uma hackathon de uma semana, um protótipo de chatbot interno, testando uma configuração para rodar LLMs open source dentro da nuvem da Mozilla sem APIs de terceiros
- Ao excluir SaaS externos de IA, foi necessário configurar servidores diretamente dentro da conta GCP da Mozilla, e a equipe trocou o Hugging Face text-generation-inference pelo llama.cpp, que podia ser colocado em funcionamento mais rapidamente
- A escolha do modelo ficou condicionada antes de tudo a licenciamento e compatibilidade de runtime, mais do que à qualidade, e após avaliar manualmente candidatos da família LLaMA com uso comercial permitido, a equipe escolheu o LLaMA 2
- A integração com conhecimento interno foi implementada com embeddings e busca vetorial, combinando all-mpnet-base-v2, SentenceTransformers, LangChain e FAISS para usar parte do wiki da empresa nas respostas
- O protótipo foi concluído, mas criar um chatbot open source confiável ainda exige muitas decisões próprias sobre hospedagem, avaliação de modelos, viés, prompts e UI
O chatbot interno que a Mozilla queria criar
- A Mozilla defende princípios de trustworthy AI segundo os quais os sistemas de IA devem ser transparentes quanto aos dados e decisões que utilizam, respeitar a privacidade, a autonomia e a segurança dos usuários, e reduzir vieses enquanto aumentam a justiça
- Para muitos usuários, a principal porta de entrada para a IA mais recente são chatbots de IA generativa como ChatGPT e Bard, e os serviços dominantes costumam ser operados por grandes empresas de tecnologia e depender de tecnologia proprietária
- A Mozilla entende que o open source é uma forma de fortalecer os usuários, aumentar a transparência e evitar que a tecnologia evolua apenas de acordo com a visão de mundo e os incentivos financeiros de poucas empresas
- O objetivo direto da hackathon era criar um protótipo de chatbot interno que atendesse às seguintes condições
- Rodar inteiramente na infraestrutura de nuvem da Mozilla, sem depender de APIs ou serviços de terceiros
- Ser composto por LLMs e ferramentas open source gratuitos
- Refletir o Mozilla Manifesto e os princípios de trustworthy AI
- Integrar parte do conhecimento interno da Mozilla para responder a perguntas de funcionários
Hospedagem: servidor próprio no GCP em vez de SaaS externo
- Existem muitos serviços de hospedagem para apps de machine learning, mas MLOps é difícil, e um app de IA mal configurado pode ficar lento, caro ou ter baixa qualidade
- O objetivo explícito da equipe era garantir segurança e privacidade, sem que terceiros pudessem ouvir o conteúdo de uso, coletar dados dos usuários ou inspecionar a utilização
- Por isso, em vez de usar hospedagem AI SaaS de terceiros, a equipe configurou seus próprios servidores virtuais dentro da conta existente da Mozilla no Google Cloud Platform
- Essa escolha significou assumir o MLOps por conta própria, mas permitiu que o sistema permanecesse sob controle da Mozilla e de forma privada
Runtime: migração do Hugging Face para o llama.cpp
- Apps com LLM precisavam de um motor de runtime para executar os modelos, e a equipe, por limitação de tempo, concentrou-se no llama.cpp e no ecossistema do Hugging Face
- O Hugging Face oferece biblioteca de modelos, documentação, tutoriais e APIs hospedadas de inferência
- Em vez da API hospedada, a equipe tentou usar o text-generation-inference open source
- O text-generation-inference suporta vários modelos e arquiteturas e pode ser implantado com Docker, mas o processo de execução no servidor trouxe grandes problemas de configuração de ambiente
- Como é uma ferramenta com aceleração por GPU, era necessário que a combinação de SO, hardware e drivers do servidor estivesse correta
- Era necessário o CUDA toolkit da NVIDIA
- Uma parte significativa de um dia foi gasta com configuração e, mesmo depois de funcionar, a saída era mais lenta do que o esperado e os resultados não eram bons
- Por restrição de tempo, a equipe mudou de direção para o llama.cpp, iniciado por Georgi Gerganov
- O llama.cpp facilita a execução de certas famílias de LLM em hardware de consumo
- Ele pode usar CPU em vez de GPU avançada e roda relativamente bem modelos open source modernos menores, especialmente em CPUs Apple Silicon como M1 e M2
- O llama-cpp-python fornece uma implementação da especificação da API da OpenAI, facilitando substituir o ChatGPT por um LLM próprio
- No fim, em vez de lidar com versões de CUDA e GPUs de hospedagem caras, a equipe executou rapidamente o llama.cpp em um servidor virtual com CPU multicore AMD
Escolha do modelo: restrições de licença e arquitetura
- Ao escolher o llama.cpp, os modelos utilizáveis ficaram restritos a modelos baseados na arquitetura LLaMA
- O Facebook apresentou o LLaMA no fim de 2022, e ele pode ser dividido entre dados do modelo e arquitetura
- A arquitetura LLaMA foi publicada como open source, mas os weights do modelo não eram open source
- O uso dos weights exigia pedido de permissão e era restrito a fins não comerciais
- O LLaMA desencadeou muitas inovações em modelos, como Alpaca de Stanford e Vicuna da LMSYS
- Mas, como esses modelos foram desenvolvidos usando os weights do Facebook, herdaram as restrições legais dos weights originais
- Como não podiam ser usados para fins comerciais, foram excluídos da lista da equipe da Mozilla
- Como a própria arquitetura LLaMA é código open source, outros grupos puderam treinar modelos do zero e publicá-los sob licenças MIT, Apache 2.0 e Creative Commons
- Modelos baseados em outras arquiteturas, como MPT, Falcon e Open Assistant, ficaram fora porque na época não rodavam no llama.cpp
Avaliação de qualidade, viés e segurança dos modelos
- A escolha do modelo afeta diretamente não só licenciamento e compatibilidade, mas também a confiabilidade
- LLMs são treinados com grandes volumes de dados e depois ajustados com entradas adicionais para produzir certos comportamentos e saídas
- A própria seleção desses dados já é uma curadoria e inclui diversos vieses
- Dependendo das fontes de treinamento, os modelos mostram características diferentes
- Podem gerar respostas sem sentido, como alucinações
- Podem levar a conteúdo tóxico, desinformação ou compartilhamento de informações perigosas ou nocivas
- Podem mostrar vieses em relação a conceitos ou grupos de pessoas
- O fato de a maior parte do material de aprendizado online estar em inglês afeta as ferramentas que podem usar e a visão de mundo com a qual entram em contato
- Existem referências para avaliar desempenho e qualidade, como o Open LLM leaderboard do Hugging Face, mas ainda é difícil comparar modelos com base em origem e viés
- A equipe da Mozilla restringiu o escopo a modelos abertos com uso comercial permitido e que rodassem na arquitetura LLaMA, e então fez uma avaliação manual com várias perguntas para observar toxicidade, viés, desinformação e resistência a conteúdo perigoso
- A escolha final foi o LLaMA 2 do Facebook, mas isso não deve ser visto como recomendação, já que a metodologia de avaliação dentro do tempo limitado pode ter falhas e a equipe também não se sentia totalmente confortável com os termos de licença
Integração com conhecimento interno: embeddings e busca vetorial
- A equipe da Mozilla queria conectar o chatbot a parte de dados internos da Mozilla que funcionários podiam acessar, mas que um LLM comum não conheceria
- O método escolhido foi usar embeddings e busca vetorial para aproveitar documentos externos na geração de respostas
- O fluxo básico foi o seguinte
- Buscar os dados no repositório original e convertê-los com um modelo de embedding
- Indexar os embeddings em um banco de dados vetorial acessível ao chatbot
- Quando o usuário faz uma pergunta, o chatbot busca conteúdo relevante no banco de dados vetorial
- Inserir esse conteúdo relevante recuperado na janela de contexto do modelo base para gerar a resposta
- Para manter o controle dos dados, a equipe não usou serviço de embeddings nem banco de dados vetorial de terceiros
- A solução implementada diretamente em Python usou as seguintes ferramentas
- Modelo de embedding all-mpnet-base-v2
- Biblioteca de embeddings SentenceTransformers
- LangChain
- Banco de dados vetorial FAISS
- Como apenas alguns documentos do wiki interno da empresa foram incluídos, o escopo era limitado, mas funcionou como prova de conceito
Engenharia de prompt e janela de contexto
- Como LLMs começam cada vez sem lembrar a conversa anterior nem o usuário, o desenvolvedor precisa fazer o gerenciamento de memória se quiser que o chatbot mantenha o contexto da conversa
- O system prompt é a instrução inicial em texto simples que define as funções e o comportamento do chatbot
- A equipe da Mozilla projetou o system prompt para que o chatbot seguisse o Mozilla Manifesto, tivesse comportamento respeitoso e obedecesse a políticas antidiscriminação
- Em uma pergunta sobre a teoria de conspiração de que a chegada da Apollo à Lua foi encenada, quando havia instrução para recusar desinformação, o chatbot respondia que a ida à Lua não foi falsificada
- Ao remover do mesmo modelo a instrução contra desinformação, ele passou a fornecer uma lista comum de argumentos negacionistas sobre a Apollo
- O system prompt incluía o nome Mozilla Assistant, adesão aos princípios do Mozilla Manifesto, respeito, profissionalismo e inclusão, recusa a ações nocivas, imorais, antiéticas ou potencialmente ilegais, e proibição de desinformação e linguagem discriminatória
- Todo LLM tem uma janela de contexto, que é o comprimento máximo que ele consegue lembrar da conversa atual
- Na maioria dos casos, isso é definido no treinamento e não pode ser alterado depois
- Quanto maior a janela de contexto, por mais tempo ele pode consultar perguntas e respostas anteriores
- Também permite incluir trechos maiores de conteúdo recuperado pela busca vetorial
- A janela de contexto do LLaMA 2 era de 4096 tokens, aproximadamente 3000 palavras
- Para economizar janela de contexto, a equipe reduziu repetidamente o tamanho do system prompt e pretende avaliar no futuro modelos com suporte a janelas de contexto maiores
Orquestração e escolha de UI
- O chatbot completo precisava de orquestração para coordenar várias camadas, como injeção de prompts de agente, gerenciamento da janela de contexto, embeddings de conteúdo interno, chamadas ao LLM e tratamento das respostas
- O LangChain, uma das principais ferramentas da área de LLM, é poderoso e flexível, mas também traz complexidade
- A equipe da Mozilla usou o LangChain apenas no mínimo necessário para embeddings e busca vetorial
- Como o projeto era curto e muito restrito, a maior parte foi tratada com código Python escrito pela própria equipe
- Com mais tempo, provavelmente não fariam tudo manualmente
- A UI precisa de mais recursos do que parece, como exibir a conversa, acompanhar threads anteriores e lidar com processamento de backend que produz saída em velocidade irregular
- Entre as UIs open source para chatbot, o chatbot-ui implementa a API da OpenAI, podendo ser usado como substituto da UI do ChatGPT e também como frontend de um sistema próprio com LLM
- Em condições normais, a equipe da Mozilla teria usado algo como o chatbot-ui, mas como o código do chatbot experimental interno Companion e seu autor estavam disponíveis, ele foi usado como UI
- O Companion permitiu iterar e experimentar rapidamente na UI
Resultado da hackathon e desafios restantes
- Ao fim da hackathon, a equipe da Mozilla concluiu um chatbot protótipo para uso interno
- Totalmente hospedado dentro da Mozilla
- Seguro e utilizável de forma privada
- Projetado para refletir os valores da Mozilla em seu comportamento
- O processo de atingir esses objetivos exigiu várias escolhas difíceis e compromissos
- O aprendizado pode ser resumido em três pontos
- Chatbots open source ainda estão evoluindo, há muitas decisões a tomar, falta documentação clara e existem muitas formas de falhar
- É difícil demais avaliar e escolher modelos com base em critérios além de desempenho bruto, o que também dificulta fazer a escolha certa para apps de IA confiáveis
- No momento, uma engenharia de prompt eficaz é importante para o sucesso de um chatbot
- A Mozilla começou a criar formas para que desenvolvedores entrem mais facilmente no ecossistema open source de machine learning e pretende contribuir com a comunidade open source com base no trabalho feito na hackathon
- Em um cenário em que LLMs open source estão amplamente disponíveis, construir um futuro melhor exige que todos participem de forma coletiva e ativa da sua formação
1 comentários
Opiniões no Hacker News
Quando tento entrar em contato com uma empresa, é porque não encontrei a resposta no site ou porque preciso pedir a uma pessoa responsável algo que não dá para fazer pelo site. Por exemplo, cancelar um serviço
Uma página de FAQ falante parece uma tentativa de tapar um buraco na experiência do usuário, e se a empresa não colocou no site a informação que estou procurando, é bem provável que também não a tenha colocado no chatbot
Ainda assim, um chatbot pode ajudar a encaminhar para a pessoa certa, mas colocá-lo como uma barreira antes de receber ajuda humana me parece um antipadrão
Por isso muitos sites mostram um monte de perguntas que recomendam respostas relevantes com base na descrição antes de permitir contato com o suporte; o suporte da AWS também faz isso
Bots podem ser irritantes, mas também podem reduzir bastante o custo de atendimento ao cliente. Sou a favor se a experiência do usuário for boa e, quando o bot não souber responder, houver encaminhamento rápido para um atendente. Claro, isso pressupõe que o bot não alucine e diga informações falsas
Uso um chatbot porque não tenho equipe de suporte para responder perguntas. Sem o bot, não haveria nada
Em compensação, monitoro os logs do bot. Se falta algum recurso no produto ou no site, eu adiciono para que, depois, os usuários consigam resolver tudo por autoatendimento
Os usuários podem cancelar a conta ou receber reembolso a qualquer momento
Para esse tipo de pergunta, modelos de linguagem de grande escala são quase perfeitamente adequados. Só gostaria que melhorassem na detecção de perguntas que o bot não consegue responder diretamente
Claro que há casos em que um chatbot pode substituir uma pessoa ou uma FAQ bem escrita. Mas essa autossatisfação ignora o principal motivo de o suporte ser horrível: ele foi projetado assim desde o início
Pegue “cancelamento só por telefone” como exemplo: cadastro ou upsell são problemas tecnicamente mais difíceis, mas são muito mais fáceis de fazer. O objetivo é acrescentar atrito a ações que parecem custo ou perda no curto prazo. As empresas sabem que, quando há atrito, muita gente desiste ou adia
Isso é um nudge e um paradigma de dark pattern. Basta ver como o “recusar todos” fica escondido na maioria dos banners de cookies. O nudge permite que a empresa pareça cumprir a lei enquanto evita o efeito geral, às custas do tempo e da atenção do usuário
O chatbot é só mais uma camada acrescentada ao labirinto do suporte
Não estou nem um pouco ansioso pelo futuro em que toda empresa terá suporte por chatbot
Isso já é bastante comum e frustrante, mas pelo menos ainda existe uma saída para falar com uma pessoa, porque cerca de metade deles nem entende a pergunta
A era do “o computador diz que não dá” já chegou
Além disso, não quero parecer apenas negativo e fora do assunto; o artigo em si parece muito bom. Aplausos ao autor. A engenharia é legal, eu só detesto a forma como ela é usada na prática
Chatbots não são uma panaceia, mas podem reduzir muito ruído desnecessário. O que é preciso é algo capaz de responder, em um domínio específico, às perguntas básicas que um usuário médio faria
Meu emprego anterior era em uma empresa bem grande, e a instância do Confluence era enorme. Eu perdia muito tempo tentando encontrar informação ali. Acho que um chatbot treinado com toda aquela informação teria sido bastante útil
Penso na Amazon. Sou cliente há muito tempo e recentemente recebi um periférico de computador com defeito
Expliquei brevemente o problema ao chatbot, e imediatamente recebi a resposta de que um novo pedido havia sido feito, que eu podia simplesmente ficar com o item recebido e que ele seria enviado com prioridade, sem custo adicional
Foi só isso, e chegou no dia seguinte funcionando bem
Claro que eles provavelmente sabiam que eu era um cliente antigo e que já tinha gastado bastante dinheiro, mas foi praticamente a experiência mais indolor imaginável. Muito melhor do que ir clicando em opções em várias páginas da web
“Meritíssimo, toda a minha argumentação era bobagem e citava artigos de lei inexistentes, mas foi porque usei o ChatGPT” — isso realmente aconteceu com um advogado, e ele nem sequer perdeu a licença para advogar
A expressão “já está mudando a web que conhecíamos e amávamos” é implicância e certamente foge do assunto, mas eu não amo a web de hoje
A web está cada vez mais controlada por um pequeno número de empresas. Elas decidem qual conteúdo aparece (Meta, Google) e quais e-mails vão para o filtro de spam (Microsoft, Google)
A web atual está longe de ser algo a amar. Tenho que continuar lutando até para alcançar pessoas que escolheram me seguir
No fim, a maior parte da minha comunicação acontece no mundo real ou em chats privados. E, aliás, eu também queria comentar o quanto o Messenger para empresas é horrível e instável
Alguma coisa precisa acontecer com a web de hoje. Não sei o quê nem como, mas certamente uma mudança seria bem-vinda
Você ainda deve oferecer todas as outras formas pelas quais as pessoas possam seguir, mas, se divulgar o feed RSS, elas podem começar a usá-lo
Se quiser fazer algo mais técnico, pode configurar uma ponte ActivityPub para permitir que acompanhem também pelas redes sociais. Se você usa Wordpress, há https://wordpress.org/plugins/activitypub/
Como a maioria dos comentários no topo parece ser negativa em relação a chatbots, vou dizer: no trabalho, havia um chatbot realmente excelente.
Para mim, ele era muito melhor do que pesquisar no Confluence, e também conseguia responder a perguntas sobre dados dinâmicos, como quantos dias de férias eu ainda tinha ou o quanto minhas horas de trabalho estavam adiantadas ou atrasadas.
Pelo que lembro, ele usava a tecnologia por trás de forma inteligente e entendia a maioria das coisas mesmo quando perguntávamos em linguagem natural.
A busca do Confluence é uma piada completa — e uma piada ruim.
Os clientes usam chatbots porque a UI do site é confusa. Eles querem obter informações, mas não conseguem encontrar como.
Antigamente, pesquisavam no Google “nome do serviço + telefone” ou “nome do serviço + cancelar assinatura”.
Em nove de cada dez casos, o site não quer facilitar o fornecimento do telefone nem o cancelamento da assinatura. Se, para começo de conversa, você não quer que o cliente faça uma ação que foi escondida, então para que serve exatamente o chatbot?
Trabalhei durante a febre dos chatbots e tive de dizer a vários clientes que, se eles não tinham vontade de realmente ajudar o cliente, não havia muito que pudéssemos fazer.
Pelo menos em empresas que lidam com pessoas, o verdadeiro objetivo dos chatbots é empurrar as UIs web e de apps móveis para fora do primeiro ponto de contato.
O usuário deveria poder conversar com a empresa usando uma única identidade por SMS, um chat semelhante ou uma chamada telefônica.
Web e apps móveis são apenas utilitários secundários e terciários que dão suporte ao modo básico de comunicação.
O motivo pelo qual as empresas não conseguiam fazer isso antes era que a precisão de compreensão da linguagem não era suficiente. Os grandes modelos de linguagem resolveram esse limite.
O fato de o bot reduzir um pouco as interações com atendentes por meio de regras práticas aprendidas com a experiência é um bônus. Graças a grandes modelos de linguagem melhores, a taxa de deflexão também vem aumentando aos poucos.
O widget irritante de chatbot preso no canto inferior direito é uma solução temporária até que seja oferecido um único número de telefone e a comunicação por ele se torne fluida.
Por fim, o título é enganoso. A ideia não é criar um chatbot open source, mas sim criar um chatbot usando apenas bibliotecas open source, em vez de ferramentas fechadas/comerciais, em prol da comunidade e de um avanço mais rápido da IA.
Foi dito: “Criamos nosso próprio servidor virtual dentro da conta existente da Mozilla no Google Cloud Platform (GCP). Com isso, na prática, decidimos fazer MLOps por conta própria. Mas pudemos seguir em frente com a certeza de que o sistema era privado e estava totalmente sob nosso controle”. Como criar um servidor dentro da infraestrutura do Google é privado e fica sob controle total da Mozilla?
Explicar até a opção de auto-hospedagem em bare metal está fora do escopo de um texto sobre construção de chatbot, e fingir que um VPS do Google Cloud não é seguro é um pouco forçado.
A ISO 27001 é um padrão internacional para sistemas de gestão de segurança da informação, e a conformidade do GCP demonstra seu compromisso com a segurança da informação.
A ISO 27017 é específica para segurança em nuvem e foca em controles próprios de provedores de serviços em nuvem.
A ISO 27018 é um padrão relacionado à proteção de informações de identificação pessoal em nuvens públicas.
Relatórios SOC 2 podem fornecer garantia sobre controles relacionados a segurança, disponibilidade, integridade de processamento, confidencialidade e privacidade.
Se você lida com informações de saúde, a conformidade com HIPAA é necessária; se lida com dados da Europa ou de cidadãos europeus, a conformidade com GDPR é importante.
Para clientes do governo dos EUA, a conformidade com FedRAMP pode ser obrigatória; se processa informações de cartão de crédito, a conformidade com PCI DSS é importante.
É preciso verificar se os serviços a serem usados dentro do GCP estão incluídos no escopo das certificações necessárias para o setor ou caso de uso. Essas certificações geralmente podem ser conferidas no site do Google Cloud e, se for necessária documentação oficial, ela também pode ser obtida por meio da equipe de vendas ou de suporte do Google.
Se você tem curiosidade sobre como criar de fato um desses modelos de chat com banco de dados vetorial, em uma livestream na semana passada mostrei o processo de construir um praticamente do zero em um ambiente Colab e fazer inferência com Llama 2: https://www.youtube.com/live/kBB1A2ot-Bw?feature=share
O grande desafio dessa configuração é realizar busca por similaridade semântica em larga escala. A Pinecone tem uma documentação muito boa sobre estruturas de dados para escalar grandes bancos de dados vetoriais.
Eu estava esperando a Mozilla entrar nessa onda e desenvolver seu próprio grande modelo de linguagem. Considerando a missão da organização de “manter a internet aberta e acessível para todos”, isso faz muito sentido. Só não sei se ela tem recursos ou vontade para isso.
Foi dito: “Há um motivo para operações de machine learning, ou MLOps, serem uma área em crescimento. Implantar e gerenciar esses apps é difícil. Exige conhecimentos e habilidades específicos que muitos desenvolvedores e operadores ainda não têm”. O que é tão difícil ou diferente assim?
Eu entendia isso como executar uma API web que carrega um modelo, que é um ativo compilado. Nesse sentido, não parece tão diferente.