Então você quer criar seu próprio chatbot open source?

• A inteligência artificial (IA) está transformando a web e impactando a vida das pessoas.
• A Mozilla está comprometida com uma IA confiável, incluindo transparência, privacidade, autonomia do usuário e equidade.
• Chatbots de IA generativa são populares, mas a maioria é controlada por grandes empresas de tecnologia.
• A Mozilla acredita no poder do open source e trabalha para evitar o controle da tecnologia por algumas poucas empresas, além de dar mais poder aos usuários.
• Recentemente, a Mozilla realizou um hackathon para criar protótipos internos de chatbot.
• A equipe usou modelos de linguagem de grande porte (LLM) open source e enfrentou questões relacionadas a hospedagem, ambiente de execução, escolha de modelo, vieses e expansão do conhecimento do chatbot.
• Eles decidiram hospedar o chatbot na infraestrutura de nuvem da Mozilla para garantir privacidade e controle.
• Usaram o projeto open source llama.cpp para executar modelos baseados na arquitetura LLaMA.
• Avaliaram os modelos quanto a toxicidade, viés, desinformação e conteúdo perigoso, e escolheram o modelo LLaMA 2 da Facebook.
• Integraram conhecimento interno específico da Mozilla usando técnicas de embeddings e busca vetorial.
• Desenvolveram uma solução manual com Python e várias bibliotecas.
• No desenvolvimento de chatbots, a engenharia de prompts é importante para fornecer contexto e melhorar as respostas.
• O prompt de sistema e a janela de contexto são essenciais para a funcionalidade do chatbot e para o contexto da conversa.
• O LangChain é uma das principais ferramentas de orquestração no espaço dos modelos de linguagem, mas pode ser complexo de aprender e usar.
• É possível criar o front-end para modelos de linguagem usando UIs de chatbot open source como chatbot-ui e Companion.
• A Mozilla desenvolveu um chatbot protótipo que reflete seus valores e é hospedado com segurança dentro da organização.
• Chatbots open source ainda estão evoluindo, e há dificuldades para avaliar modelos e fazer as escolhas certas.
• A Mozilla está trabalhando para facilitar a participação de desenvolvedores no ecossistema open source de machine learning e a contribuição para a comunidade.

[GN⁺]

Comentários no Hacker News

• Chatbots são vistos como compensação pela falta de boas práticas de UX em sites.
• Algumas pessoas consideram chatbots irritantes e não acham que toda empresa deva ter um.
• A web está sendo cada vez mais controlada por um número menor de empresas, causando uma disputa por visibilidade e comunicação.
• Chatbots são usados quando sites têm uma UI confusa ou escondem informações importantes.
• O verdadeiro objetivo dos chatbots é substituir a web e os apps móveis como primeiro meio de contato com as empresas.
• O autor, na prática, não está construindo um chatbot open source, mas promovendo o uso de bibliotecas open source.
• Configurar um servidor dentro da infraestrutura do Google não é realmente algo pessoal nem está sob o controle da Mozilla.
• Algumas pessoas tiveram experiências positivas com chatbots, achando-os mais úteis do que métodos tradicionais de busca.
• Há recursos disponíveis para ampliar a criação de modelos de chat com banco de dados vetorial e a busca por similaridade semântica.