Tabby: assistente de programação com IA auto-hospedado

• Introdução ao Tabby

  • O Tabby é uma alternativa ao GitHub Copilot, um assistente de programação com IA que pode ser auto-hospedado.
  • Tem uma arquitetura autônoma que não exige DBMS nem serviços em nuvem.
  • Pode ser integrado facilmente à infraestrutura existente por meio de uma interface OpenAPI.
  • Oferece suporte a GPUs de nível consumidor.

• Novos recursos

  • 6 de dezembro de 2024: integração de distribuição via Llamafile e uma experiência de usuário aprimorada do Answer Engine serão adicionadas ao Tabby v0.21.0.
  • 10 de novembro de 2024: a troca entre vários modelos de chat de backend no Answer Engine passa a ser suportada no Tabby v0.20.0.
  • 30 de outubro de 2024: o Tabby v0.19.0 adiciona threads recentes compartilhadas à página principal para aumentar a visibilidade.
  • 9 de julho de 2024: anunciada a integração com o Codestral.
  • 5 de julho de 2024: o Tabby v0.13.0 introduz o Answer Engine, que integra dados internos da equipe de desenvolvimento para fornecer respostas confiáveis.
  • 13 de junho de 2024: o VSCode 1.7 oferece diversas experiências de chat ao longo de toda a experiência de programação.
  • 10 de junho de 2024: publicado um post no blog sobre a compreensão aprimorada de contexto de código do Tabby.
  • 6 de junho de 2024: o Tabby v0.12.0 oferece integração fluida com Gitlab SSO, GitHub/GitLab auto-hospedados e mais.
  • 22 de maio de 2024: o Tabby VSCode 1.6 oferece várias opções em conclusões inline e suporte a mensagens de commit geradas automaticamente.
  • 11 de maio de 2024: o v0.11.0 traz grandes melhorias enterprise, incluindo integração com GitHub e GitLab, página de atividades e o recurso Ask Tabby.
  • 22 de abril de 2024: o v0.10.0 introduz uma aba de relatórios mais recente que oferece análises por equipe.
  • 19 de abril de 2024: o Tabby integra snippets locais relevantes para conclusão de código.
  • 17 de abril de 2024: as séries de modelos CodeGemma e CodeQwen foram adicionadas ao registro oficial.
  • 20 de março de 2024: o v0.9 destaca uma UI administrativa com funcionalidade completa.
  • 23 de dezembro de 2023: é possível implantar o Tabby na nuvem de forma fluida por meio do SkyServe do SkyPilot.
  • 15 de dezembro de 2023: o v0.7.0 oferece gerenciamento de equipe e acesso seguro.
  • 15 de outubro de 2023: a conclusão de código baseada em RAG foi ativada no v0.3.0.
  • 27 de novembro de 2023: lançamento do v0.6.0.
  • 9 de novembro de 2023: o v0.5.5 inclui redesign da UI e melhorias de desempenho.
  • 24 de outubro de 2023: grande atualização dos plugins IDE do Tabby para VSCode/Vim/IntelliJ.
  • 4 de outubro de 2023: os modelos mais recentes compatíveis com o Tabby podem ser consultados no diretório de modelos.
  • 18 de setembro de 2023: suporte à inferência Metal da Apple M1/M2 foi adicionado ao v0.1.1.
  • 31 de agosto de 2023: lançamento da primeira versão estável do Tabby, v0.0.1.
  • 28 de agosto de 2023: suporte experimental ao CodeLlama 7B.
  • 24 de agosto de 2023: o Tabby foi listado no JetBrains Marketplace.

• Primeiros passos

  • Na documentação, é possível conferir como instalar, usar extensões para IDE/editor e configurar.

• Comunidade

  • É possível acompanhar a TabbyML pelo Twitter/X, LinkedIn e newsletter.

[GN⁺]

Comentários no Hacker News

• Um usuário mencionou que pode ser um bom produto, mas que o processo de entrevista foi horrível. Disse que passou por várias entrevistas, mas depois da última o contato foi cortado sem qualquer explicação. Após escrever um post no blog, ficou meses sem resposta e só recebeu retorno depois de insistir várias vezes. Todas as entrevistas foram em formato de tarefa, e ele afirmou ter investido mais de 10 horas no total.

• Foi mencionado que alternativas que se dizem substitutas do GitHub Copilot não funcionam no VS2022. A pessoa disse que quer um assistente de IA self-hosted que possa usar no VS2022. Também questionou por que não existem alternativas, já que o VS2022 suporta plugins.

• Foi mencionado que a demo de completar a função findMaxElement na homepage seria um exemplo atual ou futuro. Disseram que as 6 linhas de código Python sugeridas poderiam ser substituídas por return max(arr). Avaliaram o código sugerido como nível iniciante. Também demonstraram preocupação de que pessoas que usem autocompletar cegamente possam estagnar tecnicamente. Isso pode até render story points, mas levantaram a dúvida sobre se a habilidade real de fato melhora.

• Foi mencionado que nunca imaginaram ver o projeto Tabby na primeira página do HN. Desde o lançamento, o Tabby evoluiu bastante e se tornou uma plataforma abrangente de IA para desenvolvedores, com recursos de conclusão de código e chat com a base de código. Um usuário disse que encontrou no Tabby a única plataforma que oferece uma experiência de onboarding self-service. Também afirmou que o desempenho é comparável ao de outras opções no mercado. Recomendou testar, caso haja curiosidade.

• Um usuário que não está familiarizado com IA local mencionou que gostaria de experimentar o Tabby. Perguntou como “run tabby in 1 minute” se compara ao 4o-mini gratuito do ChatGPT. Também perguntou se, ao executar o comando Docker em um MacBook Pro intermediário, conseguiria usar uma IA rápida e competente. Foi mencionado que o poder de computação de um M1/M2 é limitado e provavelmente adequado apenas para uso pessoal. Se for necessária uma instância compartilhada para uma equipe, recomendaram considerar hospedagem Docker com CUDA ou ROCm.

• Foi mencionado que, na Community Edition, não é possível desativar a telemetria da IDE/das extensões. A pessoa perguntou o que exatamente está incluído nesses dados de telemetria.

• Foi mencionado que todos os exemplos são códigos que poderiam ser encontrados em bibliotecas. Também disseram que parte do código tem qualidade duvidosa. Houve preocupação de que LLMs possam se tornar bots de spam da base de código.

• Foi mencionado que a ideia de não enviar dados para grandes empresas e poder confiar nos TOS é boa. Também disseram que a eficácia de assistentes de código é proporcional ao tamanho do contexto, e que modelos abertos que podem rodar no computador normalmente são menores. Gostariam de ver material que quantifique a utilidade em codebases mais complexas.

• Foi mencionado que estão pesquisando soluções de IA self-hosted no trabalho. A pessoa perguntou como essa empresa gera receita. Observou que existem opções free/community/open source e perguntou como o limite de “até 5 usuários” é monitorado. Também quis saber o que acontece caso haja mais de 5 usuários.

• Foi mencionado que o Tabby suporta apenas o uso de uma única GPU. Para usar várias GPUs, seria necessário iniciar várias instâncias do Tabby e configurar CUDA_VISIBLE_DEVICES ou HIP_VISIBLE_DEVICES. A pessoa perguntou se o uso de duas GPUs conectadas por NVLink não é suportado, ou se a situação é diferente porque o NVLink faz com que as duas GPUs sejam tratadas como uma só.