- Um LLM de 3B parâmetros que é 60% menor que o CodeLLaMA 7b, mas oferece desempenho semelhante na geração de código
- Pode rodar offline em um laptop comum mesmo sem GPU (como um MacBook Air)
- Baseado no modelo Stable LM 3B, treinado com 4 trilhões de dados em linguagem natural, e depois refinado adicionalmente com dados sobre engenharia de software/código
- 18 linguagens de programação foram selecionadas com referência à pesquisa anual de desenvolvedores do Stack Overflow de 2023
5 comentários
Como trabalho no setor financeiro, desenvolvemos apenas na rede interna. Nesses casos, qual seria a melhor forma de abordar isso?
Quando uso algo como o Copilot em casa, fico pensando que seria bom poder usar algo assim também na empresa, então queria pedir uma orientação.
https://github.com/janhq/jan
É um aplicativo com interface gráfica que permite usar modelos offline. Se você estiver em uma rede interna, parece que basta baixar antecipadamente fora dela o instalador deste app e o arquivo do modelo que pretende usar, depois transferi-los para a rede interna e usar por lá.
A forma de adicionar o modelo manualmente está explicada abaixo.
https://jan.ai/guides/using-models/import-manually/
Em um ambiente isolado da rede, sinceramente, isso não é muito diferente de colocar algemas nos desenvolvedores.
Ultimamente têm surgido conversas sobre o afrouxamento das políticas de segregação de redes e também dá para ver alguns esforços de melhoria, então talvez dê para ter alguma esperança, mas em lugares que lidam com dados pessoais, como bancos e telecoms, provavelmente ainda vai continuar sendo bem difícil. Para os desenvolvedores, é um ambiente que parece uma prisão.
Eles só compararam o desempenho com modelos de tamanho parecido, mas, olhando um leaderboard mais amplo, fica assim.
https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard
Como é para código, dá até a impressão de que talvez seja melhor ter um desempenho superior, mesmo que seja um pouco mais lento ou mais caro.