- A a16z vê a IA open source como uma base central do ecossistema de IA e lançou o Open Source AI Grant para reduzir a lacuna de recursos dos desenvolvedores
- À medida que aumentam os modelos open source que competem com modelos fechados, o fine-tuning e trabalho de otimização feitos por indivíduos e pequenas equipes estão ampliando a utilidade desses modelos
- O apoio é voltado a projetos que expandem as fronteiras técnicas, como instruction-tuning, LLM sem censura, quantização para execução local, ferramentas de inferência e pesquisa de segurança em LLM
- Como a IA open source exige muitos recursos computacionais de GPU até mesmo para fine-tuning à medida que os modelos crescem, a carga de recursos é maior do que em projetos tradicionais de infraestrutura
- Este subsídio não é investimento nem SAFE note, e os beneficiários podem continuar seu trabalho open source sem pressão por retorno financeiro
Anúncio do a16z Open Source AI Grant
- A a16z apoia um pequeno número de desenvolvedores open source por meio do programa Open Source AI Grant na forma de subsídios
- O financiamento não é investimento nem SAFE note, e foi estruturado para ajudar desenvolvedores a continuar trabalhando sem a pressão de ter de gerar retorno financeiro
- A a16z considera um ecossistema open source próspero essencial para construir o futuro da IA
IA open source competindo com modelos fechados
- No ecossistema open source, estão surgindo modelos open source que competem com alternativas fechadas
- Centenas de pequenas equipes e indivíduos estão trabalhando para tornar os modelos mais úteis, acessíveis e com melhor desempenho
- Esses projetos elevam o nível técnico da IA open source e ajudam a promover uma compreensão mais sólida e abrangente da tecnologia
Por que os recursos de GPU viram gargalo
- Quem cria esses projetos muitas vezes não tem recursos suficientes para levá-los até o fim ou mantê-los no longo prazo
- Em projetos de IA, o problema de recursos aparece de forma mais intensa do que na infraestrutura tradicional
- Mesmo o fine-tuning de modelos exige uma quantidade considerável de recursos computacionais de GPU
- À medida que os modelos open source crescem, os recursos necessários também aumentam
Áreas de trabalho para as quais o subsídio é direcionado
- O apoio inclui vários tipos de trabalho que aumentam a utilidade prática de modelos e ferramentas de IA open source
- instruction-tuning para LLMs base
- Fine-tuning de LLMs sem censura
- Otimização para executar modelos em máquinas de baixo consumo
- Construção de novas ferramentas para inferência de modelos
- Pesquisa sobre questões de segurança em LLMs
- Outros trabalhos relacionados a IA open source
Primeiros beneficiários do subsídio e projetos
- Jon Durbin (Airoboros): instruction-tuning de LLM com dados sintéticos
- Eric Hartford: fine-tuning de LLM sem censura
- Jeremy Howard (fast.ai): fine-tuning de modelos base para aplicações verticais
- Tom Jobbins (TheBloke): quantização de LLM para execução local
- Woosuk Kwon and Zhuohan Li (vLLM): biblioteca de inferência de LLM de alto throughput
- Nous Research: novos modelos de linguagem ajustados, semelhantes às séries Nous Hermes e Puffin
- oobabooga: web UI e plataforma para LLMs locais
- Teknium: pipeline de dados sintéticos para treinamento de LLM
1 comentários
Comentários no Hacker News
Sou um dos beneficiários do AI grant e sou muito grato à a16z por apoiar o trabalho que fazemos na fast.ai
Meu grant foi usado para comprar um servidor Scalar da Lambda Labs, que conseguimos configurar com 8 GPUs A6000 da geração anterior
Isso também foi possível porque a NVIDIA nos forneceu recentemente três delas, e a Lambda Labs as ofereceu a preço de custo
A a16z não pediu participação acionária nem qualquer contrapartida além de divulgar o fato de ter concedido esse grant, e o processo foi muito tranquilo
Quase não houve formulários; assinei apenas um contrato de uma página, que era claro e justo e declarava que a a16z não receberia nenhum direito, e eles transferiram imediatamente o dinheiro para a compra do servidor
A primeira usa a arquitetura Ampere e corresponde à série GeForce 30; a segunda usa a arquitetura Ada e corresponde à série GeForce 40
A Nvidia parece convencida de que pode dar nomes a gerações tecnológicas de forma tão ruim quanto o USB Implementers Forum
Espero ver mais coisas assim e desejo boa sorte ao trabalho do jph00
Pessoal do HN, estamos muito felizes em anunciar esta nova iniciativa
Este programa foi desenhado para apoiar indivíduos, equipes e hackers que não estão buscando construir uma empresa comercial
Ainda assim, esses projetos empurram a fronteira da IA open source e ajudam a construir uma compreensão mais robusta e inclusiva de como a tecnologia avança
Temos orgulho de contribuir, ainda que modestamente, e agradecemos ao primeiro cohort e a todos que contribuem para esta área
Fico curioso se, para uma pessoa contribuir com a área usando diferentes ideias de dados de treinamento, ela precisa primeiro provar seu valor e chamar atenção, ou se existe alguma forma de enviar uma proposta
No meu caso, o custo de computação é bem alto; consigo bancar alguns testes de prova de conceito, mas não muito além disso, e uma única 4090 não consegue rodar llama70b a mais de 1 it/s
Fiquei muito contente em ver o oobabooga na lista
Cada um contribui à sua maneira, e o ooba funciona como um ótimo portal para testar vários modelos
O README também diz que ele quer ser uma espécie de automatic 1111 para geração de texto
Para um iniciante como eu, o ooba é uma boa porta de entrada para explorar esse novo mundo
Olhando para os atuais beneficiários do grant, dá vontade de parabenizar
Todos são indivíduos ou equipes de grande impacto, e fica claro que fizeram uma boa pesquisa para colocar o dinheiro onde ele deveria ir
Pergunta de iniciante: com 25.000 dólares, será que eu conseguiria comprar algumas GPUs e ajudar a apoiar os “GPU Poor”?
Fico curioso se existe algum guia DIY para montar algo assim
Não é que eu queira doar dinheiro em espécie; eu gostaria de configurar algumas GPUs de alguma forma para que as pessoas pudessem usá-las a preço de custo
Os servidores 8xA100 e 8xH100 que a maioria gostaria de usar passam de 200 mil dólares e, mesmo tendo dinheiro, provavelmente são muito difíceis de encontrar agora
Talvez não dê para limitar a um grupo específico de usuários, mas quem usa a vast.ai provavelmente são, na prática, mais empresas pequenas, indivíduos e pesquisadores do que grandes corporações, então isso acaba ajudando os “GPU Poor”
Uma A100 custa cerca de 2 dólares por hora, e a parte difícil é conseguir uma grande cota
Trabalhos de treinamento são, de todo modo, bastante irregulares; é comum rodar muitos experimentos pequenos antes de uma grande execução única
Isso é muito legal
Vejo muitas ferramentas que uso na lista, então é bom vê-las recebendo apoio financeiro
Espero que o Ollama também entre na lista em breve
Tenho uma ideia interessante que gostaria de testar, mas provavelmente precisaria de algumas horas em 8X A100 e dados no estilo EvolveInstruct, então deve custar mais de 1.000 dólares
Vou tentar preparar o código para ver se consigo participar do grant #2
Também agradeço muito o comentário, e estamos conversando com o pessoal do Ollama
Quais outros projetos open source de LLM dos quais as pessoas dependem?
Estou procurando ideias para futuros beneficiários do grant
É uma boa iniciativa, a primeira seleção é excelente, e é uma ótima forma de usar a taxa de administração
Mesmo tentando pensar em candidatos adicionais, fica difícil porque lugares que eu recomendaria, como TheBloke, vLLM e oobabooga, já estão incluídos
Como futuros candidatos, penso em MLC LLM, ExLlama, um fork open source do text-generation-inference e AutoGPTQ
Parabéns às pessoas envolvidas
Mesmo sabendo que isso tem algum grau de motivação de branding/marketing, é bom ver a a16z se alinhando mais à solução de problemas reais do que ao crypto dos últimos anos ou à produção de mídia superficial
Espero que continuem assim, e que mais “thought leaders” e fundos de venture capital sigam o exemplo
A única diferença é que agora estão salvando com IA, não com crypto
https://a16z.com/2023/06/06/ai-will-save-the-world/
Mas, sem querer defender “Crypto”, acho que o critério de resolver problemas reais é bem subjetivo
Por exemplo, para muitas pessoas e empresas, aumentar a taxa de cliques em anúncios e reduzir taxas de crypto/gas também pode ser um problema real e uma necessidade; só pode ser que esse problema não seja importante para mim
Surpreendente
A primeira seleção é realmente sólida, e uma grande parte da experimentação orgânica que acontece naturalmente depende diretamente deles
Fico muito feliz que “Eric Hartford: fine-tuning de LLMs sem censura” esteja acontecendo
LLMs vão se tornar ferramentas muito valiosas, e é bastante inquietante que censura seja incorporada a esse tipo de ferramenta
Basta imaginar o Word impedindo você de digitar “palavras ruins” em nome da segurança e da ética