- No início da computação de alto desempenho, as principais empresas de tecnologia desenvolveram internamente versões fechadas de Unix
- Com o passar do tempo, o Linux open source ganhou popularidade e hoje se tornou o padrão em computação em nuvem e sistemas operacionais móveis
- Espera-se que a IA evolua de forma semelhante
- Atualmente, várias empresas de tecnologia estão desenvolvendo modelos fechados, mas o open source está alcançando rapidamente
- No ano passado, o Llama 2 ficou atrás dos modelos da geração anterior, mas neste ano o Llama 3 alcançou um nível capaz de competir com os modelos mais avançados
- A partir do ano que vem, espera-se que os modelos Llama estejam entre os mais avançados do setor
- O Llama já lidera em abertura, possibilidade de modificação e eficiência de custos
- Agora estamos dando o próximo passo para que a IA open source se torne o padrão da indústria
- A Meta anunciou hoje o Llama 3.1 405B, o primeiro modelo de IA open source de ponta, além dos modelos Llama 3.1 70B e 8B
- Em comparação com modelos fechados, ele oferece uma relação custo-desempenho muito superior, e o fato de o modelo 405B ser open source fará dele a melhor opção para ajustar finamente e refinar modelos menores
- Em colaboração com várias empresas, estamos expandindo um ecossistema mais amplo
- Em parceria com Amazon, Databricks, NVIDIA e outras, oferecemos um conjunto completo de serviços para suportar fine-tuning e destilação de modelos de IA
- A Groq está construindo serviços de inferência de baixa latência e baixo custo
- Os modelos estão disponíveis em todos os principais provedores de nuvem, como AWS, Azure, Google e Oracle
- Scale.AI, Dell, Deloitte e outras ajudam empresas a adotar o Llama e treinar modelos personalizados com seus próprios dados
- À medida que a comunidade cresce e mais empresas desenvolvem novos serviços, podemos transformar o Llama no padrão da indústria e levar os benefícios da IA a todos
- A Meta está comprometida com a IA open source.
- Por que acreditamos que o open source é a stack de desenvolvimento mais adequada para você,
- por que tornar o Llama open source é bom para a Meta,
- e por que a IA open source é boa para o mundo,
- explicando assim a plataforma que acreditamos que vai perdurar no longo prazo
Por que a IA open source é boa para desenvolvedores
- É possível treinar, ajustar finamente e destilar modelos diretamente: cada organização pode adaptar o modelo ao tamanho ideal usando seus próprios dados
- Mantém independência sem depender de fornecedores fechados: o open source oferece um ecossistema de toolchains compatíveis, permitindo liberdade para migrar
- Proteção de dados: é possível processar dados sensíveis no próprio modelo sem enviá-los para APIs em nuvem
- Eficiência de custo: o modelo Llama 3.1 405B permite inferência por cerca de 50% menos que modelos fechados
- Investimento em um padrão de longo prazo: o open source está evoluindo mais rápido que os modelos fechados
Por que a IA open source é boa para a Meta
- O modelo de negócios da Meta é oferecer as melhores experiências e serviços.
- Para isso, é necessário ter sempre acesso à tecnologia mais avançada e não ficar preso ao ecossistema fechado dos concorrentes
- A experiência de construir serviços sobre a plataforma da Apple mostrou as limitações dos ecossistemas fechados.
- Ao construir um ecossistema aberto, é possível oferecer serviços melhores
- Há preocupações de que tornar algo open source signifique abrir mão da vantagem técnica, mas isso perde a visão do quadro geral
- Desenvolvimento do ecossistema: o Llama precisa evoluir para um ecossistema completo, com ferramentas, melhorias de eficiência, otimização para silício e outras integrações. Se a Meta for a única empresa usando o Llama, o ecossistema não se desenvolverá
- Manutenção da competitividade: o desenvolvimento de IA será extremamente competitivo, então tornar algo open source não significa abrir mão de uma grande vantagem técnica. O Llama precisa ser competitivo, eficiente e aberto a cada geração
- Diferença no modelo de negócios: vender acesso a modelos de IA não é o modelo de negócios da Meta, portanto tornar o Llama open source não prejudica sua receita, sustentabilidade nem sua capacidade de investir em pesquisa. Esse é um dos motivos pelos quais vários provedores fechados fazem lobby contra open source junto a governos
- Experiência com open source: a Meta tem um histórico de projetos open source bem-sucedidos. Por meio do Open Compute Project, abriu designs de servidores, redes e data centers e economizou bilhões de dólares. Também tornou open source ferramentas como PyTorch e React, beneficiando-se da inovação do ecossistema. Essa abordagem tem sido consistentemente vantajosa para a Meta no longo prazo
Por que a IA open source é boa para o mundo
- O open source é essencial para um futuro positivo da IA
- A IA pode aumentar a produtividade, a criatividade e a qualidade de vida, acelerar o crescimento econômico e possibilitar avanços em saúde e pesquisa científica
- O open source permite que mais pessoas tenham acesso aos benefícios e oportunidades da IA e garante que o poder não fique concentrado em poucas empresas
- Ele ajuda a distribuir a tecnologia de IA de forma mais equilibrada e segura por toda a sociedade, e é mais seguro porque é desenvolvido com transparência
- Minha estrutura para entender segurança é que precisamos nos proteger de duas categorias de danos
- Danos não intencionais: quando sistemas de IA causam prejuízo sem intenção
- Ex.: fornecer aconselhamento de saúde incorreto, autorreplicação ou otimização excessiva de objetivos
- Danos intencionais: quando usuários maliciosos usam modelos de IA para causar danos
- Os danos não intencionais respondem pela maior parte das preocupações
- Ex.: impactos de sistemas de IA sobre pessoas, cenários de ficção científica em que a IA prejudica humanos
- O open source é mais seguro para prevenir danos não intencionais porque os sistemas são mais transparentes e podem ser amplamente revisados
- Modelos open source como o Llama podem ser ainda mais seguros e protegidos do que modelos fechados graças a sistemas de segurança como o Llama Guard
- Estamos tentando avaliar a nocividade dos modelos e mitigar riscos, incluindo testes rigorosos e atividades de red team
- Os modelos são públicos e qualquer pessoa pode testá-los.
- Como os modelos de IA aprendem com informações da internet, é preciso considerar se eles podem causar mais danos do que as informações já existentes
- Considerações sobre danos intencionais
- É preciso distinguir entre atores de pequena escala e atores de grande escala
- No futuro, indivíduos mal-intencionados poderão usar modelos de IA para criar novos tipos de danos
- A IA precisa ser amplamente distribuída para que grandes atores possam contrabalançar o poder de pequenos agentes maliciosos
- Quando grandes instituições implantam IA em larga escala, isso promove segurança e estabilidade em toda a sociedade
- A resposta dos Estados Unidos e das democracias
- A força dos Estados Unidos está na inovação aberta e descentralizada
- Há quem diga que os modelos devem ser fechados para impedir o acesso da China, mas isso não é eficaz
- Como a espionagem é sofisticada, é fácil que modelos sejam roubados
- Um mundo com apenas modelos fechados faria com que poucas grandes empresas e países adversários tivessem acesso a eles, enquanto startups, universidades e pequenas empresas provavelmente perderiam a oportunidade
- Se a inovação dos Estados Unidos ficar limitada ao desenvolvimento fechado, será difícil manter a liderança
- É preciso construir um ecossistema aberto e cooperar com governos e aliados para maximizar os benefícios das tecnologias mais avançadas
- A IA open source é a melhor forma do mundo de aproveitar ao máximo as oportunidades econômicas e a segurança
- As principais empresas de tecnologia e a pesquisa científica de hoje se baseiam em software open source
- A próxima geração de empresas e pesquisas também usará IA open source
Vamos construir isso juntos
- A Meta está adotando uma abordagem diferente em relação aos modelos Llama anteriores
- Internamente, estamos montando equipes para ajudar o maior número possível de desenvolvedores e parceiros a usar o Llama
- Estamos formando ativamente parcerias para que mais empresas do ecossistema possam oferecer recursos únicos a seus clientes
- Acreditamos que o lançamento do Llama 3.1 será um ponto de inflexão para o setor, em que a maioria dos desenvolvedores começará a usar principalmente open source
5 comentários
Pelo que a Meta tem feito, parece bastante provável que acabe sendo conivente tanto com danos não intencionais quanto com danos intencionais. Na minha avaliação pessoal, Zuckerberg é alguém em quem não dá para confiar.
Llama é open source? Não.
Dados de treinamento = código-fonte
O modelo Llama 3.1 foi divulgado como open source desta vez. Porém, os dados de treinamento não são públicos. Em IA e deep learning, os dados de treinamento são o "código-fonte", e o modelo é algo como um app. Portanto, na prática, não dá para dizer que o Llama é open source. Foi apenas lançado um app gratuito de modelo de linguagem.
A Meta tem chance de divulgar os dados de treinamento do Llama? Não.
Os dados de treinamento do Llama têm 15 trilhões de tokens só em texto, e também deve haver dados de imagem, vídeo e áudio para o treinamento multimodal. É possível que uma parte considerável desses dados seja de usuários do Facebook ou do Instagram. Por isso, tornar isso público criaria grandes questões sociais de propriedade de dados e direitos autorais, então é provável que a Meta não consiga divulgar esses dados, mesmo que queira.
A Meta é muito legal.
Opiniões do Hacker News
A linguagem sobre IA de código aberto é confusa
Há grandes vantagens para startups de IA e desenvolvedores
A Meta é uma das poucas grandes empresas de IA que oferecem modelos abertos
O modelo de receita publicitária da Meta merece atenção
A Meta quer se posicionar como a campeã do código aberto em IA