Por que governos, empresas e organizações sem fins lucrativos devem investir em IA livre e de código aberto

• O software é ao mesmo tempo um ativo comercial e um sistema de conhecimento que evolui quanto mais é compartilhado; como mostram o GCC e o GNU/Linux, o código aberto se tornou a base que sustenta a internet moderna e a indústria de tecnologia
• Quando o código é público, desenvolvedores do mundo todo podem encontrar e corrigir falhas, e a próxima geração de engenheiros pode aprender a construir sistemas de ponta; assim, a transparência contribui tanto para a segurança quanto para a formação de talentos
• Se a IA de ponta ficar concentrada em modelos fechados de poucas empresas, pesquisadores terão dificuldade para verificar o processo de construção e os dados de treinamento, e também ficará difícil auditar plenamente o uso de IA em ciência, medicina, engenharia e decisões judiciais
• Como o próprio software de IA já representa capacidade, há riscos na divulgação, mas os modelos fechados também são vulneráveis a vazamentos e jailbreaks, além de provocar concentração de poder ao permitir que poucas empresas decidam quais tecnologias serão permitidas
• Nem toda IA de código aberto precisa acompanhar a escala dos modelos de ponta; governos, empresas e organizações sem fins lucrativos devem investir em apoio computacional público, no financiamento de pesquisas em universidades e entidades sem fins lucrativos, e no princípio de divulgar por padrão a IA criada com recursos públicos

---

O debate em torno do software livre

• Ao debater com Richard Stallman por cerca de dois anos no MIT AI Lab nos anos 1980, prevalecia a noção de que o avanço do software exigia controle corporativo exclusivo sobre o código
• Stallman via o software como um meio que carrega conhecimento, e portanto defendia que qualquer pessoa pudesse usá-lo, estudá-lo e melhorá-lo; esconder código dentro de empresas equivaleria a esconder o próprio conhecimento
• Ambos os lados concordavam que os computadores se tornariam um meio central para acelerar o progresso humano, mas divergiam sobre como chegar a esse objetivo
• Com o debate, ganhou força a ideia de que o software não é apenas um ativo comercial, mas um sistema de conhecimento que se fortalece quando é compartilhado
• O princípio de Stallman de garantir aos usuários a liberdade de estudar, modificar, melhorar e compartilhar software se tornou a base do movimento do software livre e, mais tarde, do código aberto

O desenvolvimento aberto comprovado por GCC e GNU/Linux

• O GCC, criado por Stallman, converte código do mundo todo em linguagem de máquina executável pelos computadores e se consolidou como um programa essencial usado até hoje
  • Esse sucesso foi possível não apenas pelo trabalho individual, mas pelas contribuições de milhares de pessoas
• O GNU/Linux, nascido do mesmo espírito de desenvolvimento aberto, hoje move grande parte da internet
• O ambiente tecnológico moderno depende fortemente dos princípios de desenvolvimento aberto e do código aberto

O efeito da abertura sobre segurança e aprendizado

• No início, a principal objeção era a lógica da segurança por obscuridade, segundo a qual esconder o software seria necessário para proteger os computadores
• O software transparente permite que a comunidade global de desenvolvedores descubra e corrija problemas, enquanto o software fechado precisa esperar que ninguém consiga olhar fundo o bastante em seu interior
• A comunidade open source difunde amplamente o conhecimento sobre como construir sistemas e também funciona como um livro didático de fato para o aprendizado de uma geração de engenheiros
• Se todos os sistemas de ponta forem escondidos, quase nada poderá ser aprendido com sistemas trancados, o que dificulta formar a próxima geração de inovadores

O ecossistema open source que sustentou a indústria de tecnologia

• Décadas de avanço tecnológico surgiram de um ecossistema delicado no qual empresas privadas, universidades e dezenas de milhares de voluntários contribuíram para uma base de software compartilhado
• Várias empresas globalmente bem-sucedidas geram receita construindo serviços sobre tecnologias centrais abertas
• O software proprietário também tem seu papel, mas o código aberto sustenta a carga da indústria tecnológica moderna e não deve ser enfraquecido

IA sendo fechada desde a fase inicial

• A IA também é software, mas os modelos de ponta mais avançados estão totalmente fechados, e a velocidade desse fechamento só aumenta
• Há poucas alternativas abertas realmente utilizáveis, e os modelos atuais, embora excelentes, ainda estão incompletos e sem métodos de construção plenamente estabelecidos
• Se um campo científico ainda inicial, com as descobertas mais profundas ainda por vir, for fechado agora, o conhecimento compartilhado necessário ao progresso pode desaparecer
• A ciência universitária avançou divulgando resultados de pesquisa para que o mundo todo pudesse realizar trabalhos posteriores
• Se grande parte da ciência do futuro depender de IA, prender a IA dentro de poucas empresas pode acabar limitando o próprio avanço científico

Quem controla a biblioteca do futuro

• Bibliotecas são um recurso compartilhado que permite a qualquer pessoa acessar gratuitamente o conhecimento acumulado pela humanidade
• Seria difícil aceitar que poucas empresas comprassem todas as bibliotecas, decidissem quais livros podem ser lidos e alterassem discretamente seu conteúdo
  • A IA fechada é parecida com uma biblioteca do futuro à qual só se pode acessar nos termos definidos por seus proprietários
• Quando poucas empresas definem os limites permitidos de um modelo ou ajustam a forma como ele chega às respostas, quem depende desse modelo deixa de compreender plenamente seus resultados
  • médicos que usam o modelo para diagnóstico
  • engenheiros que delegam projetos a ele
  • juízes que o consultam em seus julgamentos
  • e usuários comuns que perguntam no que devem acreditar enfrentam o mesmo problema

Explicação do modelo não é trilha de auditoria

• Mesmo que um modelo possa dizer por que chegou a uma resposta, explicação e auditoria não são a mesma coisa
• A justificativa fornecida pelo modelo não é um registro fiel do cálculo real que produziu a resposta, mas uma narrativa plausível montada depois que o resultado já saiu
• Se a resposta para a mesma pergunta mudar no ano seguinte, talvez não exista meio de verificar se foi a realidade que mudou ou se o fornecedor alterou o modelo
• Usuários que dependem desse tipo de sistema, em vez de usar ferramentas que podem compreender, acabam confiando em um sistema semelhante a um oráculo cujo interior não pode ser investigado

Os riscos criados pela IA aberta e pela IA fechada

• A objeção de que a IA é perigosa demais para ser aberta merece consideração séria
• Artigos científicos descrevem capacidades, mas o software de IA subjacente é em si a capacidade; por isso existe uma assimetria real entre divulgar pesquisa em geral e divulgar IA
• Ainda assim, o fechamento não é uma resposta inevitável
  • Descobertas científicas também podem ser usadas de forma indevida, mas em vez de transformar toda a física em segredo, aplicam-se supervisão e regras enquanto o conhecimento fundamental permanece aberto
  • Modelos fechados também podem vazar ou sofrer jailbreak, portanto não são seguros apenas por serem fechados
• A concentração de poder que permite a poucas empresas decidir o que o resto da sociedade pode construir cria um risco separado
• O critério de julgamento não deve ser se um modelo aberto traz risco zero, mas se ele cria um risco adicional significativo em relação às capacidades que já estão disponíveis

A diferença entre código de execução e código de construção

• Por trás de um modelo existem dois tipos de código: o código que executa o modelo e o código que construiu o modelo
• Poder executar diretamente um modelo é útil, mas para a transparência é ainda mais importante ter acesso ao código de construção e aos dados de treinamento que mostram como ele foi feito
• Muitos modelos hoje chamados de abertos, de grandes institutos de pesquisa chineses e de algumas empresas americanas, fornecem o código de execução, mas não divulgam o código de construção nem os dados de treinamento
• O que os usuários recebem é um enorme conjunto de números que produz inteligência, mas cujo processo de formação é desconhecido; algo mais próximo de números mágicos que podem ser executados, mas não explicados
• Até mesmo a divulgação do código de execução não é um compromisso duradouro, mas uma concessão feita a critério da empresa, e não há garantia de que os modelos mais poderosos do futuro continuarão sendo abertos
• Uma abertura que pode ser interrompida a qualquer momento não pode servir de base, por isso ambas as coisas são necessárias
  • modelos abertos que qualquer pessoa possa usar e expandir
  • código-fonte e dados de treinamento abertos para que qualquer pessoa possa verificar o processo de criação

Investimento em IA open source como bem público

• O argumento não é contra a existência de empresas de IA nem contra a IA privada em si, mas sim que a IA privada fechada não deve se tornar a única opção
• A IA privada nos Estados Unidos já recebe apoio suficiente, enquanto a IA open source tem uma base de defesa mais fraca e pode ficar facilmente de fora de políticas e investimentos
• Os modelos de ponta podem continuar crescendo em escala e custo, de modo que a competição nesse nível talvez permaneça território das gigantes
• Para ser útil, a IA de código aberto não precisa necessariamente ter a mesma escala dos modelos de ponta, e muitas das tarefas de que o mundo precisa talvez não exijam desempenho absoluto de fronteira
• Se manter alternativas abertas confiáveis exigir grandes recursos computacionais, isso é um bem público que vale o custo
• Governos, setor privado e organizações sem fins lucrativos devem investir ativamente em IA livre e de código aberto
  • oferecer subsídios públicos de computação para pesquisa aberta
  • apoiar com recursos corporativos e filantrópicos universidades e organizações sem fins lucrativos que realizem esse tipo de pesquisa
  • adotar o princípio de que a IA desenvolvida com recursos públicos deve ser aberta por padrão
• É preciso levar para a IA a mesma lógica de investimento em software open source que impulsionou o avanço tecnológico

[GN⁺]

Opiniões no Hacker News

• Empresas privadas de IA treinam modelos com dados que, na prática, foram tomados de todos e ainda criam grandes riscos; por isso, deveriam ser obrigadas a distribuir modelos com pesos abertos sob licença não comercial
  Esse, e não a captura regulatória promovida por Dario, deveria ser o núcleo da política de segurança

  • Não sei que precedente existe para a alegação de que os dados foram roubados. Durante os últimos 20 anos, pessoas que bloqueavam anúncios, juntavam 5 TB de filmes e músicas pirateados e diziam “nunca vou pagar por arquivos digitais” agora acusam grandes modelos de linguagem de roubo quando eles preveem o próximo token a partir de datasets
    Se alguém está realmente indignado com o treinamento sobre todos os dados disponíveis sem remuneração, só dá para dizer que é o feitiço virando contra o feiticeiro
  • Concordo, especialmente porque agora ficou mais difícil para concorrentes obterem a mesma vantagem. Mesmo que não precisem abrir tudo imediatamente nem liberar até os ajustes finos, pelo menos os pesos do modelo-base deveriam ser publicados
  • Em alguns tipos de risco, como instruções passo a passo para fabricar armas biológicas infecciosas, pesos abertos podem na verdade aumentar o perigo
  • É uma ideia interessante, mas então a China também não conseguiria criar imediatamente modelos no mesmo nível que os nossos? O valor econômico de investir no treinamento de modelos também poderia cair bastante
  • Por que proibir o uso comercial? As empresas nem fizeram o trabalho de base difícil; é vergonhoso que tenhamos permitido privatizar assim um recurso compartilhado

• Precisamos copatrocinar prêmios de incentivo direcionados para modelos abertos, nos moldes da abordagem de Michael Kremer, vencedor do Nobel
  A cada 6 a 12 meses, pagar US$ 200 mil ao primeiro modelo que ultrapassar o patamar em 5 a 10 benchmarks difíceis e um benchmark privado, com 16 GB, 32 GB, 64 GB e 128 GB de VRAM e comprimento de contexto mínimo de 200K; na rodada seguinte, basta elevar o patamar. A quantização seria livre, mas o modelo teria de usar exatamente aquela quantidade de VRAM no hardware de referência, sem transbordar para RAM ou disco
  O dinheiro poderia vir de crowdfunding, com prêmios adicionais voltados a demandas corporativas específicas, como processamento de PDFs, para subsidiar de forma cruzada. Por exemplo, 25% dos prêmios corporativos iriam para o fundo geral. Para empresas de modelos abertos, dinheiro ajuda, mas uma validação clara e reconhecida que destaque o modelo e aumente seu uso pode ser ainda mais valiosa

  • Lembro que o governo coreano realizou uma competição parecida. No ano passado, vários modelos foram lançados ao mesmo tempo para avançar para a etapa seguinte, mas os modelos em si não foram particularmente impressionantes
    Classes de hardware bem definidas são um bom diferencial, mas os benchmarks precisam obrigatoriamente ser privados. Criar e administrar bons conjuntos de avaliação para cada etapa é difícil até em avaliações internas honestas de laboratórios; para garantir confiança, seria preciso publicá-los ao fim de cada rodada e criar uma nova avaliação para a próxima. É possível, mas o custo de gestão da avaliação pode superar o valor total dos prêmios, e isso teria de se repetir continuamente
  • Mesmo que eu não consiga treinar um modelo de ponta, seria divertido participar na categoria de 16 GB. Modelos de ponta estão muito acima dessa faixa, então deve haver muitas técnicas de otimização ainda não consideradas
  • Seria bom acrescentar requisitos de reprodutibilidade e não manter exatamente os mesmos benchmarks por tempo demais
  • US$ 200 mil talvez nem cubram o custo de eletricidade do treinamento

• FOSS é uma analogia ruim. Construir grandes modelos de linguagem de ponta é menos uma área de engenharia e mais um programa de pesquisa científica
  Também existem programas de pesquisa que, na prática, funcionam como open source, incluindo universidades e grandes projetos como o CERN. A IA também cresceu nas universidades, mas ficou claro que o capital necessário só pode ser levantado no setor privado
  Um programa público sério de pesquisa em IA é possível, mas não seria apenas aumentar um pouco o financiamento universitário; estaria mais perto de um Projeto Manhattan ou Programa Apollo, que os laboratórios de ponta já usam como referência

  • O custo total do Projeto Manhattan, ajustado pela inflação, foi de cerca de US$ 40 bilhões, mas a Anthropic levantou US$ 65 bilhões em uma única rodada recente
    O custo total do Programa Apollo, no auge da Guerra Fria, seria de cerca de US$ 300 bilhões em valores atuais, algo parecido com o total já captado por OpenAI e Anthropic juntas. É duvidoso que, no ambiente político e econômico atual, governos consigam financiar IA nesse patamar. Em comparação, o LHC custou menos de US$ 10 bilhões ao longo de um período muito mais longo
  • Vendo por outro ângulo, a pesquisa em IA vinha avançando nas universidades, e só recentemente o setor privado percebeu o potencial de lucro ao combiná-la com tecnologias modernas de CPU e GPU
    Pode soar como a mesma coisa, mas a perspectiva é diferente. Um programa acadêmico de pesquisa não teria gasto dezenas de bilhões de dólares em data centers para oferecer IA gratuitamente ao público geral

• Já estamos investindo em IA open source, mas nada é realmente grátis. A IA comercial, em que desenvolvedores trabalham em tempo integral e são remunerados, geralmente tende a prevalecer; é difícil que boa vontade e contribuições em meio período superem de forma estável a necessidade de sustento e o incentivo ao lucro

  • Disseram o mesmo sobre áreas de software grandes e complexas, incluindo sistemas operacionais, bancos de dados e compiladores, mas com o tempo o software open source passou a ocupar uma posição cada vez mais dominante
  • Inteligência artificial geral (AGI) não é software
    Se Altman, Amodei, Zuckerberg e Musk, os quatro que controlam quase monopolisticamente os modelos fechados de ponta, não estiverem enganando investidores e realmente criarem AGI, as opções deixadas por modelos fechados serão apenas um governo poderoso ou um oligopólio/monarquia poderosa
    Musk e Zuckerberg têm o comando estruturalmente. Altman, depois de expurgar rivais e privatizar, efetivamente garantiu o comando e a lealdade da organização; Amodei tem influência suficiente para possivelmente reverter a atual estrutura de governança

• O fato de um software ser de código fechado não significa que o conhecimento não possa ser compartilhado. É possível explicar padrões de arquitetura ou boas práticas sem ver o código subjacente
  A analogia com bibliotecas só fica correta se provedores de grandes modelos de linguagem precisarem se recusar a responder perguntas sobre aprendizado por reforço ou Transformers
  Apoio fortemente modelos de código aberto e pesos abertos, mas meu principal motivo é achar que eles são produtos melhores. Os custos de treinamento e operação são muito menores, e a maioria das tarefas talvez não exija inteligência de ponta. Se deixado ao mercado, grandes modelos de linguagem ficarão parecidos com linguagens de programação, e os grandes laboratórios provavelmente ganharão dinheiro com ajustes finos para usos específicos ou implantações para clientes

  • Não dá para deixar só ao mercado. Clientes nem sempre escolhem a opção tecnicamente superior ou mais barata

• Pela lógica usada para empurrar IA, alguns prompts cuidadosamente escolhidos para grandes modelos de linguagem poderiam reproduzir o trabalho de desenvolvedores open source; então por que deveríamos financiá-los? Não deveria ser a empresa de IA a financiar FOSS para poder memorizar mais soluções?

• Basta tirar “IA” do título. Governos, empresas e organizações sem fins lucrativos devem investir em software livre e open source

• A analogia com bibliotecas em si faz sentido, mas a parte incômoda é que a maioria dos modelos abertos se parece mais com receber um binário compilado do que com receber uma biblioteca

• Se o público quiser manter algum controle, cooperativas de propriedade dos membros podem ser o caminho a seguir

• David Siegel disse, em uma palestra há cerca de 2 anos, https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420, que a expansão de data centers de IA era prematura
  A analogia era que, mesmo que a abordagem atual continue escalando, isso seria como, no início da computação, alguém inventar um algoritmo O(n²), o bubble sort, para ordenar números, e então empresas de tecnologia decidirem construir data centers gigantes para ordenar números em vez de procurar métodos O(n log n). Ele está totalmente certo, e isso também vale para IA open source

  • Perguntem a Amodei o que ele pensa hoje sobre ter recorrido até aos chamados vilões astronautas para obter recursos de computação que não estavam disponíveis em nenhum lugar do mercado