- Aponta revisão de código baseada em LLM e verificação de idade como dois fatores que mudarão o futuro do FOSS, prevendo em especial que a verificação de idade será o gatilho para o fim do FOSS em sua forma atual
- A revisão de código por LLMs investiga um espaço de busca mais amplo e profundo do que seria difícil para humanos examinarem, mas sua utilidade pode diminuir após grandes resultados iniciais, deixando incerta sua sustentabilidade econômica
- Se Estados que tentam responder ao crime online e proteger crianças exigirem verificação de idade, serão necessários softwares comprovados criptograficamente, que os usuários não possam modificar, e plataformas de computação correspondentes
- As exigências da UE por soberania digital e responsabilização entram em conflito com a estrutura do FOSS, que depende de mantenedores individuais e cláusulas de isenção de responsabilidade; se houver receita, também acaba a exceção para FOSS do Cyber Resilience Act
- Projetos FOSS influentes podem passar a ser operados por comitês nomeados por empresas ou organizações gestoras, em vez de um Ditador Benevolente Vitalício (BDFL) individual, e os usuários talvez só possam ler o código-fonte ou compilá-lo sem modificações
O último Bikeshed e duas variáveis para o futuro
- Cerca de 20 anos atrás, um pedido para escrever sobre memória flash deu início à coluna Bikeshed, publicada aproximadamente uma vez por ano
- Por não querer se tornar um veterano cheio de certezas, encerra a coluna e espera que suas previsões sobre o futuro distante estejam completamente erradas
- Aponta revisão de código assistida por LLM e verificação de idade como temas que terão grande impacto sobre o FOSS atual
Resultados e limites da revisão de código por LLMs
- Em experiências com várias ferramentas de qualidade de código, o mesmo padrão apareceu repetidamente
- Nos primeiros 1 ou 2 dias, surge uma grande quantidade de problemas a resolver
- Entre o 3º e o 5º dia, aparecem alguns bugs claros e problemas que tecnicamente são bugs, mas não são graves
- A partir da segunda semana, quase não surgem novos resultados
- Esse padrão se mantém desde quando encontrou
lint(1)no manual do Zilog Zeus, em 1984, até o uso recente da análise estática do Clang - Com base nisso, considera possível que mais da metade dos piores bugs de software que ferramentas de LLM poderiam encontrar já tenham sido divulgados
- O fato de a indústria de IA tentar divulgar grandes resultados o mais rápido possível para alimentar o entusiasmo dos investidores também sustenta essa estimativa
- Sugere que fornecer a um modelo toda a documentação de projeto e conclusão de uma usina nuclear testaria os limites de lidar com a complexidade de sistemas de engenharia humana e, ao mesmo tempo, atrairia grande atenção
A busca por bugs parecida com xadrez
- A busca por bugs feita por ferramentas de LLM é semelhante ao xadrez computacional
- Humanos exploram caminhos prováveis de forma probabilística e heurística para economizar tempo e energia
- LLMs conseguem investigar a árvore de busca de forma mais ampla e profunda do que humanos
- Ataques e defesas cibernéticas são, em essência, jogos parecidos com xadrez, e serão necessárias ferramentas melhores para escrever programas dos quais vidas dependerão no futuro
- A questão central é se a revisão de código por LLMs pode fazer sentido economicamente fora da bolha de investimentos
Custo de treinamento de modelos e economia de replicação
- A maior parte do trabalho e dos custos de um modelo é investida antecipadamente na etapa de treinamento, mas o resultado, os pesos do modelo, é pequeno o bastante para caber em dispositivos modernos de armazenamento portátil
- Para gerar lucro, é preciso vender os mesmos pesos milhões de vezes
- Isso se parece com a indústria de cinema e vídeo, que gasta milhões de dólares em cenários, atores, figurinos, efeitos especiais e marketing para produzir um vídeo 4K que cabe em um pequeno dispositivo de armazenamento, e depois recupera o investimento em unidades equivalentes a parte da mesada de um adolescente
- Hollywood manteve essa estrutura em certa medida com proteção de direitos autorais, mas a indústria de LLMs, ao invocar repetidamente uso justo (fair use) em processos por violação de direitos autorais, pode ter dificuldade para obter a mesma proteção
- Se a bolha de investimentos estourar e os resultados diminuírem gradualmente, não fica claro quem arcará com o custo de treinar a próxima geração de modelos
O conflito entre Estados e anonimato após a criptografia
- As comunicações iniciais do tipo armazenar e encaminhar (store-and-forward) e o open source que surgiu delas não atraíam grande interesse de atores influentes
- Com a possibilidade de monetização, surgiu financiamento para desenvolvimento, e isso evoluiu para o mercado maior de comunicação digital online
- Nesse processo, o FOSS acelerou tanto o avanço tecnológico quanto a geração de receita
- Depois das revelações de Edward Snowden, a indústria de tecnologia promoveu uma ampla adoção de criptografia de ponta a ponta para impedir vigilância
- Como resultado, ficou mais fácil para criminosos esconderem rastros online, e processos criminais são difíceis, exceto contra criminosos incompetentes ou em casos com grande prejuízo econômico
- Considera que muitos crimes digitais nem chegam a ser denunciados porque há a percepção de que a polícia não consegue resolvê-los
- Avalia que a criptografia encurralou os Estados em uma situação sem saída, e que agora eles estão tentando escapar dela
Verificação de idade e redução da privacidade
- Defensores da privacidade se opõem à verificação obrigatória de idade, argumentando que ela pode levar à identificação abrangente de toda a internet, e tratam as preocupações civis do governo como uma simples lógica de “pensem nas crianças”
- Avalia que são muito raras as mulheres na tecnologia que exigem um direito absoluto à privacidade
- Prevê que a anonimidade na internet será reduzida a ponto de pais não precisarem ter uma conversa separada com a filha sobre riscos online quando ela receber seu primeiro celular, e apoia isso como pai de uma filha
- Considera que teria sido possível projetar protocolos minimamente compatíveis com o Estado de direito, mas, ao tratar qualquer compromisso como traição, acabaremos perdendo mais privacidade do que seria necessário
O conflito entre FOSS modificável e verificação de idade
- Se for possível alterar o código-fonte e recompilá-lo, o usuário poderá remover o recurso de verificação de idade
- Apresenta como única forma de impedir isso a integridade de software comprovada criptograficamente
- Alguém precisa garantir oficialmente que o sistema operacional é confiável
- Se o usuário puder modificar o sistema operacional e recompilá-lo, ninguém aceitará oferecer essa garantia
- A internet está se fragmentando rumo a uma área cada vez menor que possa ser acessada por qualquer navegador, dispositivo ou software
- Cada vez mais serviços só poderão ser acessados em uma plataforma de computação atestada (attested computing platform), e talvez o usuário possa ver o código-fonte, mas não alterá-lo
Soberania digital da UE e responsabilização
- Em meio a décadas de neoliberalismo e globalização, a indústria de tecnologia dos EUA dominou a maior parte do mercado europeu de TI, incluindo redes sociais
- A UE, seus Estados-membros e suas empresas veem isso como um erro grave e tentam recuperar a soberania digital
- Se houvesse monopólios online próprios da Europa, seria possível responder com mudanças legais, mas não há empresas europeias equivalentes a Google, Apple, Oracle, Microsoft, Facebook e Twitter
- Mesmo que CIOs europeus encontrem código-fonte FOSS, não há fornecedor com quem negociar contratos nem contraparte para assinar
- A cultura organizacional existente prefere transferir responsabilidade para outros atores em vez de resolver problemas, mas isso não combina com questões como soberania digital, que exigem um responsável final
- Devido às cláusulas de ausência de garantia e isenção de responsabilidade comuns nas licenças FOSS, também é difícil aplicar ao FOSS os mecanismos tradicionais de alocação de responsabilidade
- Para decisores que cresceram em um ambiente em que “ninguém é demitido por comprar Microsoft”, essa transição não é familiar
A exceção para FOSS no Cyber Resilience Act
- A UE vê o FOSS como a única esperança realista para a soberania digital e ofereceu uma grande exceção na legislação recente, o Cyber Resilience Act
- No entanto, essa exceção termina no momento em que se obtém receita com FOSS
- Como parece que haverá lucros consideráveis com FOSS na UE ao longo dos próximos 10 anos, prevê que a comercialização acelerará o fim do FOSS em sua forma atual
Sustentabilidade da estrutura de mantenedores individuais
- Muito do FOSS existe por vontade de uma única pessoa, que talvez não saiba ou não se importe com quanta infraestrutura foi construída sobre seu projeto
- O burnout de mantenedores já existe e, como o FOSS parece mais um fenômeno geracional, semelhante a calças boca de sino ou flower power, a morte de mantenedores também pode se tornar um problema mais frequente
- Já é difícil atrair sucessores para substituir mantenedores que dependem da boa vontade da geração atual
- Em uma estrutura na qual o mantenedor não é remunerado, enquanto novos “FOSS steward” e “FOSS manufacturer” lucram com o mesmo software, conseguir sucessores se torna ainda mais impossível
- Prevê que a era dos projetos operados por um Ditador Benevolente Vitalício (Benevolent Dictator for Life) acabará, e que projetos influentes serão mantidos por comitês nomeados por organizações gestoras de FOSS ou por empresas
FOSS entrando em cercados
- Para responder à privacidade absoluta que possibilita crimes, serão necessárias plataformas de computação atestadas
- A base da soberania digital da UE também exige um ente gestor com existência legal, não “algum indivíduo”
- O espaço FOSS em que gerações anteriores experimentavam livremente pode se transformar em um ambiente controlado, regulado e aprovado por segurança dentro dos limites pagos pelos contribuintes, separado do tráfego comercial
- Entre as características atuais do FOSS, talvez reste apenas a possibilidade de o usuário ler o código-fonte
- Se builds reproduzíveis se disseminarem, talvez também seja possível compilar o código-fonte diretamente, mas provavelmente com a condição de não modificá-lo
O modelo de loja de aplicativos murada
- O caminho de menor resistência para atribuir responsabilização ao FOSS pode ser o modelo de loja de aplicativos murada
- Apenas kernels comprovados criptograficamente como autênticos fornecem as provas legais necessárias para verificação de idade e acesso à web
- Apenas programas não modificados baixados de uma loja de aplicativos aprovada por uma organização gestora de FOSS são executados fora do sandbox do navegador
- Vê sinais desse futuro na experiência de instalar Ubuntu no novo notebook de um amigo que conhece há mais de 40 anos
- Reconhece a contribuição do Ubuntu para a difusão do FOSS, mas sente que o processo de instalação se parece demais com o futuro que teme, e espera que essas previsões estejam erradas
2 comentários
Opiniões do Hacker News
Decisões reversíveis é melhor deixar que a pessoa que se voluntariou resolva por instinto. Em vez de profissionais com salários altos queimarem de US$ 5 mil a US$ 10 mil em custo de mão de obra somado em reuniões sobre questões pequenas, sai mais barato — e ajuda no crescimento — deixar um engenheiro de nível intermediário reimplementar duas ou três vezes.
As interfaces do código importam para todos, mas a implementação interna importa principalmente para as pessoas do fator ônibus responsáveis por aquele código. Já vi casos em que, mesmo quando a pessoa realmente responsável queria uma abordagem com pouco efeito colateral, o grupo escolhia um design mais chamativo e frágil.
Se a decisão é difícil porque as diferenças entre as opções são pequenas, então a importância também é baixa, a ponto de poder ser decidida no dado.
Como resultado, a base de código e a moral desmoronaram juntas; sobre designs ruins, mais erros se acumularam por falta de orçamento e ausência de processos, e agora ficou difícil até corrigir. O produto se mantém por um fio graças à originalidade em um nicho de mercado e ao apoio da grande empresa que o adquiriu, mas essa empresa também não depende muito dele e não gasta tempo com uma auditoria completa.
Entre várias outras coisas, PHK criou o algoritmo de hash de senhas MD5crypt (
$1$…). Ele foi commitado em 1994, antes do bcrypt (1999), scrypt (2009) e SHA2crypt (2016).https://svnweb.freebsd.org/base/head/lib/libcrypt/crypt.c?re...
https://github.com/freebsd/freebsd-src/commit/3b2b7f71deba2a...
https://phk.freebsd.dk/sagas/md5crypt/
https://en.wikipedia.org/wiki/Poul-Henning_Kamp
Na primeira leitura, fiquei irritado, mas, depois de reler algumas vezes, minha impressão mudou bastante. Vale a pena ler várias vezes para tentar entender o que o autor realmente quer dizer.
O autor parece achar que uma pequena concessão poderia apaziguar os tribunais, mas errou ao identificar a motivação. As leis reais vêm do lobby das grandes empresas de tecnologia, que querem evitar responsabilidade e lucrar com a venda de dados de usuários: https://github.com/upper-up/meta-lobbying-and-other-findings
A restrição de idade não deve ter grande impacto sobre FOSS no longo prazo. A tecnologia moderna, especialmente as redes sociais, causa danos a crianças, então a regulamentação em si é compreensível
Uma regulamentação razoável deixaria parte da responsabilidade com os pais, mas aplicaria restrições de idade por padrão a dispositivos de consumo como smartphones e notebooks, e poderia impedir a substituição do sistema operacional ou do firmware antes da verificação de idade. O alvo não deveria ser todo software, mas apenas produtos pré-instalados em dispositivos de consumo ou distribuídos comercialmente; após a verificação, deveriam permanecer abertos como hoje
No Family Link, mantenho restrições rígidas, mas me pergunto por que apenas o impacto do tempo de tela sobre a mente deveria ser tratado como algo especial, diferentemente de permitir esportes mesmo após fraturas repetidas
Mas o projeto de lei atual trata crianças pequenas como hackers e obriga todos os sites a desanonimizar os usuários. É tão invertido que dá para suspeitar que seja o primeiro passo para proibir o anonimato e controlar todo o acesso online; no Reino Unido, já se discute até a proibição de VPNs por causa de crianças que escondem o IP
É uma abordagem absurda, como se, em vez de fechar restaurantes com más condições de higiene, empresas privadas de segurança verificassem a identidade dos clientes para confirmar se eles têm idade para consentir com intoxicação alimentar
A previsão de que “revisões de código assistidas por LLM não causarão uma grande mudança disruptiva” já não condiz com a realidade. Nos últimos meses a um ano, houve avanços rápidos, e a visão sobre LLMs parece bastante ultrapassada
Trabalhando no setor de tecnologia, conheci mulheres que se preocupavam com privacidade e controle estatal; fora do setor, também havia muitas mulheres preocupadas que esse tipo de sistema fosse usado para atacar e discriminar mulheres. Generalizar que quase nenhuma mulher se preocupa com privacidade parece arrogante ou sexista
O próprio autor enquadra a questão a partir de uma perspectiva patriarcal, dizendo que, como pai, se preocupa com a filha
Na prática, tarefas individuais podem ficar mais rápidas, mas o processo de desenvolvimento como um todo não melhora automaticamente; no fim, ele depende muito da capacidade de quem está realmente fazendo o trabalho
Se reguladores intervirem, ecossistemas fechados podem passar a dominar, como o Discord já sinaliza. É bem possível que a era das grandes redes sociais públicas termine e se fragmente em redes privadas de indivíduos que não interagem entre si
Olhando para a história, dá para prever em certa medida que tipos de comportamento surgirão, mas não como a dinâmica geral vai se desenrolar
Dependendo da idade, é bem provável que as filhas já tenham descoberto todo tipo de coisa, ou ouvido de outras pessoas, antes mesmo de ganharem um celular
A postura do autor — exigir que todos os usuários da internet apresentem identidade ao governo para poder entregar à filha adolescente um computador permanentemente conectado, com microfone e câmera, sem considerar nenhum risco — revela preguiça, senso de privilégio e desprezo pela liberdade dos outros
Na frase “pesos de modelos que só dão lucro se forem vendidos milhões de vezes cabem facilmente em um dispositivo de armazenamento de bolso”, não sei a que modelo e dispositivo ele se refere. Ninguém usa Gemma 4 para detectar problemas de cibersegurança, e é difícil distinguir se várias frases do texto são sátira ou sérias; talvez eu tenha lido de forma séria demais
Comentários do Lobste.rs
Reduzir o anonimato na internet pode custar vidas reais, incluindo as de crianças de famílias que tentam reprimir identidades LGBT+
A humanidade evoluiu em ambientes onde o anonimato era natural e sempre dependeu de mecanismos de sobrevivência que só funcionam sem vigilância, além da margem para viver à sua maneira por trás das aparências
Até aprendermos a sobreviver ou evitar ambientes transparentes e a frear a transparência excessiva, é bem provável que continuem ocorrendo vítimas imprevisíveis
Também ignora o fato de que boa parte da violência sexual contra crianças é cometida por familiares
Ao contrário da ideia de que mulheres da área de tecnologia que defendem privacidade absoluta são raras, nós estamos bem aqui
Se você não entende como o direito de não revelar sua identidade na internet ajuda mulheres a sobreviver, talvez esteja mais próximo do tech bro que critica
O futuro não está determinado, e é preciso construir um futuro mais seguro para todos, inclusive para as crianças, ao mesmo tempo em que a liberdade seja garantida como direito humano e a sociedade proteja coletivamente os direitos humanos
A tensão entre segurança e liberdade não é uma falha a ser eliminada, mas uma característica que precisa ser preservada
É difícil entender a base da avaliação de que o FOSS é um fenômeno restrito a uma geração, como calça boca de sino ou a cultura hippie, e que por isso os projetos desapareceriam para além do esgotamento dos mantenedores
Pode parecer mais atraente improvisar um app de mercado de previsão baseado em blockchain em busca de muito dinheiro do que manter um FOSS, que oferece relativamente menos recompensa e reconhecimento
Ainda assim, também é possível que, como reação ao capitalismo tardio, uma visão de mundo mais cuidadosa volte a ganhar força, e eu pretendo fazer minha parte para provocar essa mudança
Se a diferença entre valores e práticas de gerações distintas for grande, pode ser mais fácil para a geração seguinte substituir completamente o projeto do que assumir exatamente o papel dos mantenedores anteriores
Tenho a forte sensação de que o FOSS está passando pela maior transformação desde que o acompanho, há cerca de 20 anos
LLM, saída de mantenedores, investimento de venture capital em projetos de código aberto como Bun, Deno e uv, falta de financiamento para projetos não corporativos e código gerado por IA treinada em código sob licenças que exigem atribuição sem deixar isso claro estão afetando tudo ao mesmo tempo
Espero que a EU CADA e as estratégias de código aberto relacionadas ajudem a aliviar desequilíbrios antigos da comunidade de código aberto
Permitir ou obrigar empresas estrangeiras a exigir e processar informações de identidade dos usuários prejudica diretamente a soberania digital
Se as redes sociais já coletavam o que era compartilhado publicamente, interfaces conversacionais baseadas em LLM coletam até preocupações e fotos que a pessoa nem diria em voz alta, o que é muito mais assustador
Nos últimos anos, tenho liderado no meu trabalho principal iniciativas de soberania digital, e tenho expectativas consideráveis sobre a direção que a CADA pode tomar