54 pontos por GN⁺ 27 일 전 | 4 comentários | Compartilhar no WhatsApp
  • Como mudanças centrais da era da IA, cinco ideias — melhoria autônoma de componentes, engenharia baseada em intenção, transição para transparência, reconhecimento de scaffolding e difusão da expertise — estão se reforçando mutuamente e reconfigurando de forma fundamental como todas as organizações operam
  • Inspirado no projeto Autoresearch de Karpathy, um ciclo que define o estado desejado e avalia/melhora automaticamente pode se expandir além da pesquisa em ML para segurança, consultoria, recrutamento e qualquer outra área
  • A nova habilidade central de engenharia não é programar nem escrever prompts, mas sim expressar com clareza o resultado desejado em critérios verificáveis
  • À medida que a IA torna visíveis os custos, a qualidade e os processos reais dentro das organizações, fica claro que 75% a 99% do trabalho do conhecimento era scaffolding (trabalho acessório)
  • Quando o conhecimento que existia apenas na cabeça de especialistas é extraído para skills, SOPs e arquivos de contexto, surge um efeito catraca irreversível em que todas as instâncias de IA aprendem ao mesmo tempo

1. Otimização autônoma de componentes (Autonomous Component Optimization)

  • O projeto Autoresearch de Karpathy é um caso representativo que concretiza esse conceito: ao inserir uma ideia em um arquivo PROGRAM.md, o sistema automatiza tarefas incômodas como ajuste de parâmetros de modelo e configuração do ambiente, e obtém resultados melhores do que antes por meio de otimização de ML
  • O Autoresearch está se expandindo para além de um único projeto como o paradigma "Autoresearch for X", e pessoas de várias áreas exploram a possibilidade de aplicar a mesma abordagem aos próprios projetos
  • Em combinação com os conceitos de verificabilidade generalizada (general verifiability) ou hill-climbing generalizado, cria-se uma estrutura que decompõe todos os resultados em critérios de estado ideal (ideal state criteria) e os melhora automaticamente
  • O conceito de Evals for everything se conecta a isso, e o ponto central é que toda atividade se torna não apenas mensurável, mas também melhorável
    • A base que torna isso possível é a transparência (transparency)

Ciclo universal de melhoria (Universal Improvement Cycle)

  • Um ciclo que se tornará o modelo operacional padrão para toda empresa, organização, governo e indivíduo:
    • Estruturar objetivos em missão, metas, workflows e SOPs
    • Agentes executam os workflows
    • Fazer logging amplo de saídas, conversas, resultados e qualidade
    • Erros, falhas e problemas de qualidade fluem para o ponto de coleta de problemas daquela organização
    • Um algoritmo de autoaperfeiçoamento busca os dados nesse ponto de coleta e realiza resolução de problemas, experimentação, validação e otimização no estilo autoresearch
    • Depois de verificar as mudanças, atualiza os SOPs e repete o ciclo
  • O núcleo desse ciclo: mapeamento de objetivos → execução por agentes → logging completo → coleta de falhas → melhoria autônoma → atualização de SOPs → repetição, com aceleração da velocidade a cada iteração

2. A transição para a engenharia baseada em intenção (Intent-Based Engineering)

  • O verdadeiro poder da IA está em mover do estado atual para o estado ideal, mas antes disso é preciso ser capaz de articular com clareza aquilo que realmente se quer
  • O problema do articulation gap é grave: se você perguntar a um CEO qual seria um programa de segurança ideal, ele apenas gesticula; se perguntar a um líder de equipe o que significa “concluído”, surgirá um parágrafo que três pessoas interpretarão de três maneiras diferentes
    • Essa lacuna existe não apenas entre especialistas e IA, mas também entre líderes e suas próprias organizações
  • Como metodologia concreta, toda solicitação deve ser decomposta retroativamente em critérios discretos e testáveis de estado ideal com 8 a 12 palavras, aplicando uma avaliação binária (pass/fail)
    • Quando esses critérios estão definidos, hill-climbing, avaliação e melhoria automática passam a ser todos possíveis
  • A nova habilidade central de engenharia não é programar nem escrever prompts, mas sim expressar intenções com clareza em um nível verificável

3. A transição da opacidade para a transparência (Opacity to Transparency)

  • Até agora, as empresas não conseguiam entender corretamente o que realmente acontecia internamente: custo real dos processos, tempo necessário, qualidade dos entregáveis e até a distinção entre quem executa o trabalho real e quem executa o trabalho acessório
  • A maioria das organizações vinha operando com "sensações e planilhas", mas a IA está convertendo trabalho real, custo e qualidade em algo mensurável de um modo antes impossível
  • Quando a transparência é assegurada, a melhoria se torna possível, e isso pode ser aplicado a todas as organizações, de empresas e governos a equipes pequenas
  • O primeiro fato que a transparência revela é que a maior parte do trabalho nunca foi trabalho real

4. A maior parte do trabalho é scaffolding (Most Work is Scaffolding)

  • O que a IA revelou é que 75% a 99% do trabalho do conhecimento corresponde a overhead de scaffolding
    • Em testes de segurança, desenvolvimento, consultoria e outras áreas, a maior parte do tempo é consumida com manutenção de ferramentas, workflows, templates e bases de conhecimento
    • O pensamento realmente difícil (hard thinking) é realizado por muito poucas pessoas, durante muito pouco tempo
  • A IA lida extremamente bem com a parte de scaffolding: quando contexto, metodologia e ferramentas são empacotados como skills em Agent Skills, a IA consegue executar a maior parte do trabalho em nível igual ou superior ao de especialistas
  • O trabalho em si não era o difícil; o difícil era manter o scaffolding

5. A publicização da expertise (Expertise Diffusion)

  • O articulation gap: existe uma grande lacuna entre o que o especialista sabe e o que está documentado
    • Exemplo: se o funcionário de 62 anos "Cliff", que sabe tudo mas não documentou nada, se aposenta, esse conhecimento desaparece
  • Hoje, a expertise está sendo armazenada de forma distribuída em skills, SOPs, arquivos de contexto e projetos open source, e uma vez extraído, esse conhecimento não pode mais ser removido
    • A analogia é com "urina jogada na piscina": skills públicas, processos documentados e debriefings com especialistas entram permanentemente na base coletiva de conhecimento
  • O efeito de catraca irreversível (one-way ratchet): humanos levam 20 a 30 anos para acumular expertise profunda em um domínio, esquecem e se aposentam, enquanto a IA absorve instantaneamente a expertise capturada, nunca a esquece e pode ser replicada infinitamente
  • A diferença entre a velocidade de acumulação de expertise humana e a velocidade de acumulação de expertise da IA está aumentando a cada dia

Implicações (Implications)

A melhoria autônoma muda a velocidade em todas as áreas

  • Quando se consegue definir o estado ideal, medi-lo e iterá-lo automaticamente, meses de ajuste manual podem ser concluídos da noite para o dia
  • Isso se aplica não só à pesquisa em ML, mas também a programas de segurança, entregáveis de consultoria, pipelines de conteúdo, processos de recrutamento e tudo que tenha um estado ideal definível
  • Todas as organizações passarão a operar o mesmo ciclo (mapeamento de objetivos → execução por agentes → logging → coleta de falhas → melhoria autônoma → atualização de SOPs), e as que adotarem isso primeiro abrirão uma distância competitiva impossível de alcançar por causa do efeito composto

A intenção se torna o gargalo

  • A nova habilidade escassa não é programar nem escrever prompts, mas sim ser capaz de dizer com clareza o que se quer
  • A qualidade da ideia continua sendo o fator mais importante, e o segundo mais importante é a capacidade de expressar, definir e alinhar toda a organização em torno dessa ideia
  • A maioria dos líderes e empresas ainda não consegue fazer isso, e as organizações que resolverem isso primeiro poderão concentrar todas as ferramentas de otimização em objetivos reais

Tudo se torna transparente

  • Há uma transição de sensações opacas para componentes transparentes e otimizáveis, reduzindo os lugares onde charlatães e gatekeepers podem se esconder
  • Também na competição entre produtos e serviços, agentes passarão a exigir dados reais e verificáveis de desempenho, em vez de copy de marketing ou recomendação de clientes; quem não tiver isso ficará para trás

Commoditização do scaffolding (Commoditization)

  • Fica claro que o que era visto como expertise em certos domínios era, na verdade, em grande parte scaffolding que a maioria das pessoas não entendia
    • Exemplo: configurar e manter um ambiente específico de desenvolvimento, ou o trabalho acessório de profissões bem remuneradas como direito e consultoria

O conhecimento especializado vira infraestrutura pública

  • O conhecimento antes detido apenas por especialistas logo será possuído por todos, especialmente pela IA
  • A vantagem de 50 anos de experiência em um domínio específico não vai durar muito, porque esse conhecimento será extraído pela própria pessoa ou por colegas no mundo todo

Resumo central e conclusão

  • As cinco ideias interagem entre si e se amplificam mutuamente
  • Não apenas diferentes componentes podem ser melhorados, como a própria velocidade de melhoria também melhora
  • Todas as empresas, governos e organizações convergirão para o mesmo ciclo (definição de objetivos → execução por agentes → logging completo → coleta de falhas → melhoria do próprio sistema), e as organizações que chegarem primeiro formarão uma vantagem composta que o restante não conseguirá alcançar

4 comentários

 
softer 25 일 전

A organização está bem caprichada, mas no fim o trabalho continua o mesmo e nada mudou; converge para "compartilhar conhecimento para que eu também possa trabalhar com IA".

 
hanje3765 25 일 전

É preciso que fique registrado com qual intenção o código foi escrito para resolver aquele problema.

Com o passar do tempo, só fica a pergunta: com que objetivo isso foi implementado assim?..

 
geekpi 26 일 전

Você só sabe quando tenta: apenas dados inacessíveis são um fosso.

 
runableapp 26 일 전

Talvez minha compreensão seja limitada, mas, sinceramente, não entendi muito bem o que você está tentando dizer.