White paper técnico sobre as contradições estruturais da autocorreção autônoma por IA e arquitetura determinística
(drive.google.com)Encontrei por acaso um PDF interessante navegando pela internet. Li e, pessoalmente, achei o conteúdo bem impactante, então resolvi compartilhar.
Parece ser um texto criticando a abordagem de múltiplos agentes que todo mundo está promovendo no cenário atual de IA, dizendo que não se deve dar autonomia à IA e que ela deveria ser usada quase como uma "peça de renderização".
Até o título do documento está marcado como provisório, e como na parte final aparece uma história sobre dados de validação prática (PoC), fiquei com a impressão de que talvez seja um white paper interno escrito por alguma empresa deep tech ou instituto de pesquisa para captação de investimento e que acabou vazando.
Sinceramente, não entendi 100% de tudo o que está escrito, mas achei interessante o tom direto de confronto, dizendo abertamente que a direção que as big techs estão seguindo agora está errada, então resolvi postar.
Não é uma matéria oficial; estou compartilhando o link enviando pelo meu Google Drive.
5 comentários
Para engenheiros que lidam com IA, é um pressuposto básico tão óbvio que nunca foi segredo que, em grandes modelos de linguagem (LLMs), 'criatividade' e 'alucinação (Hallucination)' são, no fim das contas, produtos do mesmo mecanismo probabilístico de previsão do próximo token (Next-token prediction), mas o white paper exagera isso como se estivesse revelando um grande segredo.
É um pouco decepcionante a lógica de limitar e criticar a 'autocorreção' de múltiplos agentes como mera 'iteração homogênea (Homogeneous Iteration)' dentro do mesmo contexto.
Na prática, quando se integra agentes inteligentes ao IDE em ambientes reais de desenvolvimento e se faz engenharia de prompts avançada, essa natureza probabilística do modelo não é tanto uma 'falha fatal intransponível', mas apenas uma 'condição básica' que deve ser tratada como constante ao projetar o sistema. Já se parte do pressuposto de que o modelo pode sair do contexto, e a abordagem do mundo real é garantir controle efetivo fornecendo contextos claramente separados ou usando contextos em diferentes escalas.
No entanto, este white paper pega esse fato óbvio, conhecido por todos, e o embala com termos acadêmicos grandiosos como 'erro categorial' e 'desvio probabilístico', gerando ansiedade. O objetivo parece claro. Só ao rebaixar completamente a própria autonomia dos LLMs é que eles conseguem maximizar o valor da 'rede de controle determinística projetada diretamente por humanos (sistema SERA)' que propõem.
No fim, este texto está mais para um discurso de vendas enviesado, escrito para convencer tomadores de decisão de ambientes corporativos que temem os riscos das alucinações a 'adotar nosso pipeline determinístico hardcoded em vez de agentes incontroláveis', do que para um white paper tecnicamente equilibrado.
É um texto sem substância, só enumera argumentos e não traz evidências decisivas nem experimentos diretos para sustentar as alegações.
Parece uma extensão entediante daquelas falas do Yann LeCun, tipo: "mesmo chegando ao GPT-5000, o modelo não vai aprender que, se você colocar um objeto sobre a mesa e empurrar a mesa, o objeto também será empurrado junto", ou "modelos autorregressivos inevitavelmente entram em colapso à medida que a sequência fica mais longa por causa do acúmulo de erros"...
Falando francamente, dá até para suspeitar que isso não seja um upload para viralizar a empresa mencionada no fim do white paper.
Isso aí já não é nem brincadeira..
Parece ser apenas o debate sobre Neuro-Symbolic que vem se arrastando há tempos. Houve uma época em que se atribuía muito mais significado a "determinístico" do que hoje. Mas, à medida que o desempenho melhorou a ponto de os modelos probabilísticos se aproximarem de um nível determinístico, muito espaço para discussão acabou desaparecendo. No fim, o que sempre quisemos não era algo determinístico, mas uma incerteza "aceitável". Nesse sentido, pelo menos do ponto de vista da "indústria", e não da academia, talvez não seja necessário atribuir tanto significado ao determinismo. Afinal, mesmo que a integração avance quando a incerteza dos modelos generativos atuais chegar a um ponto de estagnação, não será tarde demais.
Está escrito de forma difícil, mas no fim o que se quer dizer é algo que também se aplica às pessoas.
A questão é se um texto escrito pelo idiota A fica melhor só porque o próprio idiota A o revisa de novo.
Claro, em alguns poucos casos há margem para melhorar, e também existe a probabilidade de chutar todas as questões e tirar nota máxima no CSAT, mas na maioria dos casos isso só regride para o nível médio do idiota A após N tentativas.
(Não consigo concordar completamente com o Capítulo 2.)
Mas, como o artigo diz, seria bom entenderem que qualquer what-ever Scaling Law é uma lei de aumento temporária, não algo eterno.
Se tivessem lido direito o artigo da OpenAI, nem estariam falando esse tipo de coisa.
Na verdade, mais do que 100 artigos desses, bastaria provar que a pessoa que afirma que "funciona" realmente se tornou alguém que consegue fazer funcionar, e pronto.
O problema é que ficam só nessa alquimia do "funciona".