Naeildo: basta inserir a URL e 9 agentes de IA analisam a segurança de serviços criados com vibe coding
(naeildo.com)Olá, somos a equipe que está criando a Naeildo.
Cada vez mais pessoas estão criando serviços rapidamente com ferramentas de programação por IA como Cursor e Claude Code. Nós também éramos um desses casos e, em certo momento, ficou a pergunta: "Esse código é realmente seguro?"
Decidimos verificar por conta própria. Analisamos 28 serviços reais de startups coreanas com base no OWASP Top 10, e os resultados foram diferentes do que esperávamos.
- Vulnerabilidades de segurança encontradas em 45% do código gerado por IA
- Pontuação média de segurança dos 28 serviços: 19,4 de 100
- Vulnerabilidades mais comuns: API keys hardcoded, tempo de expiração de JWT não configurado e CORS liberado para todos
Criamos a Naeildo porque queríamos resolver esse problema.
Como funciona
Ao inserir uma URL, 9 agentes de IA se dividem em 3 equipes para fazer a análise.
- Equipe Guard (3 pessoas): análise estática de código, auditoria de dependências e verificação de segurança da infraestrutura
- Equipe Analyst (3 pessoas): testes dinâmicos de segurança, validação de autenticação/controle de acesso e análise de padrões de código gerado por IA
- Equipe Verifier (3 pessoas): verificação de conformidade com o padrão OWASP, validação de compliance e cruzamento de toda a análise
Depois que cada agente analisa de forma independente, é feita uma validação cruzada por um caminho duplo (coleta de sinais externos da URL + integração com servidor MCP). A estrutura é pensada para que o que um agente deixar passar seja detectado por outro.
Não é necessário enviar o código diretamente. A análise é feita coletando sinais observáveis a partir da URL, como headers, TLS, CORS, DNS e metadados de conteúdo.
Resultado da análise
- Lista de vulnerabilidades + classificação de severidade
- Guia de melhoria passo a passo: um formato em que basta seguir a ordem desde o item 1 até o fim (inclui exemplos de código corrigido)
- Relatório em PDF: um formato organizado em documento para compartilhar os resultados da inspeção de segurança
- Formato Markdown: para que desenvolvedores possam executar imediatamente
Por que criamos isso
Segundo uma pesquisa da KISIA, 67,4% das empresas coreanas não operam sequer uma organização de segurança própria, e o número médio de profissionais dedicados à segurança por empresa é de 0,8. Mesmo querendo fazer uma inspeção de segurança, é difícil começar sem especialistas ou sem contratar ajuda externa.
A velocidade para criar serviços com ferramentas de programação por IA aumentou, mas sentimos que ainda faltam meios acessíveis para validar esse código. Tudo começou com a ideia de que seria ótimo poder rodar uma análise imediatamente usando apenas uma URL.
Stack técnica
- Aplicação web baseada em Next.js
- Arquitetura Multi-AI Agent (3 equipes, 9 agentes: Guard / Analyst / Verifier)
- Pipeline de validação cruzada multimodelo baseado em URL
Se tiver feedback ou alguma dúvida, deixe um comentário. Perguntas técnicas também são bem-vindas. Vamos responder ativamente.
5 comentários
Ouvi dizer que o Mythos também tinha muitos falsos positivos, então fico me perguntando se houve mesmo revisão humana..
Se, em comparação com as ferramentas existentes, a superioridade de vocês não foi comprovada de forma objetiva, a validação externa também pode ser feita por gente de dentro; então é meio estranho falar como se validar externamente fosse uma vantagem. E esse "não estamos simplesmente lendo o código"... não seria que vocês nem conseguem ver o código, então só podem checar superficialmente do lado de fora...
Os exemplos de problemas de segurança que você mencionou como tendo sido "encontrados pelo Naeildo" também são de um nível meio desconcertante. Dá até para entender se o público-alvo for gente que nem sabe esse tipo de coisa, mas aí também existe a questão de se essas pessoas teriam interesse em segurança em primeiro lugar.
Vulnerabilidades de segurança foram encontradas em 45% do código gerado por IA
Como foi possível saber que esse código havia sido gerado por IA?
Se a própria pessoa que cria usando IA também pode usar IA para encontrar e corrigir problemas de segurança, quais seriam as vantagens deste serviço em comparação com esse tipo de abordagem?
Perguntar sobre código a uma IA de uso geral significa fazer uma verificação no nível do código-fonte. Mas uma parte significativa das vulnerabilidades reais surge não no código, e sim em runtime, configurações, infraestrutura, processamento de autenticação/sessão e ambiente de implantação. Para cobrir essa área, nosso serviço foi projetado desde o início como um sistema multiagente de IA especializado em segurança. Em vez de apenas ler o código, ele inspeciona diretamente, de fora, o serviço realmente implantado, encontrando até problemas que não aparecem quando se olha apenas o código.