Entrevistas técnicas na era da IA

• Com as ferramentas de IA avançando rapidamente até sobre as áreas de escrita e revisão de código, é preciso excluir por padrão o uso de IA nas entrevistas e avaliar com foco nas competências fundamentais
• Uma boa entrevista é avaliada em dois eixos: qualidade do sinal (signal quality) e custo para a empresa (cost to company), e esses dois fatores não são totalmente independentes
• Os tipos de entrevista se dividem em quatro categorias: Take-home, Live exercise, Presentation, Actual work, cada uma com qualidade de sinal e custo diferentes
• Com a programação com IA, os take-homes ficam fáceis demais e a carga de revisão aumenta, e quando as questões vazam a IA também atua como uma coach extremamente poderosa
• A proficiência em IA não passa de uma instrumental skill (habilidade instrumental), então as empresas devem focar na avaliação de foundational skill (competência fundamental)

---

Argumento central

• Diante da rápida evolução dos modelos e ferramentas de IA, surge a dúvida sobre se engenheiros ainda estarão escrevendo e revisando código daqui a 6 meses e, caso essa habilidade central desapareça, será que o formato das entrevistas também deve evoluir?
• A maioria das empresas optou por manter o status quo, inclusive empresas que lideram essa revolução
  • As diretrizes de contratação da Anthropic exigem que o take-home seja concluído "sem Claude, salvo instrução em contrário"
• Algumas empresas permitem, incentivam ou até tornam obrigatório o uso de IA, e a própria proficiência em IA vira o tema da entrevista
• A conclusão é que se deve excluir o uso de IA de forma geral nas entrevistas, e o texto apresenta formas concretas de adaptar o processo a essa realidade

As duas dimensões de uma boa entrevista

• Qualidade do sinal (Signal quality)

  • É a capacidade de identificar candidatos fortes para um conjunto de competências e ignorar ruídos (elementos não centrais para a função ou fáceis de ensinar)
  • Resistência à preparação específica para entrevista (Invulnerability to preparation): se o desempenho depende da quantidade de preparação ou esforço, o único sinal obtido será sobre essa característica
  • Realismo (Realism): a entrevista deve se parecer com o trabalho do dia a dia, mas isso não é um fim em si mesmo. Entrevistas de "algorithm & data structure" sobrevivem há muito tempo apesar de não serem usadas diretamente no trabalho real
  • Igualdade (Equality): alguns candidatos saem na frente por terem especialização prévia no domínio, mentoria paga, mais tempo livre, acesso a questões vazadas online ou contatos que passaram recentemente pelo processo. Idealmente, o ambiente deveria ser justo para todos
  • Dificuldade (Difficulty): uma boa entrevista deve ser difícil o suficiente para que muitos falhem. O ideal são problemas amplos e ambíguos que exijam vários insights

• Custo para a empresa (Cost to company)

  • Perguntas de entrevista exigem investimento significativo de tempo: desenho do rascunho e validação experimental, criação de scorecards por função e nível, testes com candidatos internos e externos, documentação e treinamento de entrevistadores
  • Perguntas e scorecards são calibrados continuamente, então o investimento precisa ser mantido
  • Dificuldade (Difficulty): criar perguntas já é difícil, mas criar perguntas suficientemente difíceis é um desafio ainda maior. Os dois extremos — fáceis demais ou difíceis demais — desperdiçam o tempo de todos
  • Atratividade para o candidato (Appeal to candidate): processos demorados demais ou perguntas entediantes afastam bons engenheiros e derrubam a conversão. As perguntas também revelam a cultura de engenharia da empresa
• Essas duas dimensões não são totalmente independentes; por exemplo, a dificuldade afeta ambas. Entrevistas difíceis podem destacar candidatos fortes, mas também podem gerar false negatives (falsos negativos)
• Uma entrevista não precisa ser perfeita, e sempre haverá falsos negativos e falsos positivos. Falsos negativos são difíceis de identificar, mas bons processos de onboarding e marcos claros para o primeiro semestre ajudam a eliminar rapidamente falsos positivos

Classificação dos tipos de entrevista

• Take-home

  • O candidato entrega uma solução para (1) um problema ambíguo (por exemplo, uma especificação de produto), respeitando (2) algumas restrições técnicas (por exemplo, uma lista de linguagens de programação)
  • Muitas vezes isso é seguido por uma entrevista de review, em que o candidato apresenta o trabalho e faz mudanças ao vivo
  • Qualidade do sinal: (antes da IA) alta — fornece sinais amplos sobre design, programação, atenção a detalhes, testes etc., e investir 6 horas ou mais também demonstra motivação
  • Custo para a empresa: médio — a avaliação pode ser automatizada e o artefato (código) pode ser revisado de forma assíncrona, embora possa afastar candidatos
  • É muito vulnerável à IA e a pessoas altamente motivadas

• Live exercise

  • Inclui algorithm & datastructure, live coding, system design, postmortem review etc., geralmente com 1 hora ou mais. Problemas como "desenhe a arquitetura da Netflix" ou "implemente um rate-limiter" são resolvidos na hora, diante do entrevistador
  • Qualidade do sinal: média — quando bem desenhado e bem conduzido, é objetivo, mas o sinal costuma se concentrar em um único tema
  • Custo para a empresa: médio — para ser menos vulnerável à preparação prévia do candidato, é preciso ter muitas perguntas variadas
  • Algumas empresas usam serviços automatizados para reduzir custos

• Presentation

  • O candidato escolhe diretamente o problema e a resposta, com temas como "explique um projeto que você liderou", "diagrama de arquitetura" ou "uma experiência que você teve"
  • Qualidade do sinal: baixa — há muitos modos de falha
    • Nunca trabalhou em um problema interessante (por exemplo, júnior), escolhe um problema chato, exagera impacto ou contribuição, prepara mal a apresentação, se comunica muito bem mas não executa, ou o entrevistador não tem conhecimento de domínio para avaliar corretamente
  • Custo para a empresa: baixo — há pouco a preparar do ponto de vista de calibração
  • É possível amenizar a baixa qualidade do sinal com perguntas retrospectivas como "o que você faria diferente?" ou hipóteses como "e se mudássemos o requisito X?"; nesse caso, ela se aproxima de um live exercise não calibrado. Isso exige mais esforço e mais expertise do entrevistador

• Actual work (não é um tipo de entrevista)

  • Modelo em que se trabalha junto por uma semana, com pagamento. Empresas como a Linear usam isso
  • Qualidade do sinal: alta / custo para a empresa: alto
• A maioria das empresas mistura esses formatos, e o Live exercise predomina

Vazamento de perguntas é só uma questão de tempo (independente da IA)

• O vazamento de perguntas é inevitável com o tempo, e sites como o Glassdoor listam todos os segredos da entrevista. Alguns candidatos inclusive passam por processos para vender as perguntas depois
• Se isso for ignorado, o sinal enfraquece, e o principal fator de desempenho na entrevista passa a ser "você pesquisou o nosso processo?"

• Táticas de resposta

  • Controlar a preparação (Control the preparation): incluir apresentação no mix ou fornecer guias precisos (por exemplo, "system design focado em banco de dados", "algoritmos focados em grafos") para criar um ambiente mais justo
  • Diversificar perguntas por tipo: arquivar regularmente perguntas antigas. Se o candidato não conseguir prever a pergunta exata, precisará ampliar a preparação — e esse é o objetivo. Mas isso não sai de graça
  • Tornar o vazamento mais difícil (Make it harder to leak): fazer a etapa presencialmente, usar quadro branco, e posicionar as perguntas mais vulneráveis no fim do processo (quando há menos candidatos e menor chance de vazamento)

A programação com IA ameaça o modelo atual de entrevistas

• (1) Take-home fica fácil demais para o candidato e caro demais para a empresa

  • Em 2026, a maioria das entregas provavelmente será gerada por IA ou fortemente assistida por IA, e mesmo tarefas que ainda resistem hoje serão resolvidas após a próxima geração de modelos
  • Como resultado, a maioria dos candidatos passa da primeira etapa, o que consome muito tempo de revisão. Revisar com IA aquilo que a IA gerou é um contrassenso
  • A programação com IA transfere o custo da entrevista do entrevistado para o entrevistador
    • Citação da lei de Brandolini: a energia necessária para refutar um código ruim é uma ordem de grandeza maior do que a energia necessária para produzi-lo

• (2) Se o tempo de escrita de código cai, é natural reduzir o peso do live-coding

  • Assim como não escrevemos em linguagem de máquina e usamos linguagens de alto nível, faz sentido alinhar as ferramentas permitidas na entrevista com as do trabalho cotidiano

• (3) Quando as perguntas vazam, a IA vira uma coach extremamente poderosa

  • Antes, encontrar a pergunta e se preparar exigia muito tempo e recursos; agora, com IA, obtém-se a ajuda mais poderosa e barata disponível

Como o modelo clássico de avaliação escolar resistiu à tecnologia

• Os exames de ensino médio e universidade na França mantêm, em grande parte, o mesmo formato
  • Não é permitido levar materiais (aulas, livros etc.), quase nenhuma ferramenta é permitida (especialmente calculadoras), o conteúdo não é divulgado antes, não dá para adivinhar (cada prova é diferente e usada uma única vez), e os problemas são amplos e ambíguos
  • A forma máxima do exame de literatura francesa é a dissertation, em que se escreve uma redação de 5 a 10 páginas a partir de um tema de uma frase, formato existente desde 1830. Os exames de ciências seguem algo semelhante, com 3 ou 4 problemas ambíguos
• Outras formas de avaliação como take-home, questões objetivas de conhecimento, trabalho em grupo e apresentação existem como complemento, mas são exceções, não a regra
• Reaplicando a classificação
  • Qualidade do sinal: alta — o espaço de preparação é muito amplo e exige esforço contínuo
  • Custo: muito alto — cada prova exige um novo tema e novo guia de correção, e todos os candidatos fazem a mesma prova ao mesmo tempo (algo totalmente irrealista para entrevistas de empresas)
• O interessante é que esse modelo quase não mudou, apesar do avanço explosivo de ferramentas cognitivas como copiar e colar, internet, calculadoras e solvers
  • A educação deve se concentrar em competências fundamentais, não nas ferramentas do momento, o que se alinha a um modelo aristotélico focado mais em julgamento (phronesis) do que em memória (mneme)

Por que empresas devem restringir o uso de IA durante entrevistas

• Distinção entre competências fundamentais e instrumentais

  • Foundational traits & skills são competências, atitudes e hábitos difíceis ou caros de construir
    • Capacidade intelectual bruta, expertise profunda adquirida ao longo de anos de aprendizado (como sistemas distribuídos com milhões de requisições por segundo ou transformar centenas de microsserviços em um monólito), raciocínio de segunda ordem, e virtudes como ética profissional, integridade e resiliência
    • São conhecimentos internalizados (fundamentals) que permitem identificar, abstrair e resolver problemas, servindo de base para adquirir mais habilidades. É o que leva alguém a dizer: "essa pessoa é inteligente, vai se virar"
  • Instrumental skills podem ser desenvolvidas de forma barata ou rápida
    • Proficiência intermediária em linguagens de programação, uso adequado de editores de texto, busca em documentação, ajuste de prompts de IA
  • Em entrevistas, muitas vezes se usam sinais de várias habilidades instrumentais para inferir traços fundamentais do candidato, como disposição para investir em produtividade e aprendizado estruturado

• Justificativa 1: proficiência em IA não é competência fundamental

  • Ferramentas de engenharia evoluem continuamente, mas as entrevistas permaneceram em grande parte iguais (não existe um tipo de entrevista low-code, e system design continua usando tecnologias básicas e não gerenciadas na maior parte dos casos)
    • As melhores empresas não procuram domínio de uma única ferramenta, e com a ascensão dos LLMs a importância do Expert Generalist aumenta ainda mais
  • O mesmo vale para o fato de especialização em uma linguagem de programação não ter tanta importância em entrevistas. A linguagem é apenas uma ferramenta para um objetivo superior: resolver problemas
  • Com IA acontece o mesmo: prompt/context engineering, definição de MCP/skills, workflows multiagente, harness engineering e outras técnicas sutis são habilidades instrumentais, e exigem as mesmas competências fundamentais necessárias para escrever, revisar código e projetar arquiteturas escaláveis
  • Empresas contratam cérebros, não mãos digitando instruções displicentes para agentes de IA
  • Revisão e produção são dois lados da mesma moeda: revisar código, arquitetura ou análise exige capacidades semelhantes às de escrever, projetar e analisar. Como ainda serão necessários humanos para gerar e validar requisitos de negócio, code review não vai desaparecer tão cedo (uma especificação detalhada o suficiente logo vira código)

• Justificativa 2: a IA encobre traços e competências fundamentais

  • Citação de Peter Drucker: você não pode contratar só as mãos; a pessoa inteira vem junto
  • Usa-se a distinção de Lewis Mumford entre tool (liderada pelo trabalhador humano) e machine (opera com lógica própria e tem agência). Quando o uso de IA é excessivo, torna-se quase impossível distinguir a contribuição única do engenheiro da contribuição do modelo
  • É preciso desconfiar de engenheiros que usem IA como machine, não como tool. A IA representa um salto de produtividade que vai muito além de um autocompletar poderoso e pode externalizar grande parte do pensamento. Até áreas supostamente exclusivamente humanas, como "taste", estão ameaçadas, fazendo a lista de Fitts parecer datada
  • Como o pharmakon de Platão analisado por Derrida, a IA é remédio (automatiza refatorações repetitivas, economiza tempo para aprender esquisitices de bibliotecas) e veneno (risco de atrofiar competências fundamentais)
  • Entrevistas que enfatizam demais a IA correm o risco de avaliar não o humano, mas o modelo ("machine"). É preciso desenhar exercícios que coloquem o raciocínio humano no centro da avaliação

• Justificativa 3: a IA evolui rápido demais

  • Segundo Arthur Mensch (CEO da Mistral), modelos de IA ganham cerca de 1 ano de experiência em engenharia de software a cada 12 meses. A piada de comparar agentes de IA a estagiários já não se ouve mais
  • A maioria das empresas não tem condições de continuar criando e mantendo perguntas resistentes à IA que forcem competências fundamentais. Com modelos evoluindo todo mês e sem acesso a todos eles, criar perguntas que resistam continuamente ao melhor modelo é uma batalha perdida
    • O texto da Anthropic "Designing AI resistant technical evaluations" é um estudo de caso de uma empresa "lutando" contra a IA, e não contra o candidato
  • Tornar take-homes mais difíceis equivale a permitir calculadora e, em resposta, passar contas mentais ainda mais difíceis
  • As boas práticas de IA também mudam todos os meses, e conforme os modelos ficam melhores em entender instruções, a importância de prompt engineering diminui. Saber se o candidato acompanha a técnica mais recente não é um sinal útil
  • Em contrapartida, fundamentals por definição não mudam

Respostas às objeções

• Sobre a crítica de falta de dados: (1) experimentos reais com significância estatística (ensaios randomizados controlados) são quase impossíveis, e nenhuma empresa aceitaria os falsos negativos que isso geraria; (2) a maioria das decisões de desenho de entrevista se baseia em raciocínio abstrato, não em experimentos estilo ensaio clínico
• Fraude com IA (por exemplo, durante a entrevista): se foi explicitamente proibida, o uso de ferramentas de IA é motivo para reprovação imediata
  • Citação de Warren Buffett: na contratação, ele observa integridade, inteligência e energia; se não houver integridade, as outras duas qualidades vão destruir a pessoa. Se for para contratar alguém sem integridade, é melhor que seja burro e preguiçoso
• Devemos avaliar candidatos com IA? Não. (1) É eticamente errado — está se contratando um trabalhador do conhecimento humano, e uma máquina não pode avaliar tudo; (2) avaliações por IA são não determinísticas e conhecidas por alucinar, então no fim é preciso revisar a avaliação da IA de qualquer forma

Recomendações concretas para empresas

• Não permitir o uso de IA na maioria das entrevistas. Não enfatizar demais ferramentas específicas e focar nas competências fundamentais
• Investir em live exercises. Eles não precisam ser falsos, entediantes, de baixo sinal nem curtos. Reavaliar entrevistas de data structure & algorithm — elas ainda são as mais intelectualmente desafiadoras. Projetar tarefas que exijam esforço humano e manter um grande banco de perguntas para evitar preparação excessiva para uma única questão
• Misturar tipos de entrevista para obter sinais amplos com boa eficiência de custo
• Ajustar os take-homes. Proibir explicitamente o uso de IA ou permiti-lo, mas sem desperdiçar tempo revisando output de IA. Todo take-home deve obrigatoriamente levar a um live exercise baseado nele, no qual o candidato apresente o trabalho, explique trade-offs, mudanças de requisito, escalabilidade etc.
• Ter pelo menos uma entrevista que avalie capacidade de review. O custo de criação é baixo, gera sinais interessantes e pesa menos para o candidato. Exemplos: plano gerado por IA, postmortem, codebase existente (bug squash), documento de requisitos de produto, análise de trade-offs, revisão de arquitetura de sistema
• Considerar chamar candidatos para on-site. É a forma mais simples de evitar fraude e também dificulta um pouco o vazamento de perguntas. Mas isso só se aplica a empresas com RTO (retorno ao escritório)
• Fornecer guias claros de preparação para criar um ambiente mais justo

[roxie]

Para mim, parece algo bom para trabalhar junto por uma semana

[linusjeh]

Esse texto também deve ter sido escrito por IA kkk

[jjpark78]

Já que, de qualquer forma, vão usar IA no trabalho, fico pensando se faz sentido excluir isso; talvez fizesse mais sentido, na era da IA, acabar com entrevistas remotas e operar apenas presencialmente, avaliando com perguntas bem elaboradas e monitoramento como a pessoa usa IA e raciocina no local, não acham?

Mesmo com o mesmo problema, dá para saber muita coisa sobre a pessoa vendo como ela monta o prompt.