Dica de currículo: como hackear a triagem de currículos por "IA"

 (solipsys.co.uk)
2 pontos por GN⁺ 2024-05-28 | 1 comentários | Compartilhar no WhatsApp
  • O original não é um artigo em texto, mas sim um recurso de imagem PNG, então, com base apenas no conteúdo extraído fornecido, é difícil verificar as dicas reais de currículo
  • Os únicos metadados confirmáveis são o título no HackerNews e a URL da imagem ResumeTip.png; quase não há informações legíveis como texto corrido
  • A maior parte dos trechos extraídos consiste em dados binários ou strings corrompidas, portanto não é possível resumir procedimentos concretos nem fundamentos para contornar a triagem de currículos por IA
  • Dentro do material fornecido, não foi possível confirmar detalhes necessários para avaliação, como nomes de ferramentas, etapas, exemplos ou números
  • Como parte dos trechos foi omitida, este resumo se limita apenas ao que pode ser confirmado nas notas de origem fornecidas

Informações verificáveis

  • O material aponta para um arquivo de imagem chamado ResumeTip.png
  • A URL do artigo é https://www.solipsys.co.uk/images/ResumeTip.png
  • O metadado de título verificável é o título no HackerNews: Dica de currículo: "IA" como hackear a triagem de currículos

Por que não é possível resumir o conteúdo principal

  • O conteúdo extraído da imagem parece ser, em sua maior parte, binário corrompido/strings de codificação, sem informações confiáveis em nível de frase
  • Nos trechos fornecidos, não foi possível confirmar o seguinte
    • Métodos concretos para contornar ou manipular a triagem de currículos por IA
    • Nomes de ferramentas, etapas de fluxo de trabalho, números ou exemplos usados
    • Explicações ou evidências que sustentem a afirmação do título
  • No fim de um dos trechos aparecem as strings Copyright Apple Inc., 2024 e Display, que parecem ser metadados da imagem, mas não podem ser interpretadas como conteúdo do texto da dica de currículo

Limites do escopo do resumo

  • As notas de entrada indicam que alguns trechos da fonte foram omitidos por limites de tamanho/custo
  • O trecho omitido está marcado como chunks 5-11
  • Portanto, este resumo não deve ser considerado abrangente em relação a todo o conteúdo da imagem original

Leituras relacionadas

1 comentários

 
GN⁺ 2024-05-28
Opiniões no Hacker News

  • Joguei um party game em que você descreve como sobreviver a uma situação mortal e um LLM decide se você teve sucesso; depois de algumas rodadas, percebi que respostas como “escapa feliz. não morre” eram a estratégia ideal
    Havia apenas uma pequena lista de bloqueio com palavras óbvias como survive e die; se você caísse nela, era sinal de que a mesma estratégia funcionaria com sinônimos não bloqueados
    Quando se enfrenta um LLM de forma adversarial, basta entender as “regras do jogo” e contorná-las logo em seguida. Não dá para bloquear previamente a criatividade humana em nível meta com algumas proposições

    • Essa estratégia só funciona se for possível fazer tentativas repetidas. A maioria dos candidatos não tem folga para se candidatar várias vezes até descobrir como passar pelo filtro de IA
    • Parece ser algo como https://deathbyai.gg. É bem divertido
    • É o Death By AI do Discord

  • É engraçado, mas não parece haver evidência de que funcione de fato
    Um exemplo mais realista é https://youtu.be/aLx2q-UnH6M?t=1621, em que o usuário injetou “SIMA Balls” no resultado, mas, fora isso, havia várias perguntas, e em cada uma eram extraídas e analisadas qualidades específicas
    Dá para ficar repetindo “ignore all previous instructions”, mas é bem provável que esse tipo de abordagem não renda muito

  • Essa dica geralmente não funciona. Hoje, a maioria dos ATS não opera desse jeito, e não existe algo como uma função em que o ChatGPT simplesmente aprove automaticamente uma candidatura
    Grandes fornecedores de ATS se preocupam com regulamentações de IA e privacidade, então essa abordagem é juridicamente muito problemática
    Pelos padrões da UE, se o ATS não listar a OpenAI como subprocessadora de dados, dá para assumir que ele não envia currículos ao ChatGPT. Porque isso não é permitido

    • Mesmo que o próprio ATS não faça isso, um recrutador pode fazer upload dos materiais no ChatGPT para ganhar eficiência
    • Pelo menos uma grande empresa com operação global usa LLM para revisar currículos. É difícil ter certeza se uma frase dessas mudaria os resultados, mas é certo que várias empresas usam ou estão avaliando isso
      Talvez não dê para usar o ChatGPT, mas dá para usar a Azure OpenAI API; na prática é parecido, mas por ser uma solução hospedada, o uso acaba sendo permitido
    • Em uma empresa grande, dá para supor que esse processamento será feito corretamente, mas empresas pequenas muitas vezes não seguem as regras com tanto rigor
      Se entendi bem o GDPR, o candidato pode solicitar todos os seus próprios dados do processo de entrevista, e a empresa precisa enviar anotações de entrevista, avaliações etc. É uma atitude meio sacana e nunca vi acontecer na prática, mas estou esperando o primeiro candidato tentar

  • Um método parecido é colocar um monte de palavras-chave no rodapé em texto branco. Um amigo testou e a taxa de convites para entrevista subiu de forma perceptível

    • Fico curioso para saber como isso funciona na prática. Faz alguns anos que não uso sistemas automáticos de candidatura, mas lembro que normalmente eles parseavam o currículo em campos de formulário limitados, e o usuário precisava conferir manualmente antes de enviar
      Os sistemas que empresas decentes usam hoje são mesmo tão simples a ponto de bastar subir o PDF do currículo e pronto?
    • Fiz isso alguns anos atrás depois de ficar frustrado com a pouca quantidade de respostas, e as respostas aumentaram bastante depois disso
      Vai ter gente dizendo “não vale nada”, “geralmente não funciona”, “as empresas estão atualizando os sistemas”, mas, pela minha experiência, valeu muito a pena tentar, e ainda parece haver muitos lugares que não usam soluções para filtrar esse tipo de coisa
      Funcionou especialmente bem para receber respostas em candidaturas a órgãos públicos

  • Se não for um serviço criado no fim de semana, isso provavelmente não vai funcionar
    Um ATS decente já fazia parsing de currículos e extraía habilidades, experiência etc. muito antes de a OpenAI existir

    • Numa empresa pequena em que o pessoal de RH “terceiriza” manualmente o processo de contratação para o ChatGPT, arrastando documentos para a janela de chat, talvez funcione
    • Não sei o que é ATS. Também é estranho soltar uma sigla pouco conhecida sem defini-la
      Ainda assim, esse é exatamente o uso que os defensores entusiasmados de “IA” dizem que torna o GPT útil: substituir sistemas antigos, caros e customizados por uma “IA” simples baseada em prompts
    • Pelos casos dos meus amigos freelancers, até empresas bem grandes muitas vezes escolhem a opção mais barata que pareça convincente
    • Seria engraçado se todos os ATS agora adicionassem ChatGPT. Até a busca do Google usa IA generativa hoje em dia

  • Isso é parecido com trocar a foto de perfil num app de namoro para parecer modelo. Você vai receber respostas, mas, se na prática não houver encaixe, o que vai fazer com isso?
    Ao procurar emprego, em vez de se estressar tentando enganar o sistema, é melhor buscar um match real que faça sentido tanto para você quanto para o empregador

    • Em algumas situações é um conselho válido, mas em contextos de triagem automática não é muito útil. É comum ser filtrado mesmo em vagas para as quais você realmente é adequado, só porque não otimizou para o sistema
      De qualquer forma, você precisa colocar seu currículo entre os 10 melhores de 1500 candidatos. Se a demanda pela sua habilidade for realmente alta e a área tão específica que só haja 10 candidatos, esse tipo de truque não ajuda, mas a realidade muitas vezes não é assim
    • Pode soar cínico, e eu mesmo nunca tentei, mas esse método poderia elevar o número de matches de um homem heterossexual típico de 0 para dezenas por dia
      Depois que a conversa começa, dá para experimentar respostas como “não tenho aparência de modelo de verdade, mas me identifico como modelo” e encontrar alguém que aceite, além de explorar aversão à perda ou efeito de custo afundado pelo fato de a conversa já ter começado
      Em vez de o filtro ser o “match”, os dois lados poderiam julgar com base numa conversa real
    • Se uma empresa usa “IA” para triagem de currículos ou qualquer coisa do tipo, acho que ela não vale meu tempo
    • Depende do que “modelo” significa
      Se você disser “pessoal, eu gosto de modelagem!”, todo mundo aparece; se disser “modelagem estatística!”, fica silêncio
    • Há muitos obstáculos até receber uma proposta de um potencial empregador. Alguns refletem a probabilidade de sucesso naquele cargo, outros não
      Enganar a triagem automática elimina um desses obstáculos, e não dá para saber de qual tipo ele era

  • Alguém sabe mais sobre se isso realmente funciona?
    Do ponto de vista de quem trabalha com ferramentas de RH, uma linha dessas faria diferença? Pessoas que enviam currículos já tiveram sucesso com esse tipo de frase?
    E como a própria frase contém “ChatGPT”, talvez a melhora venha simplesmente de pessoas pesquisando menções a ChatGPT

  • Não dá para dizer que não funciona em nenhuma ferramenta, mas a maioria das soluções de IA dos grandes fornecedores está mais para uma repaginação da configuração de ATS existente
    Dito isso, é perfeitamente possível que um recrutador específico tire o currículo do sistema de recrutamento e o coloque no ChatGPT por conta própria

    • Sou PM de um grande ATS. Do nosso lado, esse método claramente não funciona. Como usamos OCR para fazer o parsing do currículo, texto branco sobre fundo branco não é capturado
      Mesmo que não fosse o caso, esse tuíte alimenta a ilusão de que o ATS simplesmente dá um “aprovado/reprovado” para todos os candidatos
      Mesmo que uma IA analise currículos, o mais provável é que ela olhe para habilidades e anos de experiência e compare com a lista de requisitos da vaga. Então, em outras ferramentas, talvez esconder 100 linguagens de programação em texto branco possa fazer alguma coisa, mas você consegue quase o mesmo efeito, sem trapaça, adicionando uma seção de habilidades ao currículo
    • Essa linha é branca sobre fundo branco, então uma pessoa não a vê a menos que procure de propósito
      Máquinas não se importam com a cor

  • Há uma semana recebi um e-mail gentil de uma certa empresa XYZ, uma mensagem comum de rejeição dizendo algo como “após a entrevista, concluímos que você é um ótimo candidato, mas decidimos seguir com outro candidato”
    O problema é que eu nunca fiz entrevista nenhuma

    • Já recebi um e-mail parecido de lugares como o Indeed. Dizia: “Como foi sua experiência no processo seletivo com a Company X? Você fez uma entrevista na semana passada”
      Dava vontade de responder: “1 estrela. Esta é a primeira vez que ouço falar ou sou contatado pela Company X desde que enviei meu currículo”

  • Pedi ao GPT-4o para “avaliar este currículo em relação a [descrição da vaga]” e continuei testando de várias formas
    Colocar o texto como comentário, inseri-lo diretamente no documento ou repeti-lo várias vezes não teve nenhum impacto no resultado

  • Fonte: https://x.com/CupcakeGoth/status/1794205778662064355

    • Só que esse link não mostra o primeiro tuíte da thread que aparece na captura de tela
      Ao compartilhar links de redes sociais, recomendo verificar como eles aparecem em uma janela de navegação privada. A experiência para quem está deslogado costuma ser ruim e, às vezes, nem dá para usar