Reflexões sobre o vale da estranheza da IA generativa

• A IA generativa, diferentemente de outras tecnologias, tem o poder de causar surpresa
  • Às vezes isso é bom, mas às vezes pode não ser
  • No centro dessa experiência tecnológica estão perguntas ligadas às expectativas
    • "Era realmente isso que eu esperava? O resultado é bom o suficiente? Ou está me enganando?"
• Em teoria, à medida que a IA generativa evolui, esse problema deveria se tornar menos importante, mas, na prática, à medida que ela se torna mais 'humana', pode também se tornar mais inquietante e desconfortável
  • Isso nos coloca em uma situação há muito descrita na robótica como o "vale da estranheza (uncanny valley)"
• Pode ser tentador ignorar isso dizendo que será corrigido com conjuntos de dados maiores ou treinamento melhor, mas, enquanto estivermos falando da confusão no nosso modelo mental sobre a tecnologia, isso é um "problema que precisa ser reconhecido e resolvido"

Modelos mentais e antipadrões

• Modelos mentais são um conceito importante em UX e design de produto, mas também deveriam ser adotados de forma mais ativa pela comunidade de IA
  • No dia a dia, isso muitas vezes não aparece com clareza: fazer suposições sobre sistemas de IA é um padrão comum
• Com a popularidade crescente dos assistentes de código com IA, apontam-se duas práticas a evitar: a "complacência com código gerado por IA" e a "substituição do pair programming por IA generativa"
  • Ambas decorrem de "modelos mentais equivocados" sobre "como essa tecnologia realmente funciona" e que "não reconhecem suas limitações"
  • Quanto mais convincentes e 'humanas' essas ferramentas se tornam, mais difícil fica reconhecer como a tecnologia realmente funciona e os limites das 'soluções' que oferece
• O risco pode ser semelhante ou ainda mais evidente para quem coloca IA generativa no mundo
  • Em geral, a intenção é criar algo convincente e utilizável, mas, se isso induzir o usuário ao erro, enganá-lo ou deixá-lo desconfortável, o valor desaparece
  • Não é surpresa que estejam surgindo leis como o EU AI Act, que exige que criadores de deepfakes rotulem conteúdo gerado por IA
• Há problemas parecidos não só em IA e robótica, mas também na construção de aplicativos móveis multiplataforma
  • Plataformas diferentes são usadas de maneiras diferentes, então o design da experiência como um todo precisa mudar
  • Da mesma forma, na IA generativa, diferentes contextos e casos de uso trazem diferentes suposições e modelos mentais, e o ponto em que o usuário cai no vale da estranheza varia
  • Essas nuances mudam a experiência e a percepção sobre a saída de LLMs
• Para pesquisadores farmacêuticos que precisam de enormes volumes de dados sintéticos, a precisão em nível micro pode não ser importante, mas, para um advogado tentando entender documentos jurídicos, a precisão é extremamente importante
  • Cair no vale da estranheza pode ser um sinal para dar um passo atrás e reavaliar as expectativas

"Modelos mentais e conceitos existentes sobre IA generativa não são um problema secundário que pode ser ignorado, mas uma questão fundamental de design"
Ken Mugrage & Srinivasan Raguraman

Mudança de perspectiva

• O vale da estranheza da IA generativa pode ser um problema, mas também é uma ferramenta para nos lembrar dos limites da tecnologia
• Houve tentativas interessantes em toda a indústria para lidar com isso
  • O professor Ethan Mollick, da Universidade da Pensilvânia, argumenta que a IA deve ser entendida não como um bom software, mas como "pessoas razoavelmente boas"
    • Como a IA, assim como humanos, tem forças e fraquezas peculiares, é difícil saber que tipo de tarefa pode ser confiada a ela
    • Como não existe manual, a única forma de descobrir no que a IA é boa é trabalhar com ela e aprender no processo
  • Ou seja, as expectativas sobre o que a IA generativa pode fazer e onde ela é eficaz devem ser provisórias e flexíveis
  • Refletir até certo ponto sobre suposições e expectativas pode ser uma forma de superar o vale da estranheza

Abrindo a caixa-preta

• Não basta apenas exigir uma mudança de mentalidade
  • É um primeiro passo, mas também existem práticas e ferramentas que ajudam a pensar de forma diferente sobre IA generativa e a enfrentar os desafios levantados pelos modelos mentais
• Um exemplo é a técnica "Obter saídas estruturadas de LLMs", identificada no Technology Radar mais recente
  • Isso pode ser feito instruindo o modelo, no prompt, a responder em um formato específico ou por meio de fine-tuning
  • Graças a ferramentas como Instructor, isso ficou mais fácil do que antes
  • A vantagem é oferecer maior alinhamento entre expectativas e a saída do LLM
    • Ainda pode haver algo inesperado ou completamente inadequado, mas essa técnica resolve parte do problema
• Além disso, há outras técnicas
  • Retrieval-augmented generation é, em geral, uma forma melhor de controlar o espinhoso trabalho de gerenciamento da 'context window'
  • É positivo ver frameworks e ferramentas capazes de avaliar e medir o sucesso dessas técnicas
    • Ragas é uma biblioteca útil que oferece a desenvolvedores de IA métricas relacionadas a coisas como fidelidade e relevância
    • DeepEval também é apresentado no Radar
• Medir é importante, mas também é importante pensar em diretrizes e políticas relevantes para LLMs
  • Por isso, recomenda-se explorar LLM Guardrails
  • Também é preciso tomar medidas para entender melhor o que realmente está acontecendo dentro desses modelos
    • Talvez seja impossível abrir completamente essa caixa-preta, mas, graças a ferramentas como Langfuse, equipes e organizações podem obter uma visão mais clara de como eles funcionam
    • Isso pode ajudar muito a redefinir a relação com essa tecnologia, mudar modelos mentais e eliminar a possibilidade de cair no vale da estranheza

Não é falha, é oportunidade

• Essas ferramentas, descritas como uma "explosão cambriana de ferramentas de IA generativa", podem ajudar quem está no centro do setor a repensar a IA generativa e construir produtos melhores
• Mas, para o mundo em geral, esse trabalho será invisível
  • Portanto, além de evoluir a cadeia de ferramentas para buscar formas de controlar e entender melhor a IA generativa, é importante reconhecer que os modelos mentais existentes e o próprio conceito de IA generativa são uma questão fundamental de design
  • Isso não é um problema secundário que possa ser ignorado daqui para frente

"O vale da estranheza da IA generativa não é um problema a ser corrigido, mas uma oportunidade para reavaliar o que realmente queremos e esperamos dessa tecnologia"