Por que o suporte à decisão (DSS) com IA falha: ausência de design de confiança

1. Conclusão

• A razão pela qual muitos sistemas de suporte à decisão (DSS) com IA falham na prática não é o desempenho do modelo, mas o fato de que a “confiança não foi projetada”.
• Este texto redefine confiança não como emoção ou problema de UX, mas como um mecanismo de previsão em situações de risco e um “contrato”, e explica por que a abordagem de “vamos aumentar a confiança” acaba, ao contrário, gerando não uso ou uso indevido.

2. Fundamentação

• O cerne do problema de confiança é a confusão entre trust (atitude do usuário) e trustworthiness (capacidade real)
• Os usuários não confiam vagamente na IA; eles confiam em contratos específicos, como precisão, equidade e responsabilização
• Se contratos e limites não forem explicitados, a UI, a autoridade e o tom das explicações criam confiança indevida, levando a incidentes
• O papel da explicabilidade (XAI) também não é “amplificar” a confiança, mas corrigir dependência ou suspeita

3. Execução (como melhorar)

• Para quem cria ou adota AI-DSS, a perspectiva muda de “como aumentar a confiança?” para
  “em que fazer confiar e quando fazer suspeitar ou reter o julgamento?”

4. Resumo em uma linha

• A causa do fracasso do AI-DSS não é o desempenho, mas o design de confiança; a solução é um design centrado em contratos, vulnerabilidade e calibração.