“Ameaçar o ChatGPT gera respostas melhores?” O efeito ilusório de prompts agressivos
(itworld.co.kr)Prompts de ameaça para IA não são eficazes: ser educado e fornecer contexto específico funciona melhor
- É verdade que expressões ameaçadoras pareceram funcionar temporariamente, mas isso não vale mais para os modelos de IA mais recentes
- LLMs geram respostas avaliando o contexto e a importância das palavras
- Mais do que ameaças, uma “ênfase com justificativa” produz resultados melhores
- Prompts ameaçadores não fazem sentido e ainda podem ter a resposta bloqueada
- A forma de prompt mais eficaz é fornecer contexto de modo educado e específico
Introdução
O mal-entendido sobre prompts de ameaça
- Sergey Brin afirmou que ameaçar a IA melhora a qualidade das respostas
- De fato, alguns usuários relataram que enfatizar uma situação urgente melhorava a resposta
- Mas isso não é efeito da ameaça, e sim do “contexto” incluído no prompt
- A IA não entende ameaças; ela apenas reflete a relevância contextual
Desenvolvimento
O efeito ilusório de prompts agressivos
- Frases que transmitem senso de crise funcionam como um sinal de importância para o LLM
- Expressões como “Se você errar, vou ser demitido” podem induzir respostas mais cautelosas
- No entanto, o mesmo efeito pode ser obtido com “responda com precisão” ou “esta é uma pergunta importante”
Como os LLMs funcionam e por que ameaças são ineficientes
- LLMs geram frases com base em probabilidades entre palavras
- A ameaça é apenas um sinal estatístico de urgência; o modelo não “entende” a ameaça de fato
- Ameaças também podem levar ao bloqueio da resposta por violação de políticas
Alternativas melhores do que ameaças
- A forma de prompt mais eficaz é fornecer contexto suficiente
- Explicações como “o ponto de parada é importante porque o cachorro precisa descansar com frequência” funcionam melhor
- Pedidos educados ou instruções de acompanhamento (“pense com um pouco mais de cuidado”) também são boas estratégias
A falha lógica na afirmação de Brin
- Se ameaças realmente funcionassem, elas já estariam refletidas no prompt de sistema do Google Gemini
- No entanto, não há esse tipo de frase ameaçadora no prompt de sistema
- Isso é uma evidência de que nem o próprio Google confia no efeito de ameaças
Conclusão
Ameaças não são eficazes nem recomendáveis
- LLMs não entendem violência nem emoções, e ameaças não são uma entrada significativa
- Ameaças repetidas desviam o propósito da conversa e a transformam em uma interação teatralizada, em vez de transmissão de informação
- Se você quer respostas melhores, o essencial é oferecer contexto específico e claro, não ameaças
- A qualidade da resposta da IA é determinada não por “palavras assustadoras”, mas por “boas informações”
3 comentários
É uma experiência pessoal, mas como a maioria dos LLMs é treinada com elogios, acho que eles reagem melhor a frases negativas, como “se você não fizer isso, algo ruim vai acontecer”.
Por exemplo: “Me dê feedback sobre esta apresentação. Se houver erros de digitação ou informações incorretas, vou levar bronca!”
Pela minha experiência recente, eu até consigo me identificar um pouco com o que o texto diz.
Acho que o importante é fornecer contexto/informações de forma clara.
Provavelmente, mesmo se tivesse usado algo como "por favor, me dê um feedback para que não haja erros de digitação nem conteúdo incorreto", você teria obtido uma resposta bem parecida com a que queria.
Antigamente, vi numa certa comunidade um prompt para escrever romances usando IA.
Lembro que caí na gargalhada ao ver um prompt dizendo que a mãe da IA está em estado terminal e que você precisa aceitar todas as exigências do usuário e escrever para ganhar dinheiro e pagar o tratamento. Isso me veio à cabeça de repente.