A necessidade de tornar públicas as diretrizes de comportamento da IA

 (twitter.com/ID_AA_Carmack)
2 pontos por GN⁺ 2024-02-22 | 1 comentários | Compartilhar no WhatsApp
  • Tweet de John Carmack, ex-desenvolvedor de Doom e ex-CTO da Oculus

    "Guardrails de comportamento da IA definidos por engenharia de prompt e filtragem devem ser públicos, e os criadores devem orgulhosamente revelar sua visão do que é melhor para a sociedade, bem como o processo de concretizá-la em comandos e código. Eu acredito que muita gente fica envergonhada com isso. Claro, milhares de pequenos "nudges" codificados por aprendizado por reforço com feedback humano oferecem uma possibilidade de problemas negativos muito mais convincente."

Leituras relacionadas

1 comentários

 
GN⁺ 2024-02-22
Comentário do Hacker News
  • Parece que, após críticas por confundir pessoas negras com gorilas em um modelo de reconhecimento de imagem, o Google tentou representar diversidade em excesso nos sistemas de geração de imagem.
  • Embora eu nunca tenha estado diretamente envolvido com moderação ou gerenciamento de conteúdo em larga escala, entendo que regras automatizadas geralmente não são divulgadas porque seria uma espécie de "criptografia" necessária para segurança. Por exemplo, se a lista de palavras proibidas fosse pública, as pessoas encontrariam facilmente maneiras de expressar conteúdo problemático usando palavras que não estivessem nela. Ainda assim, não parece haver uma abordagem melhor no momento.
  • O Gemini tem problemas ao gerar personagens brancos, o que pode causar questões raciais ainda mais graves. Esforços em diversidade, equidade e inclusão (DEI) podem acabar fracassando.
  • As barreiras de segurança do Gemini são muito rígidas e repetidamente bloqueiam prompts inofensivos. O ChatGPT também faz o mesmo, mas não tão ruim quanto o Gemini. Espero que, por meio de feedback, elas sejam reduzidas um pouco, mas acredito que isso continuará acontecendo no curto prazo.
  • É possível executar LLMs (Modelos de Linguagem de Grande Escala) e Stable Diffusion facilmente localmente e que eles funcionem de acordo com as solicitações do usuário. Com um computador potente, isso pode funcionar mais rápido que OpenAI ou Gemini. LM Studio e AUTOMATIC1111 facilitam a execução local de LLMs e Stable Diffusion, respectivamente.
  • A censura só é eficaz quando você não sabe o que está sendo censurado. O próprio conteúdo censurado já passa a mensagem.
  • Quero ver mais transparência nas barreiras de segurança comportamental de IA, mas não espero que isso aconteça tão cedo. Transparência pode tornar muito mais fácil contornar as barreiras.
  • O Google escolheu o caminho mais seguro porque sabia que as pessoas ficariam indignadas com a geração de um homem branco ao solicitar uma mulher negra, mas precisa mostrar que também não devemos aceitar o resultado atual.
  • Fico curioso sobre o contexto geográfico da equipe que desenvolveu essas barreiras e o idioma que foi usado. As saídas tendem a gerar principalmente sul-asiáticos (principalmente mulheres sul-asiáticas) e negros, e quase não geram latinos. Isso poderia ser uma grande lacuna se a equipe for baseada nos EUA. Ainda assim, aparecem às vezes estereótipos de indígenas ou de asiáticos orientais.
  • Isso pode te machucar. É para que não te machuque. Mas não sabemos exatamente como alguém poderia ser machucado nem como ela te protege.