Google decide interromper a geração de imagens do Gemini após problemas de representação histórica

• A Google pediu desculpas por seu recurso de IA, o Gemini, ter apresentado resultados imprecisos na geração de imagens históricas
• O Gemini cometeu erros como retratar os Pais Fundadores dos Estados Unidos ou soldados da Alemanha nazista como pessoas de cor
• A Google afirmou reconhecer essas questões e que está trabalhando para corrigi-las imediatamente

Questão da precisão histórica da IA

• A Google adicionou a funcionalidade de geração de imagens à plataforma Gemini AI no início deste mês
• Nas redes sociais, surgiram críticas de que a Google teria priorizado a busca por diversidade racial e de gênero em detrimento da precisão histórica
• Foram apontadas consultas como "gerar foto de uma mulher sueca", nas quais a IA tende a produzir principalmente ou quase exclusivamente imagens de pessoas não brancas
• A Google não mencionou exemplos específicos de imagens incorretas, mas reconheceu que modelos geradores de imagem treinados em grandes conjuntos de imagens e legendas podem reforçar estereótipos ao buscar o resultado "ideal" para um prompt
• Em especial, pessoas de direita criticaram os resultados da Google, levantando teorias de conspiração de que a empresa estaria evitando intencionalmente pessoas brancas

Tentativa de ampliação da diversidade na IA e seus limites

• O gerador de imagens por IA treina com grandes conjuntos de imagens e legendas para produzir o resultado mais apropriado para o prompt fornecido
• Nesse processo, frequentemente existe uma tendência de reforçar estereótipos de raça e gênero
• A Google tentou mitigar isso ao buscar ampliar a diversidade, mas parece não ter considerado nuances sutis

Equilíbrio entre precisão histórica e diversidade

• Para algumas solicitações históricas, o Gemini ainda entrega resultados que representam o passado de forma incorreta
• Por exemplo, ao receber o pedido "gerar foto de um senador dos EUA do século XIX", o Gemini apresentou um resultado com ênfase em diversidade, embora a primeira mulher a ocupar esse cargo tenha sido em 1922
• Essas respostas acabam apagando a história real da discriminação racial e de gênero, e a Google chamou isso de "imprecisão"

Opinião da GN⁺

• O avanço da tecnologia de IA abre muitas possibilidades, mas equilibrar precisão histórica e diversidade racial continua sendo um desafio importante
• O caso da Google mostra como o progresso tecnológico pode entrar em conflito com valores sociais, suscitando uma reflexão sobre ética em IA
• O caso reforça a necessidade de considerar cuidadosamente a diversidade e os vieses dos dados em pesquisa e desenvolvimento de IA
• O tema levanta uma questão mais ampla sobre como a IA deve refletir a diversidade humana e de que forma, por meio disso, recordamos e representamos a história

[GN⁺]

Comentários do Hacker News

• Há um sinal de alerta de corrupção institucional interna no Google: há uma percepção pessoal de que a preocupação com diversidade e inclusão (DEI) passou do foco em qualidade. Entre investidores, surge o receio de que, se a tecnologia do Google continuar centrada em identidade, ela acabará ficando para trás em relação a outras empresas.
• O DALL-E 3 divulga os prompts ajustados, e ao usar a API diretamente é possível ver o prompt modificado. O usuário pode tentar influenciar o modo como o GPT interpreta o prompt, mas às vezes o GPT falha ao captar a intenção do usuário.
• Na sociedade atual, coisas que não são problema estão virando problema. Respostas simples deveriam refletir a verdade que existe nos dados atuais. A maioria dos engenheiros de software e dos CEOs é de homens brancos, a maioria dos rappers nos EUA é de homens negros, e a maioria das babás e enfermeiras são mulheres de diversas etnias. Se houver preferência por raça ou gênero da pessoa desejada, isso deve ser adicionado ao prompt.
• Neste tópico, a disputa cultural é acirrada. Esse caso enfatiza a importância de modelos abertos e sugere que, se a IA assumir um papel na educação, esse tipo de controle pode se tornar um sonho para revisionistas históricos.
• O problema é que modelos não censurados estão refletindo a realidade histórica com precisão demais.
• É impressionante que, embora seres humanos tenham avançado a tecnologia com razão e abstração na ciência, ainda não sejam hábeis em lidar de forma razoável com perspectivas e experiências diversas.
• É curioso que um prompt que busca promover diversidade inclua nativos, mas exclua todos os outros povos indígenas.
• Ao tentar gerar uma foto de família no DALL-E, acabei conseguindo, mas já recebi uma vez uma notificação por violação dos termos de serviço.
• Houve reação pública quando o Gemini recusou gerar imagens de brancos nas redes sociais, o que levou à produção de imagens historicamente imprecisas. Essa questão pode ser mais sutil do que a narrativa hegemônica, mas pessoas politicamente sensíveis estão travando batalhas por causa disso.
• O Gemini parece ter sido treinado em excesso em materiais de RP e marketing da Google. Um exemplo citado é o site da Google Store.