RealFill: preenchimento de imagens usando modelos de difusão

• Uma nova abordagem generativa para preenchimento de imagens desenvolvida pelo Google Research e pela Universidade Cornell
• O RealFill tem como objetivo preencher partes ausentes de uma imagem com o conteúdo que originalmente deveria estar ali, criando imagens mais autênticas
• O modelo é personalizado usando algumas imagens de referência, que não precisam corresponder exatamente à imagem-alvo e podem variar em ponto de vista, condições de iluminação, abertura da câmera ou estilo da imagem
• O RealFill supera amplamente as abordagens existentes em um novo benchmark de preenchimento de imagens que cobre cenários diversos e desafiadores
• O processo envolve o ajuste fino de um modelo de difusão de inpainting pré-treinado para as imagens de referência e de destino, permitindo aprender o conteúdo, a iluminação e o estilo da cena da imagem de entrada
• O modelo ajustado é então usado para preencher as regiões ausentes da imagem-alvo por meio do processo padrão de amostragem por difusão
• O RealFill gera imagens de alta qualidade que permanecem fiéis à cena original e visualmente atraentes, mesmo quando há grandes diferenças entre a referência e o alvo
• As limitações do RealFill incluem um processo de ajuste fino relativamente lento, baseado em gradiente, e dificuldade para reconstruir cenas 3D quando a mudança de ponto de vista entre as imagens de referência e de destino é muito grande
• O RealFill também enfrenta dificuldades em casos desafiadores para modelos básicos pré-treinados, como o Stable Diffusion

[GN⁺]

Comentários no Hacker News

• Artigo sobre o 'RealFill', uma ferramenta de preenchimento de imagens usando modelos de difusão
• Ferramenta com potencial valor para melhorar fotos tiradas atualmente e no passado
• O RealFill pode melhorar imagens ao compor várias fotos semelhantes em uma única imagem superior
• Ferramenta capaz de gerar imagens artificiais para postagens em redes sociais, aumentando o apelo e a diversão
• O RealFill é uma ferramenta útil de pós-produção para cinema e TV, oferecendo flexibilidade para "uncropping" e conversão de 4:3 para widescreen
• Ferramenta que pode ser usada para corrigir problemas de câmeras pinhole baratas em arranjos de câmeras holográficas
• O RealFill pode ser usado para corrigir fotos de família que alguém cortou por engano
• Função de zoom out digital baseada em IA, uma ferramenta para criar fotos ampliadas sem depender de lente ou distância
• Preocupação com o uso dos termos "real" e "restauração" na demo, já que a imagem resultante não é real nem restaurada, mas uma ilusão
• Ferramenta que pode tornar os celulares Pixel mais atraentes, com recursos como borracha mágica e "preenchimento de imagem real"
• Os avanços da IA nos últimos anos são impressionantes, e ferramentas como o RealFill representam uma etapa importante desse progresso
• Alguns comentaristas expressam preocupação com as implicações do uso de IA para criar a ilusão de realismo
• A funcionalidade da ferramenta é comparada à remoção do bastão de selfie por câmeras GoPro, usando quadros adjacentes para preencher pixels