Pesquisar dentro de vídeos do YouTube com linguagem natural

• Busca cenas específicas dentro de um vídeo usando a rede neural CLIP da OpenAI

→ Pesquisa imagens dentro do vídeo como "Road Works", "People crossing the street" e "Fire truck"

Modo de funcionamento

1. Baixar o vídeo do YouTube

2. Extrair cada frame

3. Codificar todos os frames com o CLIP

4. Codificar a busca em linguagem natural com o CLIP

5. Encontrar cenas específicas usando a busca em linguagem natural

• Pode ser executado diretamente como notebook no Google Colab

→ https://colab.research.google.com/github/haltakov/…

[xguru]

Nos comentários, há também uma busca de imagens do Unsplash feita com CLIP pelo mesmo desenvolvedor; isso também parece ser muito útil.

• https://github.com/haltakov/natural-language-image-search

• Google Colab: https://colab.research.google.com/github/haltakov/…

Ele encontra, entre 2 milhões de fotos enviadas ao Unsplash, a imagem com o conteúdo que você quiser.

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"