RSS do YouTube para receber em texto

Costumo focar em conteúdos informativos no YouTube, mas como não gosto de acabar perdendo tempo assistindo a outros vídeos, criei isso no Replit.

Usuários recomendados

• Quem não quer cair no buraco sem fim do YouTube
• Quem prefere ler rapidamente só as informações em texto em vez de assistir ao vídeo
• Quem quer selecionar os vídeos que realmente precisa ver

[naearu]

Ah... não estou conseguindo acessar. Será que o serviço foi encerrado?

[windbug99]

Como o yt-dlp continua sendo bloqueado, o serviço normal foi interrompido T_T
Ele foi movido para shortv.vercel.app para fins de arquivamento, mas não está em operação..
Então, por enquanto, criei um serviço que resume blogs: https://hyprfeed.app/
Pretendo adicionar o resumo do YouTube depois, quando encontrar uma forma de fazer isso.

[thfvkfk]

Nossa, vocês criaram algo incrível, né..? Obrigado!!

[ohyecloudy]

Excelente. Vou usar bastante.

[hellosunghyun]

Pelo que eu sei, se você usar a Gemini API, é possível fornecer o vídeo apenas com a URL, sem precisar baixá-lo.
Antes isso era possível, mas não sei se ainda funciona agora!
Acho que vale a pena dar uma olhada!
https://cloud.google.com/vertex-ai/generative-ai/…
https://ai.google.dev/gemini-api/docs/video-understanding?hl=ko

[windbug99]

No fim das contas, falhou T_T
Não tenho certeza se eu não apliquei corretamente, mas depois de pesquisar o dia todo,

• a análise de vídeos do YouTube via Gemini API não é fornecida por padrão.
• só é possível com vídeos que a própria pessoa enviou para o YouTube.
  Foi isso que descobri.

[windbug99]

Ah, obrigado! Acho que minhas habilidades de busca deixaram a desejar T_T
Vou testar e depois deixo um comentário com o resultado.

[hellosunghyun]

No app ou site do Gemini isso ainda não é suportado (no cliente Gemini, o recurso de inserir vídeos também foi adicionado recentemente),
mas no AI Studio isso já é suportado há bastante tempo!
Mesmo você não sendo desenvolvedor, o acabamento do produto está muito bom!
Vou usar bem o serviço!

[sangmin7648]

Parece que o custo vai ser bem alto. Como você pretende cobrir isso? Como os dados são do YouTube, acho que vai ser difícil monetizar isso por causa dos direitos autorais.

[windbug99]

Os custos ainda não são muito altos por enquanto, mas quando o número de canais aumentar, acho que chegará o momento de considerar os custos de servidor e de API. Ao ver serviços como o LilysAI, parece que há uma forma de resolver isso, então pretendo pensar nisso enquanto continuo aprimorando!

[bobross0]

Toda vez eu ficava com dor de cabeça tentando absorver vídeos informativos, então isso é bom demais.

[windbug99]

É curioso ver que há muitas pessoas com a mesma necessidade que eu :)

[jongyeol]

Nossa, isso é muito bom. Em vez de escolher entre os canais disponibilizados, não daria para adicionar diretamente inserindo a URL do canal do YouTube?

[windbug99]

O plano original era que os usuários adicionassem e compartilhassem, mas no servidor de produção isso acabava sendo bloqueado 100% pela política de bloqueio de bots do YouTubeT_T então, no momento, estou escolhendo os canais e adicionando pelo servidor de desenvolvimento.
Estou usando yt-dlp; se alguém souber de uma forma de resolver esse problema, por favor compartilhe... Também não faço ideia de como coisas como o LilysAI fazem isso..

[jongyeol]

1. Colocar um user agent apropriado
2. Se o bloqueio acontecer acima de um certo número de conexões simultâneas em paralelo, então simplesmente subir várias VMs e usar vários IPs (a questão é o custo, né)
3. Se a lista a coletar não for muito grande, colocar em alguma fila e baixar um por um (ou em N conexões simultâneas permitidas) tirando da fila
4. Ao coletar, colocar um tempo de espera adequado entre as requisições e adicionar um pouco de tempo aleatório ao delay para parecer o máximo possível que não é um bot

...é mais ou menos isso. Se o usuário adicionar diretamente, acho que a parte relacionada seria a nº 3.

[windbug99]

Obrigado pela resposta!
Os itens 1, 3 e 4 já estão aplicados. No caso do item 2, acho que o servidor de desenvolvimento do Replit provavelmente roda de forma virtual, então parece que ele não é bloqueado, mas o servidor de produção aparentemente é. Pelo que vi, lugares como a AWS quase sempre são bloqueados. Parece que não existe uma resposta certa para issoT_T..

[jongyeol]

Ah, por acaso isso resume reproduzindo o vídeo inteiro? Ou faz o resumo só com o script do vídeo? Se for yt-dlp, seria o primeiro caso, então pelo menos levaria o tempo de duração do vídeo; se for o segundo, terminaria rapidinho, então parece que só 3 vezes já seria suficiente. Embora possa haver diferença na qualidade do resultado.

[windbug99]

Estou baixando apenas o arquivo de áudio em partes e extraindo com um script.

[jongyeol]

Na UI do YouTube, existe uma tela onde dá para ver as legendas (transcrição) por tempo; se a gente fizer parsing só disso, acho que dá para reduzir bastante o tempo de crawling. Pelo que sei, vários plugins do Chrome também usam isso para gerar resumos.

[windbug99]

Sim, é isso mesmo. O ideal seria pegar os scripts pela YouTube Data API e usar assim, mas quando fui testar, quase sempre ela retornava que não havia script nenhum T_T Disseram que o uploader precisa configurar isso.

[naearu]

O ytdlp tem um recurso para baixar legendas. Ele baixa aquelas legendas geradas automaticamente, então há alguns erros, mas eu uso isso para jogar em uma IA e gerar um resumo para usar.

[windbug99]

Ah, eu não conhecia essa informação. Seguindo o que a IA sugeriu, vejo que esse problema aparece mesmo. Acho que vai ser mais rápido do que extrair o áudio, vou testar!

[ysm0622]

https://github.com/ysm-dev/cpdown

Também fiz isso de um jeito parecido.
Dê uma olhada no código :)

[windbug99]

Vou acompanhar por aqui também :)

[jongyeol]

Ahá. Não é fácil, hein..

[rtyu1120]

Eu precisava muito de algo assim, obrigado hahaha. Tem canais demais que postam vídeos de 4 horas...

[windbug99]

Concordo! Dá um certo trabalho e precisa de tokens, mas depois de fazer fica muito prático.

[geekbini]

Os muitos vídeos já existentes no YouTube e os novos vídeos que continuam sendo enviados agora são exibidos de forma categorizada? Ao entrar, vi que algumas categorias parecem ter apenas alguns vídeos, então gostaria de perguntar por que isso acontece.

[windbug99]

Sim, não estamos trazendo vídeos antigos; estamos coletando apenas os novos vídeos a partir do momento em que o canal foi adicionado.

[jujumilk3]

Muito bom!!!!!

[windbug99]

-_-b

[seungwoo]

Uau, é um site bom demais!!! Vou apoiar e usar bastante!

[windbug99]

Muito obrigado pelo apoio!!

[sajacaros]

As categorias não estão funcionando~ Seria ótimo se houvesse categorias de desenvolvimento/economia!!

[windbug99]

Obrigado pelo feedback. Acabei deixando isso passar enquanto separava a tabela de categorias T_T
Corrigi e redistribuí!
Pretendo remover ou adicionar categorias e canais observando a quantidade de inscritos dos usuários.

[huiya]

Sou do tipo de pessoa que acha muito melhor consumir informação em texto do que em vídeo, então adorei demais o serviço.

[windbug99]

Obrigado, vou reunir muitos canais bons ^^

[laeyoung]

Muito bom! Nossa, eu também estava fazendo algo parecido, que arrepiante!

[windbug99]

Então tinha mais alguém pensando a mesma coisa! Não sei se vai servir de referência, mas compartilho meu registro de trabalho
https://eastchair.substack.com/p/replit-mvp-youtube
O processo de transformar isso em feed a partir do YouTube é mais difícil de otimizar do que eu imaginava; se houver um método melhor, por favor compartilhe!
Por causa da política de bloqueio de bots do YouTube, está complicado..T_T

[cnaa97]

Ah, que legal. Como faz para assinar o XML do RSS?

[windbug99]

Eu não sou desenvolvedor, mas o agente fez isso muito bem. Adicionei um botão de RSS XML. Se houver alguma parte estranha, por favor me deem feedback!

[windbug99]

A assinatura via RSS ainda não foi implementada. Vou implementar em breve.