Frigate - gravador de vídeo em rede open source com detecção de objetos por IA em tempo real

• NVR (Network Video Recorder) open source que realiza detecção de objetos por IA em tempo real localmente usando OpenCV e Tensorflow
  • Todo o processamento é feito localmente no hardware do usuário, e o feed das câmeras é processado apenas localmente
  • Não detecta apenas movimento, mas também objetos como pessoas/carros

Recursos do Frigate

• Um dos gravadores de vídeo em rede com mais estrelas no GitHub, com mais de 2 milhões de downloads no Docker Hub.
• A detecção local de objetos com Google Coral TPU reduz falsos alertas e permite processar 100+ FPS com sobrecarga muito baixa
• A IA do Frigate analisa os feeds de vídeo para que você revise apenas as detecções importantes
• Rastreia objetos em tempo real e permite ajustar alertas com precisão com base na localização exata.
• Integra-se ao Home Assistant e a outras plataformas de automação para aplicar a detecção de objetos à automação residencial.
• Oferece a visualização Birdseye, renderizando dinamicamente as câmeras com detecção ativa para facilitar a identificação das câmeras de interesse
• A comunicação via MQTT facilita a integração com outros sistemas

Experiência do usuário

• Os usuários têm uma experiência de sistema de câmeras de segurança open source, com controle local, altamente personalizável, detecção rápida de objetos e integração estreita com o Home Assistant.
• O Frigate ajuda os usuários a reduzir um grande número de detecções falsas no disco rígido e a economizar tempo na revisão de gravações sem incidentes.
• Ao usar o Frigate, os usuários eliminam a dependência da nuvem em câmeras de segurança sem perder a detecção de objetos nem o histórico de gravações.
• Em breve, o Frigate+ oferecerá acesso a modelos personalizados projetados especificamente para o Frigate.

Opinião do GN⁺

• O Frigate é uma solução open source para monitorar câmeras de segurança com IA local, reforçando a privacidade do usuário ao mesmo tempo em que oferece detecção precisa de objetos e recursos de automação integrados.
• Essa tecnologia permite que os usuários gerenciem seus sistemas de câmeras de segurança com mais eficiência e contribui para reduzir a dependência de serviços em nuvem, ao mesmo tempo em que fortalece a privacidade dos dados.
• Os recursos e a experiência de uso do Frigate podem servir de inspiração interessante para engenheiros de software iniciantes interessados em segurança e automação, além de mostrar a abordagem inovadora da comunidade open source.

[GN⁺]

Opiniões no Hacker News

• Experiência de uso do Frigate

  • Usou o Frigate por 6 meses com um Raspberry Pi 4 e um Google Coral TPU.
  • Conectou 2 câmeras de rede de 2 MP, com funcionamento suave e detecção de objetos precisa.
  • Permite gravação de vídeo 24/7 além de eventos, com exclusão automática de dados antigos.
  • Integrado ao Home Assistant para receber no celular notificações com vídeo em tempo real, snapshots e gravações.
  • A experiência de uso e as opções de configuração são superiores às de produtos comerciais.
  • É fácil de usar, divertido e altamente recomendável, podendo até salvar vidas.

• Observações ao testar o Frigate

  • O Frigate é um projeto ambicioso e há expectativa de que tenha sucesso.
  • Decodificação por hardware ou Coral não são obrigatórios, mas ajudam.
  • A detecção de movimento com OpenCV tem precisão inferior.
  • A precisão dos modelos de detecção de objetos disponíveis publicamente é baixa, fazendo com que eventos importantes sejam perdidos.
  • O suporte ao Coral é instável, e a manutenção de drivers e bibliotecas é insuficiente.
  • Executar o modelo na CPU não sai tão caro.
  • Está considerando migrar para um software mais simples.

• Falta de recursos no Frigate

  • O Frigate é um dos produtos NVR/VMS mais promissores, mas ainda faltam recursos para substituir o Blue Iris.
  • A gravação contínua existe, mas em um produto focado em eventos ela recebe menor prioridade.

• Possibilidade de usar câmeras Ring com o Frigate

  • Há o problema de não conseguir conectar câmeras Ring à Amazon.
  • Busca uma forma de fazer root ou usar câmeras Ring com o Frigate.
  • Há resistência em pagar taxa de serviço e em deixar a Amazon usar os vídeos.

• Excelente suporte do Frigate

  • Suporte excelente a câmeras por meio de go2rtc e ffmpeg.
  • Suporte a codecs de vídeo acelerados via ffmpeg.
  • Suporte à detecção de objetos com pesos e modelos Yolo personalizados.
  • Suporte a OpenVINO para inferência acelerada em CPUs/GPUs Intel.
  • A documentação é muito boa.

• Expectativa por detecção de objetos na própria câmera

  • Gostaria de aproveitar a detecção de eventos embutida em muitas câmeras para descarregar a detecção de objetos para a própria câmera.

• Operando o Frigate em um contêiner Docker

  • Usa o Frigate em um contêiner Docker em um Mac Mini M1, oferecendo uma solução NVR estável.
  • Com o Scrypted e o HomeKit Secure Video, é possível fazer monitoramento remoto.

• Integração do Frigate com modelos personalizados

  • Curiosidade sobre o processo de integrar um dataset do roboflow ao Frigate.

• Requisitos básicos de configuração do Frigate

  • É necessário um PC com Intel, um Coral TPU USB e câmeras PoE com fio.
  • Pergunta sobre como alimentar as câmeras: switch PoE ou vários injetores PoE.
  • Não recomenda o uso de câmeras Wi‑Fi, e considera este um bom momento para migrar para câmeras de maior resolução.

• Possibilidade de executar o Frigate em SBCs Arm

  • Curiosidade sobre a possibilidade de executar o Frigate em SBCs baseados em Arm.