Monitorar câmeras de segurança com IA local

• Frigate NVR é uma solução de detecção de objetos baseada em inteligência artificial local para câmeras de segurança instaladas em casa ou no escritório
• Suporta integração com plataformas populares de automação como Home Assistant, OpenHab e NodeRed
• O Frigate se integra diretamente ao Home Assistant Media Browser, permitindo uso imediato do feed da câmera e de automações
• Com a exposição de dados sensores e switches em tempo real, é possível criar vários cenários de alertas e automação
• A interoperabilidade com capacidade de expansão baseada em MQTT permite construir uma smart home eficiente

---

Principais recursos do Frigate NVR

• O Frigate NVR executa a IA de detecção de objetos localmente, permitindo analisar o vídeo de câmeras de segurança sem depender de serviços externos de nuvem
• Pode ser integrado ao Home Assistant, OpenHab, NodeRed, facilitando a integração com várias plataformas de automação residencial
• O Frigate mostra o vídeo da câmera diretamente no Home Assistant Media Browser, fornecendo uma entidade de câmera de baixa latência
• Expõe em tempo real resultados de detecção de objetos como dados de sensores e switches, oferecendo possibilidades como detecção de eventos baseada em vídeo, regras de automação e configurações de alerta
• Com o suporte ao protocolo MQTT, tem como ponto forte a integração escalável com outros sistemas IoT e de automação

[GN⁺]

Comentário do Hacker News

• Eu já utilizei o Frigate por mais de dois anos, e em termos de velocidade e confiabilidade de detecção foi muito melhor que qualquer sistema que já usei. Antes também usei Ring, Tapo e Eufy Security, mas atualmente apenas conecto câmeras Tapo ao Frigate por stream RTSP. Bloqueei o acesso dessas câmeras à Internet para que a privacidade fique totalmente garantida. O Eufy Security era impossível de confiar: toda vez que eu clicava na notificação de detecção de movimento, ele exibia anúncio de novo produto, priorizando publicidade em vez da própria segurança. Também tinha problema de vídeo em nuvem não abrir mesmo com assinatura paga e de salvar credenciais de segurança, como senha, sem criptografia. Esses pontos foram os principais motivos para eu migrar para uma solução self-hosted. O Frigate usa hardware de segunda mão com RX 550 e aceleração por hardware ativada, mantendo latência de detecção sempre abaixo de 1 segundo. Criei um app usando a API do Frigate para enviar alertas com screenshot via Telegram e Pushover, sustentando o setup autossuficiente há dois anos. Nesse período, reiniciei o serviço só duas vezes. Faço tunelamento de um VPS para o servidor local da casa e o uso perfeitamente de fora. Muito grato por esse projeto incrível

  • Fiquei curioso se você está integrando com Home Assistant. Meu ISP bloqueia acesso ao site do HACS, então a integração do HACS não funciona direito. Quando tento baixar e instalar via wget get.hacs.xyz, dá erro de SSL e a conexão cai
  • Se você tiver uma forma de manter as câmeras fora da Internet e somente na rede local, bloqueando também um eventual envio no canal reverso, compartilhe
  • Gostaria de saber se dá para usar câmeras Eufy junto com o Frigate
  • Gostaria de saber como fazer as câmeras Tapo funcionarem bem com o Frigate em modo RTSP. Só colocar uma câmera no Wi-Fi já deixa a rede muito instável; eu tentei dividir por banda/um por AP e ainda assim houve problema
  • É surpreendente que eu tenha confiado meus dados de vídeo tão sensíveis para eles no início. Antes os defensores do GNU já me pareciam estranhos, mas agora não consigo entender colegas que nem usam bloqueador de anúncios

• Uma reclamação que costumo fazer: na primeira frase você usou a sigla NVR sem explicar. NVR é abreviação de Networked Video Recorder. Como ninguém é expert nesse campo, preferia não fazer assim

  • Faz sentido assumir que o visitante já saiba o que significa NVR. De qualquer forma, acho que o contexto já permite entender o que é Frigate
  • Não concordo. Espero que mais de 90% das pessoas que buscam Frigate saibam o que é NVR. Claro que é bom explicar cada termo, mas NVR é conhecimento básico que, no mínimo, quem quer usar esse tipo de produto deve ter
  • Em geral concordo, mas NVR é uma sigla realmente comum não só entre profissionais da indústria, mas também entre consumidores. Quem procura uma solução de CFTV ou CCTV encontra esse termo quase sempre. Se não souber, não faz sentido nem o que é Network Video Recorder. O próprio objetivo do Frigate é substituir essas NVR boxes fechadas e inflexíveis, por isso a palavra aparece no nome
  • Na prática, quase todos os pontos de venda colocam NVR ou NVR Recorder no nome (pelo menos na minha experiência). Dá até para achar na busca imediatamente

• GPU e TPU não são obrigatórios. Basta ter poucas câmeras e ajustar bem as áreas de detecção. Eu uso substream MJPEG de baixa resolução/fps para detecção e h264 apenas para gravação/visualização. Para inferência em CPU, OpenVINO é bem mais rápido que TensorFlow padrão, e em uma VM de 6 núcleos (Ivy Bridge Xeon) com duas câmeras o uso da CPU fica perto de 20%

• A aceleração de vídeo (decodificação de vídeo, não reconhecimento de objeto) é um pouco instável, mas depois disso foi a melhor experiência em solução de reconhecimento de objetos em tempo real que já tive. Não acordo mais de madrugada por causa de bichos pequenos. Vale notar que o plano anual que pago ajuda a treinar modelos de IA com os dados de falso positivo que forneço. A precisão melhorou bastante por causa disso

  • O legal de não acordar à noite por causa de animais é bom, mas também é curioso que consigo coletar fotos de vários bichos. Parece que estou descobrindo um mundo que estava escondido
  • O problema do Coral AI Board é que os drivers e software são o clássico Google Abandonware(tm), e não é bom. Eles forçam versão antiga de Python e pioram a compatibilidade com OS e GPU modernos. Em 2025, parece que comprei hardware que exige software nível Windows 7
  • No meu caso está piorando com o tempo. Estou há 2–3 anos usando, mas ultimamente brinquedos infantis, scooter de jardim e bandeiras de pirata têm causado falsos positivos continuamente. Por questões de privacidade pessoal, não consigo enviar dados de falso positivo; vou treinar meu próprio modelo com dados acumulados por bastante tempo
  • Pago essa assinatura por vários motivos: 1) suporte ao desenvolvedor 2) custo de treinamento refletido claramente 3) manter os modelos treinados de forma permanente. É o oposto do AgentDVR. Acesso remoto e push notification resolvo sozinho, enquanto o AgentDVR ainda cobra assinatura mensal até para acesso por VPN

• O nível de acabamento do Frigate surpreende. O go2rtc e o MediaMTX (go2rtc, MediaMTX) já cobrem o básico, mas se quiser incluir processamento de IA não há uma ferramenta Unix-like fácil; acaba sendo necessário implementar em Python

  • Usei Motion por muito tempo. A configuração padrão é fácil e muito flexível. Para tunings avançados é preciso um pouco de ajuste

• Se a ideia não for processar vídeo gravado em tempo real, por exemplo extrair de um vídeo de 5 horas apenas cenas em que um carro passa por um local ou o motorista está com o celular na mão, fico curioso sobre por onde começar e qual framework usar

  • Recomendo começar pela documentação e exemplos do OpenCV. Fiz reconhecimento facial com o face_recognition exemplo e, para carros etc., você teria que treinar um modelo separado ou aplicar algo como YOLOv3
  • Uma IA comercial decente te devolveria um script Python na hora para carregar o vídeo e retornar apenas os trechos onde, num horário específico, o motorista esteja com o celular na mão
  • A técnica You Only Look Once pode ajudar

• Uma pergunta meio de brincadeira: se alguém pegar uma placa grande dizendo para ignorar o sistema de segurança, não seria isso o suficiente para neutralizar?

  • Pelo GitHub dá para ver que usa OpenCV e TensorFlow. A detecção de movimento é baseada em OpenCV: é preciso movimento humano e, se não for muito lento, não dá para driblar. O reconhecimento de objeto (TensorFlow) não faz OCR, então não dá para enganar o sistema com texto. Mas como a lista de objetos detectados é limitada, daria para evitar detecção com disfarce de árvore, por exemplo
  • Fiquei pensando se não seria com um tal de “scramble suit” ou camiseta com padrão de evasão (adversarial) de propósito, né? (scramble suit, adversarial t-shirts)
  • Existe também a opção de usar roupa de guaxinim inteira
  • A estrutura tem duas etapas. Etapa 1: detecção de movimento com OpenCV. Depois, reconhecimento de objeto em região de interesse com modelo diferente conforme o hardware. Coral TPU, Halio Accelerator e a maioria das GPUs dão suporte (ROCm não funciona em iGPU da AMD). O Coral usa edgedet, e também são suportados YOLO-NAS, YOLO, D-Fine, RF-DETR etc. Também há modelo pago especializado em YOLO-NAS ou você pode treinar diretamente
  • Não é LLM, é uma IA “normal” (mas um LLM também pode gerar descrição automaticamente)

• Eu uso Frigate com 5 câmeras IP (3 Hikvision, 2 Amcrest) e 1 câmera USB. Com uma USB Coral TPU, no i7-6700 antigo ele roda suave com CPU em torno de 30%. Não é perfeito, mas dá para usar. O vídeo da Amcrest toca bem, mas Hikvision às vezes precisa de transcodificação por compatibilidade de codec. Não existe função embutida para enviar vídeo gravado para fora; mesmo espelhando o diretório de armazenamento, era estruturalmente difícil fazer backup só de eventos importantes

  • Gostaria de saber se funciona também reconhecimento de pessoa identificada (identified recognition) com foto previamente cadastrada, não só detecção de pessoa

• GPU e TPU não são obrigatórios; se você ajustar bem o número de câmeras e áreas de detecção, CPU basta. A experiência foi compartilhada com vários modelos (OpenVINO, TensorFlow etc.)

• Uma observação meio fora do escopo: por que ainda instalar câmeras de segurança sob monitoramento próprio? Há estudo de psicologia mostrando que isso aumenta estresse e ansiedade. Na prática, não ajuda muito na prevenção de crimes, e para investigação policial ou prova de seguro parece necessário backup offsite. Mesmo com muito CCTV no país, há pouquíssimos casos em que isso contribui de fato para solução de crimes (como identificação de placa de veículo, por exemplo)

  • Um ponto importante da instalação de câmera é estimular ordem pública. Depois de colocar uma câmera sobre a entrada, o entregador deixou de agir de forma pesada e não houve mais dano no portão. Também é útil para localização do gato, monitoramento remoto quando saio e pedidos de seguro etc. Mas para a maioria dos CCTV baratos, acho que sensibilidade de IR noturno vale mais que resolução. Para identificação real, uso câmeras de baixa resolução de nível profissional. Já uso há bastante tempo ZoneMinder com IA local em open source
  • A parte de “aumenta o estresse e a ansiedade” pareceu meio crítica em relação ao meu sentimento e ficou um pouco ruim pra mim. Cada pessoa tem razões diferentes
  • Cada pessoa tem ambiente, risco e nível de policiamento diferentes; então cada uma tem critério, objetivo e estado emocional diferentes para operar câmeras. Moro numa área tranquila e fico fora por períodos longos; para mim, a sensação de tranquilidade de poder monitorar supera a de ficar sem câmera
  • Minha campainha de entrada tem gravação local; quando alguém toca, recebo imagem de alguns segundos antes em notificação desktop/telefone. Dá para ver quem veio e decidir resposta. É bem legal, e também dá para instalar câmera em volta de casa e perguntar a um LLM “contar os pássaros?”, “o cachorro está no quintal dos fundos?”
  • O principal propósito de Frigate é não exigir monitoramento constante. Falso positivo de animais pequenos e carros de conhecidos deixam de ser problema, então você foca só nos eventos realmente importantes

• Sou usuário antigo de Frigate, há 4 anos. Usei só o Frigate sem Home Assistant, mas recentemente reativei o Home Assistant para conectar o stream WebRTC da câmera Nest ao Frigate. Agora posso usar o mesmo com economia, sem assinatura do Nest Aware