Pi-C.A.R.D
Índice
- Introdução
- Como usar
- Hardware
- Configuração
Introdução
- Pi-card é um assistente de voz com IA que roda inteiramente no Raspberry Pi.
- Ele pode fazer tudo o que um LLM padrão como o ChatGPT consegue fazer em um contexto de conversa comum.
- Se houver uma câmera conectada, você pode pedir ao Pi-card para tirar uma foto, descrever o que está vendo e responder perguntas sobre essa imagem.
Por que Pi-card?
- É a sigla para Raspberry Pi - C amera A udio R ecognition D evice.
- Há um pedido para que, se alguém conseguir pensar em uma sigla melhor, envie uma issue ou pull request.
Como funciona?
- O Pi-card roda inteiramente no Raspberry Pi.
- Quando o programa principal é iniciado, o sistema começa a ouvir a wake word.
- Ao dizer a wake word, a conversa começa, e durante a conversa não é necessário continuar repetindo a wake word.
- Ele continuará ouvindo os comandos até que você diga algo como "pare", "encerrar" ou "tchau".
- Durante a conversa, o sistema mantém memória para poder retomar tópicos anteriores ou explicá-los em mais detalhes.
- O sistema foi projetado para funcionar totalmente de forma local, mas APIs ou serviços externos podem ser conectados para enriquecer a conversa ou controlar dispositivos externos.
- Por exemplo, ao dizer "tire uma foto" ou "o que você está vendo", a câmera é ativada.
Quão útil é?
- Esse sistema foi projetado como um projeto divertido e é um assistente de IA útil até certo ponto.
- Como tudo é feito localmente, ele não é tão rápido nem tão capaz quanto sistemas baseados em nuvem.
- Ainda assim, há bastante espaço para melhorias.
Por que não um app?
- A ideia era criar um assistente de voz totalmente offline que não exigisse conexão com a internet.
- Isso serve para proteger a privacidade do usuário e garantir que os dados não sejam enviados a servidores de terceiros.
Como usar
- Depois de baixar o repositório, instalar os requisitos e seguir as demais instruções de configuração, é possível executar o programa principal com o seguinte comando:
python assistant.py
- Quando o programa estiver em execução, você pode iniciar uma conversa com o assistente dizendo a wake word.
- A wake word padrão é "hey assistant", mas ela pode ser alterada no arquivo
config.py.
Hardware
- Raspberry Pi 5 Model B
- Microfone USB
- Alto-falante
- Câmera
Configuração
Software
- Para manter o sistema o mais rápido e leve possível, são usadas implementações em cpp para transcrição de áudio e para o modelo de linguagem com visão.
- A transcrição de áudio usa a biblioteca whipser.cpp, e o modelo de linguagem com visão usa a biblioteca llama.cpp.
- É necessário clonar cada repositório no local desejado e adicionar os caminhos no arquivo
config.py.
- Depois de clonar, entre em cada repositório e siga as instruções de configuração para executar os modelos.
Hardware
- A configuração de hardware é muito simples.
- Você vai precisar de um Raspberry Pi 5 Model B, microfone USB, alto-falante e câmera.
- O microfone USB e o alto-falante podem ser conectados às portas USB do Raspberry Pi.
- A câmera pode ser conectada à porta de câmera do Raspberry Pi.
- Hardware utilizado:
- Kit Raspberry Pi 5
- Microfone USB
- Alto-falante
- Câmera
- Conector de câmera
- O Pi 5 tem uma nova porta de câmera, então é necessário um novo conector de câmera.
Opinião do GN⁺
- O Pi-card é um projeto interessante que aproveita o Raspberry Pi e permite explorar várias possibilidades por meio da combinação de IA e hardware.
- Como funciona totalmente offline, ele tem uma grande vantagem do ponto de vista de proteção de privacidade.
- O desempenho pode ser inferior ao de sistemas baseados em nuvem, mas como roda localmente, a segurança dos dados é reforçada.
- Outros projetos com funções parecidas incluem Mycroft AI e Jasper.
- Ao adotar essa tecnologia, é preciso se preparar bem com antecedência, pois a configuração de hardware e software pode ser um pouco complexa.
Ainda não há comentários.