macOSPilot - CoPilot de voz + visão para macOS

 (github.com/elfvingralf)
9 pontos por GN⁺ 2023-12-13 | 1 comentários | Compartilhar no WhatsApp
  • Assistente de IA com voz e visão, utilizável em todos os aplicativos do macOS
  • Ao pressionar o atalho e fazer uma pergunta por voz, ele fornece uma resposta em voz com base no contexto atual
    • Cria uma captura de tela da janela atual e a envia ao OpenAI GPT Vision
    • A pergunta é transcrita usando a API OpenAI Whisper e enviada junto como texto
    • A resposta em texto recebida é convertida em voz usando o OpenAI TTS e reproduzida
  • Desenvolvido com NodeJS/Electron
  • O atalho padrão é Cmd + Shift + '

Leituras relacionadas

1 comentários

 
GN⁺ 2023-12-13
Comentários do Hacker News

  • Pergunta se é melhor usar o termo "macOS" em vez de "OSX" no prompt, ou se isso não foi algo muito pensado na escolha inicial.

    • Diz que ficou curioso ao passar pelo vídeo.
    • Fornece um link para o código relacionado.

  • Sugere adicionar uma opção de texto em streaming em vez de TTS na resposta.

    • Também sugere considerar o uso de texto em vez de comandos de voz.
    • Compartilha a experiência de ter tentado assistentes parecidos por muito tempo e propõe contato pelo Discord.

  • Menciona que escreveu um script semelhante para configuração no Linux.

    • Conectado aos atalhos de teclado do XFCE.
    • Diz que usa o script com pouca frequência.

  • Recomenda definir um limite de gastos ao usar a API da OpenAI.

    • Avisa que é possível perceber rapidamente a diferença de custo entre modelos de texto e de visão.
    • Confirma que os preços são parecidos e faz uma avaliação positiva.

  • Reação positiva ao projeto.

    • Diz que capturas de tela ajudariam a esclarecer as partes confusas.
    • Pergunta se há uma forma de ocultar a janela quando não estiver em uso.

  • Pergunta se há planos de fazer o projeto funcionar com LLMs locais em vez de "open"AI.

  • Opina que gostaria de construir algo integrado ao próprio terminal.

    • Diz que evitar screenshots e trabalhar diretamente no terminal é mais simples.
    • Fornece um exemplo de código no formato de dar comandos à IA pelo terminal.
    • Comenta como é difícil arranjar tempo no dia a dia corrido.

  • Reação negativa à informação de que "macOSpilot usa NodeJS/Electron".

  • Compartilha a experiência de uso com a estação de trabalho de áudio digital Ableton Live.

    • Avaliação positiva de que parece muito útil e pode economizar tempo.
    • Fornece um link para um vídeo interativo.
    • Questiona os comentários negativos.

  • Compartilha uma imaginação sobre produtividade enquanto espera o resultado do comando ls.