Show HN: Countless.dev – site para comparar todos os modelos de IA: LLMs, TTSs, STTs

Introdução à comparação de modelos de IA

• Comparação de modelos de IA: projeto open source que permite comparar facilmente diversos modelos de IA. É oferecido gratuitamente e permite comparar o tamanho de entrada e saída, preços e outros aspectos de cada modelo.

Comparação de preços

• Preços por modelo: inclui modelos de diversos provedores, como OpenAI, Azure, Anthropic e Google, com os preços especificados de acordo com o tamanho de entrada e saída de cada modelo.

Comparação de funcionalidades dos modelos

• Funcionalidades compatíveis: os recursos compatíveis pelos modelos incluem Vision, Chat, Embedding, Image generation, Completion, Audio transcription, TTS e outros.

Principais modelos e preços

• OpenAI: há diversos modelos, como gpt-4 e gpt-3.5-turbo, com diferentes tamanhos de entrada e saída e preços variados.
• Azure: há diversos modelos, como gpt-4o e gpt-4-turbo, e alguns modelos oferecem suporte ao recurso Vision.
• Anthropic: inclui modelos da série Claude, com suporte a diferentes tamanhos de entrada e saída.
• Google: há diversos modelos, como Gemini e Chat-bison, e alguns modelos oferecem suporte ao recurso Vision.

Fatores a considerar ao escolher um modelo

• Preço: é preciso considerar o preço de acordo com o tamanho de entrada e saída do modelo.
• Suporte a funcionalidades: é necessário escolher um modelo que ofereça suporte às funcionalidades necessárias.
• Provedor: é possível escolher entre diversos provedores, como OpenAI, Azure, Anthropic e Google.

[GN⁺]

Comentários do Hacker News

• Pergunta se foi inspirado por uma ferramenta de comparação de LLMs. A tabela é muito parecida, mas gostou do fato de terem adicionado uma calculadora personalizada

  • Seria bom adicionar uma caixa de seleção no Versus Comparison para destacar os melhores campos de cada LLM

• Gostou da ideia de comparar modelos. Pergunta se há planos para adicionar análises independentes ou se é apenas um agregador de limites de entrada

  • Pergunta qual seria a diferença ou o acréscimo em relação a outras análises
  • O site é bom de navegar

• Quer uma boa relação custo-benefício. Gostaria de saber qual é o modelo mais barato capaz de gerar dados estruturados de forma confiável a partir de texto não estruturado

  • Está usando o gpt4o-mini, mas quer saber se existe uma alternativa mais barata

• Pergunta se existe algum aplicativo de desktop melhor do que o cliente padrão do ChatGPT

  • Prefere compatibilidade com macOS/Linux

• Gostou da UI e do layout da tabela. Pergunta se consideraram mostrar os requisitos de VRAM dos modelos

• O Gemini do Google afirma ter uma janela de contexto mais de 10 vezes maior do que a da maioria dos concorrentes

  • Pergunta se alguém já testou se isso é realmente útil
  • Nos próprios testes, ele tende a perder o fio da meada depois de cerca de 10 interações
  • Pergunta se o Gemini realmente funciona de forma diferente ou se é exagero de marketing

• Há apenas dois modelos de transcrição de áudio. Pergunta se não existem modelos de transcrição open source ou se o dataset é pequeno

• Recomenda o llmprices.dev. É atualizado automaticamente com as informações mais recentes a cada 24 horas, todos os dias

• Logs gerados durante o build, resultados de testes, métricas etc. podem fazer parte da saída do build

  • Às vezes, "deploy" significa atualizar strings de versão e referências de imagem em outro repositório
  • Chaves SSH são necessárias, mas prefere lidar com isso manualmente

• Dá muitos parabéns ao ver que este projeto foi feito para um hackathon