Countless.dev – site para comparar preços e recursos de modelos de IA como LLM, TTS e STT

 (countless.dev)
4 pontos por GN⁺ 2024-12-08 | 1 comentários | Compartilhar no WhatsApp
  • Countless.dev é um site que busca comparar preços e recursos de modelos de IA de vários provedores em uma única tabela, permitindo examinar rapidamente limites de tokens e preços unitários necessários para escolher um modelo
  • A lista enumera modelos por provedor, como OpenAI, Anthropic, Google, Qwen, DeepSeek e Mistral, e mostra junto valores que parecem ser comprimento de contexto e limite de saída
  • Famílias de modelos comerciais e abertos, como GPT-5.x, Claude Opus/Sonnet/Haiku, Gemini 2.5/3.x, Qwen3.x, DeepSeek V3/R1, Mistral, Llama e Nemotron, aparecem misturadas na mesma tela
  • Alguns itens aparecem marcados como (free), com o campo de preço vazio, e roteadores como Auto Router, Free Models Router, Pareto Code Router e Switchpoint Router também são tratados como itens separados
  • É possível comparar modelos recentes, antigos, preview, de imagem, áudio, codificação e pesquisa por provedor, mas, apenas pelo texto fornecido, não é possível confirmar as definições das colunas da tabela nem o método de cálculo dos preços

Tabela de comparação de preços e recursos de modelos de IA

  • Countless.dev se apresenta no título como uma ferramenta de comparação de preços e recursos de LLMs
  • No título do Hacker News, é apresentado como um site que compara não só LLMs, mas também TTS e STT
  • O texto fornecido tem o formato de uma longa lista de modelos, e cada linha geralmente traz as seguintes informações em conjunto
    • Nome do provedor ou roteador
    • Nome do modelo
    • Valor de tokens apresentado com a marcação T
    • Dois valores de preço em dólar ou campos de preço vazios
    • Indicação de modelo gratuito com a marcação (free)

Famílias de modelos misturadas por provedor

  • Os itens da OpenAI incluem GPT-5.5, GPT-5.4, GPT-5.3, GPT-5.2, GPT-5.1, GPT-5, GPT-4.1, GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo, entre outros
    • Modelos Pro de alto custo, como GPT-5 Pro, GPT-5.4 Pro e GPT-5.5 Pro, também são listados como itens separados
    • Também é possível ver modelos de áudio e imagem, como GPT Audio, GPT Audio Mini, GPT-5 Image e GPT-5 Image Mini
    • As famílias o1, o3, o4 Mini e Deep Research também aparecem juntas
  • Os itens da Anthropic são compostos pelas famílias Claude Opus, Sonnet, Haiku e Fable
    • Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Opus 4.5, Claude Opus 4.1 e Claude Opus 4 são listados
    • Claude Sonnet 5, Sonnet 4.6, Sonnet 4.5, Sonnet 4, Claude Haiku Latest e Claude Haiku 4.5 também estão incluídos
  • Os itens do Google incluem as famílias Gemini, Gemma, Nano Banana e Lyria
    • Gemini 3 Flash Preview, Gemini 3.5 Flash, Gemini 3.1 Pro Preview, Gemini 2.5 Pro e Gemini 2.5 Flash são listados
    • Também há itens de modelos de imagem, como Nano Banana Pro, Nano Banana 2 e Nano Banana Lite
  • Modelos de outros provedores, como Qwen, DeepSeek, Mistral, Meta, NVIDIA, MoonshotAI, MiniMax e Z.ai, também podem ser comparados na mesma lista

Indicação de preço e modelos gratuitos

  • Itens com preço exibem dois preços unitários em dólar em conjunto
    • Anthropic Claude Opus 4.8: $5, $25
    • OpenAI GPT-5.5: $5, $30
    • Google Gemini 2.5 Pro: $1.25, $10
    • OpenAI o1-pro: $150, $600
  • Itens marcados com (free) têm os campos de preço vazios como —
    • NVIDIA Nemotron 3 Ultra (free)
    • Poolside Laguna M.1 (free)
    • Cohere North Mini Code (free)
    • Google Gemma 4 26B A4B (free)
    • OpenAI gpt-oss-120b (free)
    • Meta Llama 3.3 70B Instruct (free)
  • Alguns modelos têm versões gratuita e paga em linhas separadas
    • Poolside Laguna XS.2
    • Poolside Laguna M.1
    • NVIDIA Nemotron 3 Super
    • Google Gemma 4 26B A4B
    • OpenAI gpt-oss-120b
    • OpenAI gpt-oss-20b

Limites de modelos vistos pelos valores de tokens

  • Vários modelos exibem valores altos, em torno de 1 milhão de tokens
    • OpenAI GPT-5.5, GPT-5.4, GPT Latest: 1,050,000
    • Anthropic Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5: 1,000,000
    • Google Gemini 3 Flash Preview, Gemini 3.1 Flash Lite, Gemini 2.5 Pro: 1,048,576
    • DeepSeek V4 Pro, DeepSeek V4 Flash: 1,048,576 ou 1,048,575
  • O segundo valor de tokens, que parece ser o limite de saída, também varia conforme o modelo
    • OpenAI GPT-5.5: 128,000
    • Anthropic Claude Opus 4.8: 128,000
    • MoonshotAI Kimi K2.6: 262,144
    • MiniMax MiniMax-01: 1,000,192
  • Algumas linhas têm o segundo valor ou o preço vazio como —, portanto nem todos os modelos fornecem o mesmo nível de informação

Roteadores e modelos para fins especiais

  • Além de modelos comuns, itens de Router também são incluídos como se fossem modelos separados
    • OpenRouter Fusion
    • Pareto Code Router
    • Free Models Router
    • Switchpoint Router
    • Auto Router
  • Modelos voltados a finalidades específicas, como segurança, pesquisa, busca e aplicação de código, também aparecem na lista
    • NVIDIA Nemotron 3.5 Content Safety
    • Meta Llama Guard 4 12B
    • OpenAI o3 Deep Research
    • Perplexity Sonar Deep Research
    • Relace Search
    • Relace Apply 3
  • Apenas pelo texto fornecido, é difícil confirmar critérios detalhados como o método de seleção de cada roteador ou modelo especial, benchmarks, APIs compatíveis e ciclo de atualização

Leituras relacionadas

1 comentários

 
GN⁺ 2024-12-08
Opiniões no Hacker News

  • OP, por acaso você se inspirou nesta ferramenta de comparação de LLMs?
    https://whatllm.vercel.app
    A tabela é bem parecida, mas adicionar uma calculadora diretamente aqui foi um bom ponto
    Na Versus Comparison, seria legal ter um recurso que, ao marcar uma checkbox, destacasse de relance os itens com melhor valor de cada LLM

    • Os dados desta ferramenta foram trazidos de https://artificialanalysis.ai/ em 13 de outubro de 2024, então estão um pouco antigos
      As informações mais recentes de todos os modelos e provedores estão nesta página: https://artificialanalysis.ai/leaderboards/providers
      Outras páginas também cobrem reconhecimento de fala, síntese de voz, geração de imagens e geração de vídeo
      Para referência, sou um dos criadores do Artificial Analysis

  • É bom ver mais comparações de modelos. Fico curioso se vocês planejam acrescentar também análises independentes desses modelos, ou se será apenas uma agregação de informações como limites de entrada
    Que diferenciação ou valor adicional vocês veem em comparação com outras análises como as abaixo?
    https://artificialanalysis.ai
    https://huggingface.co/spaces/TTS-AGI/TTS-Arena
    https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
    https://huggingface.co/spaces/TIGER-Lab/GenAI-Arena
    O trabalho de agregação é excelente, e o site também é fácil de navegar

    • Criei https://aimodelreview.com/ para comparar as saídas de LLMs em vários prompts e categorias, permitindo vê-las lado a lado
      Executei cada prompt 4 vezes com diferentes valores de temperature, e isso pode ser visto por meio de um toggle
      Também tentei adicionar avaliações de cada modelo, mas fiquei sem energia. Ainda assim, recebi mensagens dizendo que a comparação continua ajudando a ter uma noção de como os modelos respondem de formas diferentes ao mesmo prompt e de como a temperature afeta a saída do mesmo modelo
    • Pessoalmente acho a UI do Gradio feia, então usei shadcn e Next.js para deixar o site visualmente mais agradável
      Estou tentando torná-lo o mais amigável possível para o usuário. A maioria dos sites é feia ou técnica demais
    • Imagine dar um passo além: executar de fato o mesmo prompt em todos os modelos de IA e mostrar a melhor resposta e o modelo que a produziu

  • Legal! Seria bom poder ver um valor de custo-benefício
    Preciso de uma forma de saber qual é o modelo mais barato que pode ser usado para criar dados estruturados de forma confiável a partir de texto não estruturado
    No momento uso o gpt4o-mini, que é barato, mas não sei se modelos ainda mais baratos conseguiriam fazer a mesma coisa

    • Dê uma olhada no Gemini Flash 1.5. Eu precisava transformar vídeos em notas estruturadas e fiquei satisfeito com o resultado; curiosamente, foi melhor do que o Gemini 1.5 Pro
      https://jampauchoa.substack.com/i/151329856/ai-studio
      Segundo este site, o custo é metade do gpt4-o mini. São 0,15 contra 0,07 por 1 milhão de tokens
    • Ainda não encontrei um modelo tão capaz nessa faixa de preço do GPT-4o mini. Pelas expectativas em torno do Llama 3.3 70B, talvez seja ele
      Na Deepinfra, os tokens de entrada são mais caros, mas os de saída são mais baratos, então eu diria que o preço é quase parecido
      Mas o melhor custo-benefício é bastante subjetivo. Para alguns, basta funcionar bem em um único caso de uso; outros podem querer que funcione bem em uma gama mais ampla
    • Ao comparar vários modelos, sempre recomendo openrouter.ai. É o que costumo usar para tarefas variadas
      Não tenho ligação com eles, sou apenas usuário

  • Quero compartilhar uma visão pessoal sobre IA e também um desabafo. Como muita gente, estou extremamente empolgado com a onda atual de IA
    Estamos na linha de frente da inovação, então é natural sentir vontade de entrar nessa área e contribuir
    Mas vejo este momento como semelhante a um mercado financeiro superaquecido. Um conselho que se ouve com frequência quando o mercado está volátil é esperar e observar
    Em IA, talentos e organizações excelentes estão correndo para criar inovações revolucionárias. É muito provável que aquilo que imagino como meu próximo grande projeto já esteja em andamento em algum lugar, ou esteja prestes a surgir
    Por isso, a estratégia de esperar e observar pode ser surpreendentemente eficaz. Em vez de se apressar, esperar a poeira baixar, observar o movimento e então aproveitar o que aparecer de novo
    Em certo sentido, todo o ecossistema de IA está construindo a base para a minha próxima grande ideia
    Isso não quer dizer que você não deva integrar tecnologias de ponta a produtos e serviços que já funcionam

    • A sugestão faz bastante sentido. Muitas empresas provavelmente já estão integrando modelos de ponta aos seus produtos
      Mas não existe almoço grátis. Ao fazer isso, você passa a agir de forma reativa, em vez de proativa
      Você reduz o risco, mas também perde a chance de ter participação nos poucos lugares que vão sobreviver e se tornar muito valiosos
      Se seguir assim por muito tempo, no fim você deixa de entender do que as pessoas daquela área estão falando. Se quiser ter uma noção do que quero dizer, assista ao episódio mais recente do Dwarkesh Patel
      Aqui, participação significa algo amplo, como ações de uma empresa ou conhecimento como pesquisador de IA

  • Uma pergunta meio fora do tópico: há algo melhor do que o cliente padrão do ChatGPT no desktop?
    Acho a função de organização de chats simples demais, mas existem umas dezenas de apps, então é difícil avaliar. A maioria parece uma embalagem para levar você ao serviço de API de alguma empresa
    Há algum que valha recomendar? Seria bom se fosse compatível com macOS/Linux

    • Existe o Telosnex. Funciona de forma nativa em todas as plataformas e também tem versão web
      Suporta Anthropic, OpenAI, Mistral, Groq, Gemini e LLMs locais de praticamente todas as plataformas
      Você pode trazer sua própria chave de API, e a busca também é a melhor. É no modelo pague pelo uso, e, se pagar US$ 10 por mês, tudo é oferecido a preço de custo. Ou é gratuito
      Todos os dados são armazenados como JSON simples
    • Existe o https://www.typingmind.com/. É somente local, não tem servidor e foi feito por um desenvolvedor indie
    • Usei o Machato e achei bom: https://untimelyunicorn.gumroad.com/l/machato

  • Há só dois modelos de transcrição de voz. Normalmente é assim mesmo?
    Fico curioso se não existe algum modelo open source tipo Llama para transcrição, ou se o conjunto de dados deste site é pequeno

    • Este site parece listar apenas modelos hospedados dos principais provedores, não todos os modelos que existem no Hugging Face, civit.ai etc.
      Mesmo olhando as listas de geração de imagens e de chat, há muito mais modelos no Hugging Face que ficaram de fora daqui
      Veja https://huggingface.co/models?pipeline_tag=automatic-speech-...
      A propósito, modelos de síntese de voz e de transcrição de voz/reconhecimento automático de fala podem ser treinados com os mesmos dados. Só que, hoje, as arquiteturas dos modelos são diferentes, então precisam ser treinados separadamente
      Uma das dificuldades é o tempo de treinamento. Os dados podem chegar a centenas de horas de áudio
    • Há muitos modelos, e eles cobrem vários casos de uso. Por exemplo, on-device, streaming/baixa latência, modelos para idiomas específicos etc.
      As pessoas pensam que a OpenAI inventou a transcrição de voz com o Whisper em 2022, mas outros modelos já existiam havia décadas e vinham sendo usados em ambientes reais de produção
      Nesse site só aparece o Whisper

  • A UI e a disposição da tabela estão boas. Já pensou em mostrar os requisitos de VRAM por modelo?

  • Seria bom se também aparecessem as informações de ranking do lmarena, para comparar desempenho e custo

  • Ótimo material. Para quem não conhece todos os nomes das versões menores, chega a ser quase abrangente demais
    Seria bom ter uma coluna com a pontuação da tabela de classificação do lmarena. Há algum motivo para alguns preços aparecerem como 0,00?
    Também seria bom ter links em cada linha para uma página com mais detalhes

    • Obrigado! Alguns modelos aparecem como N/A ou 0,00; parece que isso acontece quando são modelos gratuitos ou indisponíveis
      Vou definitivamente adicionar o llmarena. Várias outras pessoas também recomendaram
      Com o tempo, vou tornar o site mais explicativo e detalhado
    • Também seria bom ter links para as páginas das empresas onde é possível usar ou assinar o modelo