Mistral: primeiros endpoints de IA, com acesso antecipado disponível

Lançamento beta do novo serviço de plataforma da Mistral AI

• A Mistral AI oferece aos desenvolvedores modelos generativos abertos e poderosos, além de formas eficientes de implantá-los e personalizá-los.
• O acesso beta ao seu primeiro serviço de plataforma começa hoje, oferecendo três endpoints de chatbot que geram texto a partir de instruções em texto, além de um endpoint de embeddings.
• Cada endpoint apresenta um trade-off diferente entre desempenho e preço.

Endpoints de geração

• mistral-tiny e mistral-small usam os dois modelos atualmente públicos, enquanto mistral-medium usa um modelo protótipo que está sendo testado em ambiente de produção.
• Os modelos integram as técnicas de alinhamento mais eficazes, como fine-tuning eficiente e otimização direta por preferências, para criar modelos fáceis de controlar e agradáveis de usar.
• Mistral-tiny oferece suporte apenas a inglês, Mistral-small oferece suporte a vários idiomas e código, e Mistral-medium é avaliado como um dos modelos de serviço de mais alto nível.

Endpoint de embeddings

• Mistral-embed oferece um modelo de embeddings pensado para busca, com dimensão de embedding de 1024.
• Esse modelo de embeddings alcançou uma pontuação de busca de 55,26 no MTEB.

Especificação da API

• A API segue a especificação da popular interface de chatbot proposta inicialmente por um concorrente.
• Bibliotecas cliente para Python e Javascript estão disponíveis para consultar os endpoints.
• Os endpoints permitem fornecer prompts de sistema para que os usuários definam um nível mais alto de moderação sobre as saídas do modelo.

Expansão do acesso beta para disponibilidade geral

• A partir de hoje, qualquer pessoa pode se cadastrar e usar a API, e a capacidade será aumentada gradualmente.
• A equipe de negócios pode ajudar a entender os requisitos e acelerar o acesso.
• Pode haver instabilidades enquanto a plataforma é estabilizada para se tornar totalmente self-service.

Agradecimentos

• Agradecimento à NVIDIA pelo suporte à integração com TensorRT-LLM e Triton, e por colaborar na criação de uma mistura esparsa de especialistas compatível com TRT-LLM.

Opinião do GN⁺

• O ponto mais importante deste artigo é que a Mistral AI está disponibilizando novos modelos generativos e de embeddings para desenvolvedores, permitindo o uso de recursos melhores de geração de texto e embeddings.
• Essas tecnologias devem impulsionar o avanço da inteligência artificial, e a capacidade de oferecer suporte a vários idiomas e código deve ampliar bastante as possibilidades de aplicação no mercado global.
• Para os desenvolvedores, isso representa uma oportunidade empolgante de criar projetos e soluções criativas com novas ferramentas e APIs, o que aumenta a expectativa sobre o futuro da tecnologia.

[GN⁺]

Comentários do Hacker News

• Uma empresa pequena (cerca de 30 pessoas) alcançou uma avaliação de US$ 2 bilhões e criou o melhor modelo de 7B e um modelo MOE 7B*8. Esses modelos entregam o desempenho de um modelo de 70B exigindo apenas o poder de inferência de um modelo de 14B. Isso pode ser uma ameaça ainda maior do que a OpenAI, e com o investimento recente em breve poderá escalar para suportar carga de tráfego e atrair os melhores pesquisadores decepcionados com vários problemas da indústria.
• O modelo Mistral-medium superou com boa margem o GPT-3.5 e o Gemini Pro do Google em benchmarks. Espera-se que o desempenho real seja tão impressionante quanto os benchmarks, e o fato de os filtros de segurança serem oferecidos opcionalmente também é uma grande vantagem para aplicações seguras.
• Os preços da Mistral foram divulgados. O Mistral-medium custa US$ 8 por 1 milhão de tokens de saída, e o Mistral-small custa US$ 1,94, sugerindo competitividade quando comparado aos preços do GPT-3.5 e do GPT-4.
• O servidor TextSynth, de Fabrice Bellard, passou a oferecer suporte ao modelo Mistral 7B. Foram adicionados recursos como suporte a CUDA, gramática BNF e amostragem por esquema JSON.
• Concorrência é como o mundo avança. Fico feliz em ver players pequenos e grandes com modelos competitivos. É uma pena que, ao divulgar benchmarks, os testes muitas vezes sejam ajustados para favorecê-los. É necessário um trabalho de comparação justa dos principais modelos por meio de benchmarks abertos.
• Há pouca discussão sobre as limitações de tamanho de contexto desses modelos. Na prática, a técnica de sliding window limita a memória a cerca de 8k tokens, o que é insuficiente para muitas tarefas. Os modelos derivados de Llama2 precisam de ajuste fino não apenas por causa do número de parâmetros, mas também pelo contexto reduzido oferecido.
• "Acesso antecipado ao endpoint" na verdade significa "lista de espera para acesso antecipado ao endpoint". O acesso à API no momento é apenas por convite, e eles avisarão quando for possível assinar o acesso aos melhores modelos.
• Superar o ChatGPT-3.5 é realmente um grande feito. O GPT-3.5 não é suficiente para coisas do dia a dia, o que aumenta bastante a expectativa pelo GPT-4.
• A API da Mistral segue a especificação de uma interface de chat popular proposta por uma concorrente. Isso é curioso e eu gostei.
• O Mistral-embed oferece um modelo de embeddings de 1024 dimensões, projetado com capacidade de busca em mente. Ele alcançou uma pontuação de busca de 55,26 no MTEB. Ainda não há informações sobre se esse modelo de embeddings será oferecido como open source.