- A Mistral AI abriu a beta da la plateforme, permitindo que desenvolvedores implantem e personalizem em produção modelos generativos abertos
- A configuração inicial inclui 3 endpoints de chat para processar instruções em texto e 1 endpoint de embeddings, cada um com diferentes equilíbrios entre desempenho e preço
mistral-tinyemistral-smallsão baseados em modelos abertos públicos, enquantomistral-mediumoferece um modelo protótipo atualmente em teste em ambiente de implantação- A API segue uma especificação de interface de chat amplamente usada, com suporte a clientes Python e JavaScript e ajuste de saída por meio de system prompt
- Qualquer pessoa pode se registrar e usar a API, mas a capacidade será ampliada gradualmente, e ainda pode haver arestas por aparar até que o serviço seja totalmente self-service
la plateforme beta e a configuração dos endpoints
- A Mistral AI disponibiliza modelos generativos abertos para desenvolvedores, junto com formas de implantá-los e personalizá-los para produção
- O primeiro serviço de plataforma foi lançado em beta, com uma configuração inicial simples
- 3 endpoints de chat para geração baseada em instruções de texto
- 1 endpoint de embeddings pensado para uso em busca
- Cada endpoint oferece um equilíbrio diferente entre desempenho e preço
-
Endpoints de geração
- mistral-tiny
- É o endpoint mais econômico e atualmente oferece
Mistral 7B Instruct v0.2 - Suporta apenas inglês e tem pontuação 7.6 no MT-Bench
- O modelo ajustado por instruções pode ser baixado no Hugging Face
- É o endpoint mais econômico e atualmente oferece
- mistral-small
- Oferece o modelo mais recente,
Mixtral 8x7B - Lida com inglês, francês, italiano, alemão, espanhol e código
- Tem pontuação 8.3 no MT-Bench
- Mais detalhes do modelo podem ser vistos no post do blog sobre o Mixtral
- Oferece o modelo mais recente,
- mistral-medium
- É o endpoint de maior qualidade e atualmente oferece um modelo protótipo em teste em ambiente de implantação
- Segundo benchmarks padrão, está entre os melhores modelos disponíveis no momento
- Lida com inglês, francês, italiano, alemão, espanhol e código
- Tem pontuação 8.6 no MT-Bench
- mistral-tiny
-
Alinhamento de modelo e embeddings
- Para tornar os modelos que seguem instruções mais controláveis e fáceis de usar, a empresa combina fine-tuning eficiente com otimização direta por preferência
- Os modelos são pré-treinados com dados extraídos da web aberta e depois passam por fine-tuning de instruções baseado em anotações
mistral-embedé o endpoint de embeddings que oferece um modelo de embeddings de 1024 dimensões- O modelo de embeddings foi projetado com foco em busca e registrou pontuação 55.26 em recuperação no MTEB
Acesso à API e operação em beta
- A API segue uma especificação de interface de chat amplamente usada
- Os endpoints podem ser chamados por bibliotecas cliente em Python e JavaScript
- Quando o controle da saída é importante na aplicação, é possível ajustar mais fortemente a resposta do modelo com system prompt
- Qualquer pessoa pode se registrar para usar a API, e a Mistral AI está ampliando a capacidade gradualmente
- A equipe de negócios pode ajudar a verificar as necessidades dos usuários e acelerar o acesso
- Até que a plataforma se estabilize como um serviço totalmente self-service, ainda pode haver arestas por aparar
- A NVIDIA está apoiando a integração com TensorRT-LLM e Triton, além do trabalho de compatibilidade do TRT-LLM com sparse mixture of experts
1 comentários
Opiniões do Hacker News
Surpreende que essa notícia não tenha ficado presa no topo do HN o dia inteiro
Uma empresa pequena, que parece ter algo em torno de 30 pessoas, recebeu uma avaliação de US$ 2 bilhões e lançou um modelo MoE 7B×8 com o melhor modelo 7B em desempenho e desempenho de nível 70B, enquanto o custo de inferência fica no nível de 14B
Pode acabar sendo uma ameaça potencial maior à OpenAI do que Google ou Anthropic. Graças ao grande investimento recente, parece que pode escalar para um volume de tráfego razoável em breve e atrair pesquisadores de ponta cansados do exibicionismo e do drama escancarado no setor
Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - dezembro de 2023, 272 comentários
Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - dezembro de 2023, 69 comentários
Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - dezembro de 2023, 221 comentários
Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - dezembro de 2023, 30 comentários
French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - dezembro de 2023, 76 comentários
Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - dezembro de 2023, 236 comentários
Não é exatamente a mesma notícia, mas como a discussão segue em linhas bem parecidas, dá para considerar todos ou a maioria como posts quase duplicados
Em cerca de 6 meses, lançou uma referência entre os modelos 7B e está subindo rapidamente para escalas maiores
Eu ri do round de investimento de março como sinal de hype, dizendo que estavam recebendo US$ 300 milhões com um time de 3 pessoas e uma ideia, mas claramente eu não conhecia os detalhes. A execução deles é realmente excelente
Parece capaz de dominar todos os casos de uso que não exigem desempenho de GPT-4 e, em breve, talvez até mirar o território dos modelos grandes
Então imagino que só quem já está bem familiarizado com IA perceba a relevância. Ainda assim, a explicação acima certamente ajuda
Se os benchmarks se traduzirem em desempenho real, é muito impressionante [1]
O mistral-medium supera com boa margem o GPT-3.5 e o Gemini Pro, atual melhor modelo público do Google, em praticamente todos os benchmarks comparáveis disponíveis: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
[1] Se o Mistral 7B for a referência, espero que a diferença de desempenho real seja ainda maior. O fato de o filtro de segurança ser opcional também é uma grande vantagem em aplicações seguras
Até o modelo ser lançado, não confio em benchmarks promocionais. Antes da liberação pública, tudo varia demais dependendo de quanto o desempenho precisa ser reduzido por questões de segurança
https://docs.mistral.ai/platform/pricing
Os preços também foram divulgados.
Por 1 milhão de tokens de saída, o Mistral-medium custa 8 dólares, o Mistral-small 1,94 dólar, o gpt-3.5-turbo-1106 2 dólares, o gpt-4-1106-preview 30 dólares, o gpt-4 60 dólares e o gpt-4-32k 120 dólares.
Esse preço parece sinalizar que a Mistral está bastante confiante de que o mistral-medium é consideravelmente melhor que o gpt-3.5.
Fazendo uma conta bem aproximada, a inferência de um modelo 30B em uma GTX 4090 deve render algo como 30 tokens por segundo [1], ou cerca de 100 mil tokens por hora.
Se assumirmos que um sistema assim consome cerca de 1kW, isso dá aproximadamente 10kWh por 1 milhão de tokens.
Com a tarifa atual de eletricidade, parece difícil baixar de 2 a 4 dólares por 1 milhão de tokens para um modelo 30B.
[1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
O Mistral-small parece ser o modelo que compete mais diretamente com o gpt-3.5, e é mais barato. Fica na faixa de 1,2 euro por 1 milhão de tokens.
Como referência, assumi que os pesos de tokens de entrada e saída fossem iguais, e não consegui ver os preços em dólar.
https://www-files.anthropic.com/production/images/model_pric...
Dizer que “os endpoints são oferecidos em acesso antecipado” na prática significa “existe uma lista de espera de tamanho desconhecido para acesso antecipado aos endpoints”.
Ao tentar acessar, aparece: “Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.”
“Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
Fico curioso se existe alguma informação sobre esse modelo de embedding ser open source, ou se há planos para torná-lo open source no futuro.
“Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
Fonte: https://twitter.com/yupiop12/status/1734137238177698106
É interessante que várias plataformas, como a Lemonfox.ai, ofereçam modelos com fine-tuning do Mistral por preços mais baixos.
Elas já anunciaram também a API do Mistral 8x7B. Se a ideia é monetizar, fica a dúvida se eles vão continuar liberando como open source modelos futuros, como uma versão medium.
Vi por acaso que o servidor TextSynth do Fabrice Bellard agora oferece suporte ao novo modelo Mistral 7B.
“2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
“mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
https://bellard.org/ts_server/
“Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
Interessante. Esse modelo supera o ChatGPT 3.5. Não está claro que tipo de modelo ele é, e ele não é open source.
“Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”