Phind-70B é lançado — modelo executável 4x mais rápido que reduz a diferença de qualidade de código em relação ao GPT-4 Turbo

• Processa até 80 tokens por segundo (o GPT-4 Turbo processa ~20 tokens por segundo)
• Suporta uma janela de 32K tokens
• Baseado no modelo CodeLlama-70B e ajustado finamente com 50B tokens adicionais
• Alcançou 82,3% no HumanEval, superando os 81% do GPT-4 Turbo (gpt-4-0125-preview)
• No CRUXEval da Meta, obteve 59%, ficando um pouco abaixo dos 62% do GPT-4
• Em geração de código, é quase equivalente ao GPT-4 Turbo ou o supera em algumas tarefas
• É menos "preguiçoso" que o GPT-4 Turbo e não hesita em gerar exemplos de código detalhados

[cosine20]

Conheci o Phind pelo GeekNews há cerca de um ano e, desde então, tenho feito quase todas as perguntas sobre código nele. Às vezes dá para ver que ele se perde um pouco, mas agora já peguei o jeito de perguntar para que ele se perca menos.

[xguru]

phind - mecanismo de busca com IA generativa para desenvolvedores
phind - mecanismo de busca baseado em GPT-4 para desenvolvedores

[GN⁺]

Comentários do Hacker News

• Compartilhando a experiência de uso do Phind

  • Usei o Phind quase todos os dias nas últimas 3-4 semanas, e a qualidade do código gerado é boa e ele também executa bem.
  • A precisão é maior do que a do ChatGPT e ele aponta a direção correta.
  • O ChatGPT ficou mais lento nos últimos 2 meses ou mais, mas para estudar um tema o ChatGPT é mais detalhado e explicativo.

• Dúvidas sobre a avaliação da qualidade do código

  • Resolvi o problema de dividir uma string usando a regex fornecida pelo GPT-4, adicionei os testes unitários necessários e consegui fazer o commit com sucesso.
  • O modelo 70B não conseguiu fornecer uma resposta para esse problema, apesar de várias tentativas.
  • Toda vez que tento usar um modelo que não seja o GPT-4, parece perda de tempo.

• Orientação do fundador da Phind

  • É possível testar o modelo Phind-70B gratuitamente e sem login.

• Impressão sobre a velocidade de resposta e a qualidade do Phind

  • A velocidade de resposta impressiona, mas não fiquei tão satisfeito com a qualidade.
  • O GPT-4 acaba considerando e tratando requisições POST depois de algumas tentativas, mas o Phind se concentra principalmente apenas em requisições GET.

• Um desafio divertido para LLMs

  • Foi apresentado um quebra-cabeça lógico básico para testar a capacidade de resolução do LLM.
  • O Phind-34B reage de forma especialmente divertida e às vezes entra em loop.

• Comparação da experiência de escrever um plugin para Wireshark

  • Foi compartilhada uma comparação entre Phind e ChatGPT na experiência de escrever um plugin para Wireshark.

• Pergunta sobre possibilidade de integração via API

  • Foi perguntado se a API do Phind pode ser integrada ao aider.chat, que é otimizado para usar o GPT-4 em programação.

• Compartilhando a experiência de uso do Phind

  • Um usuário que usa o Phind há mais de 1 ano disse que o prefere ao GPT.
  • Houve um problema de repetição ou de entrar em loop depois de longas threads de perguntas.

• Reação do Phind à tradução de código

  • Enquanto o ChatGPT 3.5/4 às vezes traduz um arquivo Go inteiro para C#, o Phind se recusa a traduzir o código completo.

• Velocidade e desempenho do Phind-70B

  • O Phind-70B é muito mais rápido que o GPT-4 Turbo, e isso é alcançado com o uso da biblioteca TensorRT-LLM da NVIDIA e GPUs H100.