- Criar algo legal com LLM é fácil, mas transformá-lo em algo de nível de produção é muito difícil
- Um texto que analisa os principais desafios a resolver para transformar aplicações de LLM em produto, como integrar várias tarefas dentro de um fluxo de controle e como usar as ferramentas, além de apresentar casos promissores
Parte I. Os desafios de levar a engenharia de prompts para produção
- A ambiguidade da linguagem natural
- Avaliação de prompts
- Versionamento de prompts
- Otimização de prompts
- Custo e latência
- Custo
- Latência
- A impossibilidade de analisar custo + latência para LLMs
- Prompting vs. fine-tuning vs. alternativas
- Ajuste de prompts
- Fine-tuning por meio de destilação (
Distillation)
- Embeddings + banco de dados vetorial
- Compatibilidade retroativa/progressiva
Parte 2. Composabilidade de tarefas
- Aplicações compostas por várias tarefas
- Agentes, ferramentas e fluxo de controle
- Ferramentas vs. plugins
- Fluxo de controle: sequencial, paralelo,
if, loop for
- O fluxo de controle de agentes de LLM
- Como testar agentes
Parte 3. Casos de uso promissores
- Assistentes de IA
- Chatbots
- Programação e jogos
- Aprendizagem
- Converse com seus dados
- Será que um LLM pode fazer análise de dados para mim?
- Busca e recomendação
- Vendas
- SEO
Conclusão
- Ainda estamos no estágio inicial das aplicações de LLM. Tudo está evoluindo rapidamente
- Vi recentemente propostas de livros sobre LLM, e meu primeiro pensamento foi que a maioria deles ficaria desatualizada em um mês
- As APIs mudam todos os dias, novas aplicações estão sendo descobertas e a infraestrutura está sendo otimizada de forma agressiva
- Análises de custo e latência precisam ser feitas semanalmente, e novos termos estão sendo introduzidos
- Nem todas essas mudanças são importantes
- A enorme quantidade de artigos sobre engenharia de prompts lembra a fase inicial do deep learning, quando havia milhares de artigos explicando diferentes formas de inicializar pesos
- Truques para ajustar prompts não serão importantes no longo prazo
- Considerando que os próprios LLMs já são bastante bons em escrever prompts, quem sabe se realmente será necessário ter pessoas ajustando prompts?
- Recentemente, no LinkedIn, perguntaram como as pessoas fazem para se manter atualizadas nessa área, e houve opiniões variadas
- Ignore o hype (na maior parte dos casos)
- Leia apenas os resumos
- Experimente todas as ferramentas
- Qual é a sua estratégia?
1 comentários
Tradução: https://docs.google.com/document/d/…