Stack de engenharia de AI
1. Estrutura em 3 camadas do stack de engenharia de AI: todo serviço de AI é construído com base em três camadas principais.
1.1 Desenvolvimento de aplicações (Application Development)
- Com o uso de modelos fundacionais (Foundation Models), qualquer pessoa pode desenvolver apps de AI rapidamente.
- A diferenciação do serviço depende de design de prompts, UI/UX do usuário e sistema de avaliação.
- Como muitas equipes usam modelos parecidos, interfaces amigáveis ao usuário e ferramentas de automação de avaliação se tornam importantes.
1.2 Desenvolvimento de modelos (Model Development)
- Especialização em fine-tuning, otimização de inferência (Inference Optimization) e engenharia de datasets (Dataset Engineering).
- Cresce o uso e a customização de modelos de grande escala, além do surgimento de vários LLMs open source e modelos multimodais.
- Confiabilidade e qualidade são essenciais (ex.: avaliação de respostas abertas, controle de qualidade de rótulos).
1.3 Infraestrutura (Infrastructure)
- Deploy de modelos, operação de clusters massivos de GPU, escalabilidade de serviços, monitoramento e resposta a falhas.
- O ritmo de inovação em infraestrutura é relativamente mais lento, mas o impacto sobre desempenho e gestão de custos é enorme.
2. Engenharia de AI vs engenharia de ML: mudança essencial
2.1 Forma de uso dos modelos
- ML tradicional: treinamento de modelos próprios (Machine Learning from scratch).
- AI moderna: o padrão passou a ser chamar/usar grandes modelos pré-treinados (using pre-trained models).
- A avaliação (Evaluation) tende a se tornar mais importante que o desenvolvimento de modelos, especialmente no tratamento de resultados abertos.
2.2 Mudanças em recursos e habilidades de engenharia
- Capacidade de operar clusters de centenas a milhares de GPUs (Scalable GPU infrastructure).
- Para transformar em produto de produção, é necessário gerenciar grandes volumes de dados e operar recursos com alta eficiência.
2.3 Inovação em avaliação (Evaluation)
- Avaliação de resposta curta (closed-ended) → exigência de capacidade para lidar com resultados abertos (open-ended output).
- O desenvolvimento de sistemas automáticos e semiautomáticos de avaliação (Auto evaluation system) está em plena atividade.
3. Customização de modelos: prompt vs fine-tuning
3.1 Baseado em prompts (Prompt-based)
- Mudança de comportamento por meio de design de prompts (Prompt Engineering) e gestão de contexto (sem alterar os parâmetros internos do modelo).
- Exige poucos dados. Experimentação rápida e baixo custo.
- Limitação: em tarefas de alta dificuldade e maior complexidade, o desempenho cai.
3.2 Fine-tuning
- Altera diretamente os pesos do modelo, exige grande volume de dados e é adequado para demandas de alto desempenho.
- Custo/tempo ↑, mas no longo prazo melhora qualidade do serviço, velocidade e custo.
4. A subdivisão de “treinamento”
- Pré-treinamento (Pre-training): construção inicial de grandes modelos fundacionais, realizada apenas por algumas empresas/instituições gigantes.
- Fine-tuning: treinamento personalizado para problemas específicos ou dados de clientes com base nos pesos de um modelo existente.
- Pós-treinamento (Post-training): o termo é usado de forma mista, mas na prática inclui tanto fine-tuning quanto atualizações contínuas.
5. Engenharia de datasets: a mudança de status dos dados
- Mudança para foco em dados não estruturados (unstructured), como texto, imagem e multimodal.
- A dificuldade de rotulagem aumenta: é indispensável know-how para lidar com resultados abertos e imprevisíveis.
- A essência da diferenciação do serviço se desloca para os dados: garantir datasets de alta qualidade vira vantagem competitiva.
- Também ganha destaque a importância de responder a qualidade dos dados, ética e privacidade (Privacy/Ethics).
6. Tendências no desenvolvimento de aplicações de AI
- Como várias organizações usam o mesmo modelo fundacional (Foundation Model),
- engenharia de prompts (design da entrada),
- interface do produto (UI/UX, chatbot, extensões web etc.),
- e o desenho do loop de feedback do usuário se tornam centrais.
- A implementação de serviços de AI leves para edge e mobile surge como nova oportunidade.
Mudança na abordagem de desenvolvimento:
- Antes: design de dados/modelo → productização depois
- Agora: prototipagem rápida do produto → investimento em dados/modelo quando necessário (Product first, Model/Data later)
7. AI vs engenharia full stack: a dissolução das fronteiras
- O papel de desenvolvedores frontend e full stack web/mobile está se ampliando.
- A capacidade de combinar AI com interface se torna a própria vantagem competitiva.
- Na era dos modelos fundacionais + plugins, ficou possível lançar serviços de AI facilmente sem um backend complexo.
- Padrão de uso: prototipagem rápida → feedback dos usuários → melhoria iterativa.
8. Conclusão e perspectivas futuras
- A engenharia de AI é uma continuidade da engenharia tradicional de ML, mas ao mesmo tempo exige escalabilidade e inovação sem precedentes.
- Modelos fundacionais e o ecossistema open source de AI são o centro dessa transformação.
- Na era do excesso de informação, cresce a necessidade de estabelecer frameworks claros e melhores práticas.
[Referência e resumo]
- Original: Chip Huyen, 『AI Engineering』
Ainda não há comentários.