Construindo uma plataforma de IA Generativa

• Esta é uma tradução para o coreano de “Building A Generative AI Platform” feita por Chip Huyen.

• O texto descreve os componentes comuns e funções de uma plataforma de IA generativa que várias empresas estão construindo, e também como cada um é implementado.

• Uma plataforma de IA generativa é expandida partindo de uma simples chamada de modelo, passando por enriquecimento de contexto, adição de guardrails, adoção de roteador de modelo e gateway, aplicação de cache e inclusão de lógica e ações complexas.

• Enriquecimento de contexto: o modelo melhora o contexto ao acessar fontes de dados externas e ferramentas de coleta de informações, elevando a confiabilidade e a qualidade das respostas geradas. Explica também o conceito de RAG (Retrieval-Augmented Generation) e como integrar dados externos com busca baseada em palavras e busca baseada em embeddings.

• Adição de guardrails: aborda como acrescentar guardrails para evitar vazamento de informações sensíveis, garantir a qualidade das respostas geradas e prevenir respostas inadequadas.

• Adição de roteador de modelo e gateway: explica como introduzir roteador de modelo e gateway para gerenciar vários modelos de forma eficiente, roteando requisições para o modelo adequado e reforçando a segurança.

• Aplicação de cache: explica como acelerar a resposta e reduzir custos ao aplicar cache de prompt, cache semântico e outros mecanismos para requisições repetidas.

• Adição de lógica e ações complexas: explica como elevar a funcionalidade da plataforma e a qualidade das respostas com lógica de negócio e ações complexas.

• Visibilidade e orquestração: destaca a importância de monitorar e depurar a operação do sistema, além de orquestrar para garantir que todos os componentes funcionem juntos de forma fluida