Introdução
- Quando o resultado de código gerado por AI não agrada, em vez de gastar tokens sem critério, é muito mais eficaz selecionar apenas as informações realmente necessárias para a intenção e fornecê-las como contexto.
- Mesmo que a janela de contexto do modelo seja grande, informação demais acaba atrapalhando a AI a encontrar e entender exatamente o que você quer.
- Apresento 4 técnicas que uso para obter resultados mais satisfatórios de agentes de código em codebases legadas. Elas não dependem muito da performance do modelo e são métodos práticos que economizam tempo e custo imediatamente.
1. Explorar e entender antes de implementar
- Antes de resolver o problema ou modificar o código, vale a pena investir tempo para aumentar o entendimento sobre o domínio e a codebase.
- Isso permite usar termos técnicos mais precisos e apontar os arquivos corretos, ajudando a AI a ser muito mais certeira.
- Nesta etapa, é melhor evitar alterar o código e focar em fazer perguntas à AI para acumular conhecimento.
2. Mostrar código para a AI seguir
- Como LLMs tendem a convergir para a média, é preciso fornecer bons exemplos de código para elevar a qualidade do resultado.
- Em vez de explicar longamente as convenções de código em texto, é muito mais eficaz mostrar um bom exemplo e dizer “faça como esta função”.
- Especialmente ao migrar um padrão específico, se você converter corretamente apenas alguns casos primeiro e mostrá-los à AI como exemplo, ela costuma lidar muito bem com o restante.
3. Dar scripts como ferramentas
- Se você colocar ferramentas de análise estática nas mãos da AI, pode compensar a limitação dos LLMs em cenários de pior caso e melhorar a qualidade do resultado.
- Além disso, se transformar em script tarefas propensas a erros repetitivos — como um script para localizar chaves de i18n — e fizer a AI usá-las, é possível prevenir problemas com muito mais segurança.
- De forma semelhante, em tarefas de extração/transformação com padrão claro, é muito mais preciso fazer a AI escrever e executar um script para realizar a tarefa do que pedir que ela faça isso diretamente.
4. Corrigir a nascente do rio
- Em vez de olhar para um resultado errado e pedir correções, é mais vantajoso melhorar o “prompt”, que é a causa original desse resultado.
- Melhor ainda é melhorar o processo de criação do prompt (por exemplo, escrever antes o código de exemplo ou os testes).
- E, melhor ainda, melhorar o cérebro que criou esse processo. É preciso refletir sobre os casos em que houve pingue-pongue desnecessário com a AI e desenvolver a capacidade de julgar quando intervir diretamente e quando usar a AI.
Conclusão
- Um dos principais benchmarks de agentes é “por quanto tempo eles conseguem trabalhar”, mas, na prática, a maioria dos usuários (eu incluído) ainda não tem a capacidade de delegar trabalho até o limite desses agentes.
- Acredito que, na era da AI, os profissionais mais valiosos serão aqueles capazes de encontrar tarefas adequadas para delegar aos agentes, dar as ferramentas certas e mantê-los trabalhando por bastante tempo com prompting apropriado.
- Espero que as técnicas apresentadas neste texto ajudem no treinamento para se tornar esse tipo de profissional.
1 comentários
Isso bate com a minha experiência também!