Teste de IA generativa para projeto de placas de circuito

Teste de IA generativa para projeto de placas de circuito

Introdução

• Foi testado se chatbots baseados em IA podem ajudar em tarefas de alta precisão, como o projeto de placas de circuito.
• LLMs (grandes modelos de linguagem) frequentemente podem interpretar mal os detalhes.
• Uma abordagem determinística é importante no projeto eletrônico.
• Os produtos de IA atuais têm aspectos exagerados, mas é possível encontrar utilidade prática com a abordagem adequada.
• Foram testados LLMs em tarefas difíceis de projeto que especialistas realizam no dia a dia.
• Modelos usados no teste: Gemini 1.5 Pro, do Google, GPT-4o, da OpenAI, e Claude 3 Opus, da Anthropic.

Fazendo perguntas ingênuas

• O projeto de placas de circuito exige muito conhecimento.
• Foi tentada uma forma de aprender fazendo perguntas simples aos LLMs.
• Exemplo: "qual é o atraso por unidade de comprimento de uma trilha em uma placa de circuito?"
• O Claude 3 Opus forneceu a resposta mais precisa.
• O Google Gemini 1.5 teve desempenho fraco devido a materiais de baixa qualidade obtidos da internet.

Encontrando componentes

• Engenheiros experientes conseguem encontrar rapidamente os componentes necessários.
• Foi testada a capacidade da IA de encontrar componentes.
• Exemplo: encontrar componentes para um driver de motor robótico usando Ethernet óptica.
• Nenhum dos modelos conseguiu recomendar componentes adequados.
• Houve muitas recomendações de componentes voltadas para aplicações medianas.

Parsing de datasheets

• Os dados necessários para o projeto de placas de circuito estão contidos em datasheets em PDF.
• Foi testada a capacidade dos LLMs de extrair dados de PDFs.
• O método mais eficaz foi enviar o datasheet completo ao LLM e consultar interativamente os detalhes.
• O Gemini 1.5 apresentou o desempenho mais confiável nessa tarefa.
• Ele conseguiu gerar tabelas de pinos e footprints BGA.

Projeto de circuito

• Foi testado se os LLMs conseguem fazer o próprio projeto de circuito.
• Exemplo: projetar um pré-amplificador para um microfone eletrônico.
• O Claude 3 Opus forneceu a melhor resposta.
• No entanto, incluía algumas decisões erradas e projetos de circuito imprecisos.
• Os LLMs se destacam em tarefas de extração e transformação de informações, mas têm dificuldade com a síntese original de projetos.

Conclusão

• O projeto de placas de circuito exige muita precisão.
• LLMs podem ser úteis para escrever código.
• O Claude 3 é útil para aprender novos domínios.
• O Gemini é útil para extrair dados de datasheets.
• O GPT-4o não forneceu as respostas mais úteis nos testes.
• LLMs se destacam em busca de informações e geração de código, mas têm limitações em domínios que fogem da distribuição de seus dados de treinamento.

Opinião do GN⁺

• Utilidade dos LLMs: LLMs podem ser úteis para busca de informações e geração de código no projeto de placas de circuito. Em especial, mostram força na extração das informações necessárias de datasheets.
• Limitações: LLMs têm dificuldade com a síntese original de projetos. Isso pode estar relacionado às limitações dos dados de treinamento.
• Pesquisa futura: Para melhorar a capacidade dos LLMs em projeto de circuitos, é necessário ajuste fino para tarefas de geração de netlists. Além disso, pode ser preciso mais dados e treinamento.
• Uso prático: Atualmente, LLMs podem ser usados como ferramentas auxiliares no projeto de circuitos, mas exigem revisão e correção por especialistas. Há limites para a automação completa.
• Visão crítica: As respostas dos LLMs frequentemente são ajustadas para aplicações medianas e podem não atender a requisitos específicos. Isso pode causar problemas importantes em projetos reais.

[GN⁺]

Comentários do Hacker News

• O Sonnet 3.5 mostra desempenho muito melhor que o Opus e ainda custa menos. O Opus é melhor que o GPT-4. O GPT-4o tem capacidade de raciocínio inferior.
• Este é um bom exemplo das limitações de LLMs zero-shot. A abordagem parece estar errada.
• Quando é necessária uma abordagem holística, uma arquitetura generativa baseada em difusão parece mais adequada do que previsão do próximo token.
• Usar LLMs em projeto de circuitos é semelhante a usá-los em outras tarefas complexas. Eles são úteis para extrair dados específicos de determinadas fontes de dados.
• Para usar LLMs em um domínio específico, é necessário fine-tuning. Ainda não estamos no estágio em que uma AGI possa trabalhar com proficiência em todos os domínios.
• Acho que usar redes neurais para resolver problemas combinatórios é perda de tempo. Gostaria de ouvir opiniões contrárias.
• O circuito gerado por IA custa três vezes mais e é três vezes maior do que um projetado por um especialista. Além disso, faltam muitas conexões necessárias.
• Gostaria de ver uma comparação com o Flux.ai.
• Isso me faz lembrar da explicação sobre problemas NP-completos. É desconfortável ter que verificar se a resposta fornecida pelo computador está correta.
• Qualquer discussão sobre circuitos evoluídos fica incompleta sem mencionar a pesquisa do Dr. Adrian Thompson nos anos 90.
• A IA generativa para projeto de circuitos logo se tornará a forma dominante. A IA não conseguirá gerar circuitos sem blocos funcionais poderosos.
• Pensei na ideia de escanear uma placa de circuito plana e usar aprendizado de máquina para criar o esquemático. A viabilidade é baixa.
• Precisamos de uma IA que leia datasheets e gere circuitos Spice. O objetivo é construir uma biblioteca de componentes de simulação.