Spreadsheets are all you need - Aprenda IA com planilhas

 (spreadsheets-are-all-you-need.ai)
21 pontos por GN⁺ 2024-03-15 | 2 comentários | Compartilhar no WhatsApp

Aprenda IA com Excel

  • Aprenda como a IA funciona por meio de um LLM real implementado no Excel
  • Implementação do Forward Pass do GPT-2 usando apenas funções do Excel, sem chamadas a APIs externas
  • O objetivo é mostrar que, se você consegue entender planilhas, consegue entender IA
  • Lição 1: Entendendo o GPT com Excel
  • Lição 2: Byte Pair Encoding e tokenização
  • Extra: uma análise detalhada da implementação em Excel (voltada para quem já entende Transformers)
  • Está em formato XLSB (Excel Binary), então é possível baixar e executar (funciona em Mac/Windows, mas Windows é recomendado)
  • Limitações da implementação
    • Modelo GPT-2 pequeno completo (124M de parâmetros), incluindo os estágios de BPE, atenção multi-head e perceptron multicamadas
    • Apenas inferência/forward pass (sem treinamento)
    • O contexto é limitado a 10 tokens de comprimento
    • Limite de 10 caracteres por palavra
    • Só é possível gerar saída com temperatura zero

FAQ

  • Sobre o Google Sheets: este projeto começou no Google Sheets, mas o modelo completo ficou grande demais e foi migrado para o Excel. Ainda estão explorando formas de fazê-lo funcionar no Google Sheets, mas é provável que ele não se encaixe tão bem em um único arquivo quanto no Excel.
  • Por que não dá para conversar como no ChatGPT: além do contexto muito curto, faltam instruction tuning e aprendizado por reforço com feedback humano (RLHF) para transformá-lo em um chatbot conversacional.
  • Origem do nome: o nome "Spreadsheets-are-all-you-need" é uma referência ao famoso artigo "Attention Is All You Need", que apresentou pela primeira vez a arquitetura de aprendizado de máquina Transformer.

Opinião do GN⁺

  • Este projeto contribui para tornar IA e aprendizado de máquina mais acessíveis. Ao usar uma ferramenta familiar como o Excel para ajudar a entender uma tecnologia complexa, ele oferece a não especialistas a oportunidade de aprender os princípios básicos da IA.
  • A implementação via Excel é útil para compreender visualmente como modelos reais de IA funcionam, mas não é usada no desenvolvimento real de IA. Portanto, aprender IA dessa forma não significa se tornar um desenvolvedor profissional de IA.
  • Ferramentas educacionais como esta podem aumentar o interesse do público em geral por IA e contribuir para a democratização da tecnologia. No entanto, para construir sistemas reais de IA, são necessárias ferramentas e frameworks mais especializados.
  • Projetos semelhantes com fins educacionais incluem o Machine Learning Crash Course, do Google, e o curso de Machine Learning do professor Andrew Ng na Coursera. Esses cursos combinam teoria e prática para oferecer um aprendizado mais aprofundado.
  • Ao adotar essa tecnologia, é preciso entender que ela exige uma abordagem diferente do desenvolvimento de modelos reais de IA. Este projeto é focado em fins educacionais, e em projetos reais de desenvolvimento de IA é comum usar frameworks especializados como TensorFlow e PyTorch.

Leituras relacionadas

2 comentários

 
GN⁺ 2024-03-15
Comentários do Hacker News

  • Saudação e agradecimento do criador

    • Criador do projeto: agradece por compartilhar a publicação, pretende responder a perguntas ou sugestões e espera ajudar as pessoas a entender melhor os LLMs (Large Language Models). O próximo vídeo será sobre embeddings e deve ficar pronto em breve.

  • Ensino de redes neurais com planilhas

    • Jeremy Howard: há anos vem ensinando redes neurais (NNs) usando planilhas, e esse método é didático e intuitivo.

  • Explicando redes neurais com planilhas

    • Agora, em vez de dizer "é só ajuste de curva (curve fitting)", dá para explicar aos amigos que "é só uma planilha".

  • Compartilhamento do link da planilha

  • Pergunta sobre a necessidade de RLHF

    • Levanta-se a dúvida se seria possível dispensar o instruction tuning e o reinforcement learning from human feedback (RLHF), necessários para transformar grandes modelos de linguagem em chatbots.

  • Admiração pela forma como o GPT-2 foi implementado em uma planilha

    • É impressionante como o GPT-2 foi implementado em uma planilha, e perguntam ao autor se esse projeto será open source.

  • Possibilidade de implementar GPT-3 ou GPT-4 em planilhas

    • Curiosidade sobre por que uma planilha não poderia implementar GPT-3 ou GPT-4.

  • Um ótimo projeto para ajudar a entender LLMs

    • Este projeto é excelente e foi enviado para 7 pessoas para ajudá-las a entender LLMs (Large Language Models).

  • Compartilhamento de casos de resolução de PDE no Excel

    • Compartilham que há casos de resolução de equações diferenciais parciais (PDEs) no Excel. Já conheciam FFT (Fast Fourier Transform) e funções especiais, mas isto parece interessante e divertido.

  • Empresa de IA com bancos de investimento como clientes

    • A ideia de uma empresa de IA que tenha bancos de investimento como clientes é muito inteligente.