Da corrida da direção autônoma à plataforma educacional de IA: entrevista com Andrei Karpathy, ex-Tesla e ex-OpenAI

Situação atual da tecnologia de direção autônoma

• Waymo e Tesla disputam a liderança
• A Waymo atualmente já opera um serviço comercial em São Francisco
• O problema que a Tesla está resolvendo é de software, enquanto o problema que a Waymo está resolvendo é de hardware
• Problemas de software são muito mais fáceis de resolver, e a Tesla já está em uma escala incomparável à da Waymo
• Karpathy prevê que a Tesla assumirá a liderança dentro de 10 anos

Direção do desenvolvimento dos modelos de IA

• Os modelos Transformer são o núcleo da pesquisa em IA
• Os dados que podem ser encontrados na internet já foram praticamente todos usados no treinamento, então o foco atual está na otimização de datasets e da loss function
• Os dados disponíveis na internet são, na verdade, o resultado do pensamento humano; os dados que faltam hoje dizem respeito ao processo de raciocínio que ocorre em várias etapas dentro da mente humana
• Espera-se que a geração de dados sintéticos, recriando de forma reversa o processo de raciocínio com modelos Transformer, se torne importante
• Será possível implementar modelos de IA poderosos com menos de 100 milhões de parâmetros (estima-se que o GPT4 tenha 1,8 trilhão de parâmetros)

Fusão entre IA e humanos

• A IA pode ser usada como um córtex cerebral externo
• No longo prazo, a fronteira entre IA e humanos ficará difusa
• A expectativa é de evolução na forma de assistentes ou ferramentas de IA personalizados

Plataforma educacional de IA (Eureka Labs)

• Plataforma educacional baseada em IA que Karpathy está desenvolvendo
• O objetivo é oferecer uma experiência de aprendizado personalizada com o uso de IA
• Lançamento previsto para o início de 2024, e o primeiro curso será LLM101n (https://github.com/karpathy/LLM101n)
• Foco em educação técnica de nível universitário