Um usuário sentiu que não encontrou nada de novo ou útil na apresentação. Achou o conteúdo religioso e vazio
Avaliou positivamente o fato de Ilya ter começado a apresentação com uma foto de Quoc Le. Quoc Le foi o autor principal do artigo de 2012 sobre escalonamento de redes neurais, e isso levou esse usuário a se interessar por deep learning
Avaliou que as falas de Ilya são humildes e baseadas em pesquisas públicas anteriores, mas que ele atualmente está conduzindo um grande projeto e tem muita imaginação
Considerou importante a fala de Ilya de que "raciocínio é mais imprevisível". Argumenta que raciocínio útil é, por natureza, imprevisível
Levantou a pergunta sobre por que o paralelismo em pipeline era uma má ideia
Sentiu que a apresentação, em grande parte, estava cheia de conteúdo desnecessário. Foram mencionados um resumo dos últimos 10 anos, os limites das leis de escalonamento, agentes, dados sintéticos e melhorias de computação
Destacou que Sutskever disse que "o pré-treinamento vai acabar". Prevê que a forma de treinar modelos vai mudar por causa dos limites dos dados
Propôs conjuntos de dados sintéticos curados como dados alternativos para treinamento no lugar de dados da internet. Explicou que o uso de grandes conjuntos de dados proprietários é limitado por questões de direitos autorais, mas que problemas legais podem ser resolvidos se o próprio dono os utilizar
Avaliou que o podcast da DeepMind tratou de temas semelhantes aos desta apresentação, mas foi mais interessante
Avaliou positivamente a comparação dos dados da internet com um recurso finito. Argumenta que é preciso reconhecer os limites do recurso e lidar com eles
Mencionou ser surpreendente comparar os "neurônios" de transformers com neurônios biológicos reais. Neurônios reais envolvem processos bioquímicos complexos, enquanto transformers usam camadas lineares simples e não linearidades
Mencionou que um LLM usou Gemini Flash 8B para corrigir a transcrição original do YouTube
1 comentários
Opiniões do Hacker News
Um usuário sentiu que não encontrou nada de novo ou útil na apresentação. Achou o conteúdo religioso e vazio
Avaliou positivamente o fato de Ilya ter começado a apresentação com uma foto de Quoc Le. Quoc Le foi o autor principal do artigo de 2012 sobre escalonamento de redes neurais, e isso levou esse usuário a se interessar por deep learning
Avaliou que as falas de Ilya são humildes e baseadas em pesquisas públicas anteriores, mas que ele atualmente está conduzindo um grande projeto e tem muita imaginação
Considerou importante a fala de Ilya de que "raciocínio é mais imprevisível". Argumenta que raciocínio útil é, por natureza, imprevisível
Levantou a pergunta sobre por que o paralelismo em pipeline era uma má ideia
Sentiu que a apresentação, em grande parte, estava cheia de conteúdo desnecessário. Foram mencionados um resumo dos últimos 10 anos, os limites das leis de escalonamento, agentes, dados sintéticos e melhorias de computação
Destacou que Sutskever disse que "o pré-treinamento vai acabar". Prevê que a forma de treinar modelos vai mudar por causa dos limites dos dados
Propôs conjuntos de dados sintéticos curados como dados alternativos para treinamento no lugar de dados da internet. Explicou que o uso de grandes conjuntos de dados proprietários é limitado por questões de direitos autorais, mas que problemas legais podem ser resolvidos se o próprio dono os utilizar
Avaliou que o podcast da DeepMind tratou de temas semelhantes aos desta apresentação, mas foi mais interessante
Avaliou positivamente a comparação dos dados da internet com um recurso finito. Argumenta que é preciso reconhecer os limites do recurso e lidar com eles
Mencionou ser surpreendente comparar os "neurônios" de transformers com neurônios biológicos reais. Neurônios reais envolvem processos bioquímicos complexos, enquanto transformers usam camadas lineares simples e não linearidades
Mencionou que um LLM usou Gemini Flash 8B para corrigir a transcrição original do YouTube