Acrescentei ao final do texto que escrevi sobre o AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) um apêndice que trata da refutação do Google e do algoritmo AlphaChip como um todo.
Em resumo, acho que os autores do artigo da Nature fizeram algumas críticas válidas à metodologia de treinamento dos autores do ISPD. Mas o AlphaChip ainda tem custo computacional e tempo de execução altos demais em comparação com floorplanners automáticos comerciais e com o AutoDMP, o que o torna pouco competitivo. Ainda assim, os autores do ISPD deveriam publicar um estudo mais rigoroso que trate de todas as críticas dos autores da Nature, e mesmo avaliar apenas os checkpoints pré-treinados divulgados pelo Google já seria material útil para a discussão
Na conclusão do texto, você disse: “Reconheço que os autores do ISPD poderiam ter feito melhor, mas a conclusão continua válida. Os autores da Nature não abordam o fato de que CMP e AutoDMP têm desempenho melhor que CT com tempo de execução e requisitos computacionais muito menores”; porém, um dos pontos centrais da refutação é que os recursos usados na comparação eram muito menores.
Só esse motivo já parece suficiente para colocar em dúvida a validade das conclusões do estudo do ISPD; gostaria de saber como você vê isso. Além disso, este comentário é neutro, mas no texto o tom era muito mais forte, usando expressões como “arrogância”, “desdém”, “hipérbole”, “menosprezo” e “hostil” para os autores do AlphaChip, enquanto chamava o vice-presidente da Synopsys de “excelente”. Também gostaria de entender de onde vem essa diferença
Usar cerca de 16 GPUs por aproximadamente 6 horas para inferência e 48 horas para pré-treinamento não é um volume computacional excessivo.
Na nuvem, GPUs custam algo em torno de 1 a 2 dólares por hora, então a inferência sairia por cerca de 100 a 200 dólares, e o pré-treinamento por cerca de 800 a 1.600 dólares; além disso, o custo do pré-treinamento é amortizado ao longo de vários chips. Os preços de nuvem estão próximos de um limite superior, e a maioria dos laboratórios de ciência da computação tem muito mais recursos on-premises do que isso. Na indústria, esses custos são totalmente pequenos em comparação com o restante do processo de projeto de chips, e só as licenças de software EDA comercial já ficam na casa de milhões de dólares
Neste momento, não vejo por que não dar pelo menos um nível mínimo de confiança a Jeff Dean. O histórico dele é difícil de comparar com o de qualquer outra pessoa, e ele ainda segue ativo. Aconteceu algo que pudesse lançar uma sombra sobre ele? Às vezes, o próprio mensageiro traz peso
Aqui, ele parece ter se alinhado às pessoas erradas. Ele é essencialmente um construtor de sistemas, não um especialista em projeto de chips ou EDA, e, estritamente falando, também não é um pesquisador de machine learning.
Algumas pessoas podem achar que ele se envolveu com um jovem golpista carismático e agora entrou fundo demais para recuar. O fato de ter focado neste projeto também não ajudou sua posição dentro do Google; no ano passado, tudo que era importante passou para Demis, e para ele sobrou basicamente um cargo quase honorário. Considerando as realizações dele, é bastante triste
Essa confiança fazia sentido quando Jeff Dean dava palestras em 2020, 2021 e 2022. Mas agora ele está respondendo ao ceticismo da comunidade de EDA com ataques pessoais não acadêmicos e menções vagas a “muitas empresas” que usam a tecnologia.
Acho que já passamos da fase de presumir boa-fé e entramos em uma zona em que é possível ter uma desconfiança considerável
Fico me perguntando por que há tanta emoção e irritação nessa controvérsia. Como uma disputa acadêmica tediosa sobre benchmarks ou significância virou uma briga de ataques pessoais?
Muita gente trabalha com métodos de implementação que não são IA
Quando se fazem afirmações extraordinárias sem uma forma de reproduzi-las e se corre para a imprensa, a imprensa engole qualquer coisa.
“IA projeta IA... não, projeta chips” soa futurista para formados em humanas, e aparentemente também para programadores que deveriam desconfiar de todo tipo de “IA”. Desde a publicação na Nature, todo o processo de publicação parece desonesto. Por que não foi em um lugar como o ISCCC?
É por causa do dinheiro
Se você acha isso irritante, precisa ver os ambientalistas tentando atacar Jeff Dean no Twitter
O problema é que os incentivos comerciais das big techs em torno de IA contaminaram as águas da “academia tediosa”, gerando publicidade informativa desonesta disfarçada de artigos de periódicos ou preprints no arXiv[1].
Como resultado, a pesquisa moderna em IA passa por uma crise de reprodutibilidade muito pior que a das ciências sociais, com muito menos desculpas legítimas. Se o Google não está mentindo, bastaria divulgar os dados de benchmark para que pessoas independentes pudessem analisá-los, e boa parte da controvérsia desapareceria; mas a empresa continua se recusando: https://cacm.acm.org/news/updates-spark-uproar/ O Google parece achar que devemos aceitar suas conclusões simplesmente por autoridade. Além disso, o artigo vazado do denunciante Satrajit Chatterjee, demitido pelo Google em 2022, dizia que a vantagem de “30 a 35%” do RePlAce era compatível com resultados que refutavam as alegações “sobre-humanas” que o Google fazia na época sobre sua abordagem de IA para projeto de chips. Os “ataques pessoais” a Jeff Dean são totalmente apropriados, porque o ponto central da crítica é que seu caráter é desonesto e autoritário. Ele publica pesquisas suspeitas e demite quem discorda.
[1] É particularmente repugnante Jeff Dean ridicularizar o artigo crítico por ser um artigo de conferência. Uma atitude inacreditavelmente ruim
Segundo o tweet de Jeff Dean, Cheng et al. não seguiram os procedimentos necessários para reproduzir o trabalho dos pesquisadores do Google
Em particular, ele disse que “os autores não fizeram nenhum pré-treinamento e, apesar de o pré-treinamento ser mencionado 37 vezes no artigo da Nature, com isso tiraram do método baseado em aprendizado a capacidade de aprender com outros projetos de chips”. Porém, no repositório Circuit Training do Google[1], está explicitamente dito que “os resultados treinados do zero são semelhantes ou melhores que os resultados do artigo obtidos com ajuste fino de um modelo pré-treinado”. Talvez eu esteja entendendo algo errado, mas qual das duas coisas é? Eles estragaram tudo por não fazer pré-treinamento, ou tentaram uma reprodução justa seguindo os “procedimentos” descritos no repositório original? Considerando que o grupo da UCSD teve de fazer engenharia reversa de várias etapas, parece que os resultados do artigo por si só não eram reproduzíveis
[1]: https://github.com/google-research/circuit_training/blob/mai...
O artigo de Markov também linka para um artigo de um grupo diferente de autores do Google, e nele o benefício do pré-treinamento também aparece como muito pequeno
Além disso, em uma situação com poucos benchmarks, usar um modelo pré-treinado do Google de origem desconhecida pode ter o efeito oposto. É bem provável que o Google tenha treinado com todos os benchmarks disponíveis para fazê-lo repetir as soluções ótimas das ferramentas comerciais
“Treinar do zero” também pode significar misturar tentativas de novos projetos com projetos anteriores
Nesse caso, não há contradição. É a diferença entre pré-treinar com projetos anteriores e depois fazer ajuste fino em um novo projeto, versus treinar desde o início, durante todo o período, misturando todos os dados. O ajuste fino pode causar esquecimento catastrófico, e ambos podem ter desempenho melhor do que não incluir nenhum projeto anterior
O repositório Circuit Training parece mais estar mostrando um exemplo simples. É comum um repositório open source descrever um exemplo simples para teste ou validação de configuração, e isso não significa que, em geral, esse seja o método para obter resultados ótimos
A confusão pode ter vindo do fato de o exemplo dizer que obteve resultados semelhantes aos resultados com pré-treinamento do artigo. Mas isso claramente não nega o pré-treinamento como um todo. Se Cheng et al. realmente acharam ambíguo, deveriam ter consultado o autor correspondente. Se sentiram que precisavam fazer “engenharia reversa” de partes do repositório, também deveriam ter perguntado sobre isso
Chatterjee, que aparece quase como vilão no artigo linkado, agora parece estar processando o Google. Ao que parece, ele acredita que foi demitido por apontar que seu chefe, Jeff Dean, estava apresentando alegações falsas mesmo sabendo disso.
A frase “para ser claro, não há evidências para acreditar que RL seja melhor do que o estado da arte acadêmico ou do que os posicionadores comerciais de macros mais fortes. A comparação com estes últimos é tão falha que, em muitos casos, as ferramentas comerciais nem sequer foram executadas por problemas de instalação” seria de uma captura de tela de uma apresentação interna de Jeff Dean. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Para quem está de fora, é muito difícil julgar se Chatterjee foi uma contratação ruim e cara que reprimiu bons resultados dos colegas, ou se era um funcionário extremamente valioso tentando impedir uma apresentação falsa.
Muito tempo foi desperdiçado de verdade.
Ele chegou a conduzir uma pesquisa interna com Markov, mas os autores do AlphaChip explicam assim: em 2022, um comitê independente do Google revisou o caso e concluiu que “as alegações e conclusões do rascunho não são cientificamente sustentadas pelos experimentos”, e que, “com a reprodução independente dos resultados do dataset original do [AlphaChip], os resultados de RL de [Markov et al.] foram colocados em dúvida”. Os autores dizem que forneceram ao comitê um script de uma linha que gerava resultados de RL muito melhores do que os relatados por Markov et al., e que esses resultados eram melhores até do que o baseline de recozimento simulado “mais forte” deles. Dizem que ainda não sabem como Markov e seus coautores produziram os números do artigo.
(https://arxiv.org/pdf/2411.10053)
Contratar pessoas que vão cometer fraude ou manipulação em academia, finanças e outras áreas é, de fato, um grande problema.
A melhor, e talvez única, forma de reduzir isso é com incentivos e controles internos, além de cultura. Se você exige com força melhorias intermináveis de alguns por cento a cada ciclo e promove quem aparece constantemente com esses resultados sem verificar se eles sequer existiram, no fim a mesma coisa acontece independentemente da escala. Pode ser em uma equipe pequena, um departamento, uma empresa, um hedge fund que possui muitas dessas empresas, um fundo de fundos, ou o governo federal. Mais cedo ou mais tarde, a liderança fica bastante infiltrada por pessoas sem escrúpulos. Os sucessivos escândalos de publicação na academia e os incontáveis casos no setor financeiro são exemplos disso. Holmes e SBF estão na prisão, mas as pessoas financiadas por eles e grupos semelhantes continuam no topo da influência, carregando a mesma ideologia e agora com advogados melhores. Há um ditado antigo: “o peixe apodrece pela cabeça”. Ao ver todo tipo de coisa suspeita e escândalos constantes entre líderes simbólicos da indústria STEM e reagir com “mandou bem, venceu o sistema”, dificilmente se pode esperar algo além de um ataque generalizado à velha ordem honesta e justa. Nós também acabamos votando com os pés nesse ideal quase religioso de “força é justiça”, e eu fiz parte disso até largar por repulsa. Chamam isso de Objectivism, Effective Altruism, Capitalism, de várias formas, mas nem capitalismo de verdade é. Não dá para se surpreender que tudo tenha ficado pegajoso e sujo. Não sei bem qual é a resposta hoje. Talvez trabalhar em empresas menos ruins, expor abusos pelo menos anonimamente e ouvir e examinar com atenção o que os líderes dizem em entrevistas. Gostaria de ouvir outras sugestões.
Entendo a pressão para que Jeff responda a isso. O nome dele aparece em quase todos os resultados de pesquisa do “Google Brain”.
Mas algo como “eles são burros e por isso não conseguiram reproduzir, então é reproduzível” não é uma refutação, é assédio. Os críticos tocaram num ponto sensível, e parece que não há uma boa forma de rebater os problemas de reprodutibilidade que a pesquisa dele revela.
Ele não faz essa alegação no tweet linkado. A alegação dele é que “eles não conseguiram reproduzir porque não seguiram o procedimento”, e, quaisquer que sejam as motivações para fazê-la, parece uma alegação bastante razoável.
Se a tentativa falhou depois de não seguir o procedimento de reprodução, por exemplo o pré-treinamento ou uma quantidade suficiente de computação, não vejo qual é o problema em apontar a falha dessa “reprodução”.
Onde isso está escrito? Dean aponta no tweet etapas específicas que os autores deixaram passar.
Felizmente, ele não disse isso.
O tweet apenas diz que a tentativa de reprodução não seguiu de fato a metodologia original. Não há nada dizendo que os autores da tentativa de reprodução são “burros” ou algo parecido; isso foi simplesmente inventado. A lógica obviamente falaciosa de “não conseguiram reproduzir, então é reproduzível” também é uma completa fabricação.
É bem engraçado alegar viés por causa do empregador do crítico, como se trabalhar no Google não fosse conflito de interesses.
O Google não é uma empresa que exagera desesperadamente todo tipo de desenvolvimento de AI no estilo “eu também faço” para inflar o preço das ações? Jeff parece ter bebido tanto Kool-Aid que até esqueceu o que é água.
A prova definitiva do Google é produzir chips melhores do que os concorrentes. No momento, não está conseguindo fazer isso.
A crítica de que “não usaram recursos computacionais suficientes ao reproduzir nosso método” hoje em dia é meio engraçada. Claro que não; vocês são o Google.
Soa como dizer que não dá para avaliar nossa metodologia se você não possui uma nuvem. Mesmo que seja verdade que mais computação e mais pré-treinamento sejam úteis, isso torna a verificação difícil. Há também um lado oposto interessante. O Google tem recursos computacionais enormes, mas a Synopsys tem uma quantidade enorme de dados para treinar. Claro, a grande condição é se é permitido treinar com propriedade intelectual dos clientes.
Projetistas de chips executam ferramentas de EDA on-premises. Como uma empresa de EDA teria acesso aos dados dos clientes? Talvez para fins de depuração sob NDA, mas isso não significa que possa treinar com propriedade intelectual dos clientes.
1 comentários
Comentários do Hacker News
Acrescentei ao final do texto que escrevi sobre o AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) um apêndice que trata da refutação do Google e do algoritmo AlphaChip como um todo.
Em resumo, acho que os autores do artigo da Nature fizeram algumas críticas válidas à metodologia de treinamento dos autores do ISPD. Mas o AlphaChip ainda tem custo computacional e tempo de execução altos demais em comparação com floorplanners automáticos comerciais e com o AutoDMP, o que o torna pouco competitivo. Ainda assim, os autores do ISPD deveriam publicar um estudo mais rigoroso que trate de todas as críticas dos autores da Nature, e mesmo avaliar apenas os checkpoints pré-treinados divulgados pelo Google já seria material útil para a discussão
Só esse motivo já parece suficiente para colocar em dúvida a validade das conclusões do estudo do ISPD; gostaria de saber como você vê isso. Além disso, este comentário é neutro, mas no texto o tom era muito mais forte, usando expressões como “arrogância”, “desdém”, “hipérbole”, “menosprezo” e “hostil” para os autores do AlphaChip, enquanto chamava o vice-presidente da Synopsys de “excelente”. Também gostaria de entender de onde vem essa diferença
Na nuvem, GPUs custam algo em torno de 1 a 2 dólares por hora, então a inferência sairia por cerca de 100 a 200 dólares, e o pré-treinamento por cerca de 800 a 1.600 dólares; além disso, o custo do pré-treinamento é amortizado ao longo de vários chips. Os preços de nuvem estão próximos de um limite superior, e a maioria dos laboratórios de ciência da computação tem muito mais recursos on-premises do que isso. Na indústria, esses custos são totalmente pequenos em comparação com o restante do processo de projeto de chips, e só as licenças de software EDA comercial já ficam na casa de milhões de dólares
Neste momento, não vejo por que não dar pelo menos um nível mínimo de confiança a Jeff Dean. O histórico dele é difícil de comparar com o de qualquer outra pessoa, e ele ainda segue ativo. Aconteceu algo que pudesse lançar uma sombra sobre ele? Às vezes, o próprio mensageiro traz peso
Algumas pessoas podem achar que ele se envolveu com um jovem golpista carismático e agora entrou fundo demais para recuar. O fato de ter focado neste projeto também não ajudou sua posição dentro do Google; no ano passado, tudo que era importante passou para Demis, e para ele sobrou basicamente um cargo quase honorário. Considerando as realizações dele, é bastante triste
Acho que já passamos da fase de presumir boa-fé e entramos em uma zona em que é possível ter uma desconfiança considerável
Fico me perguntando por que há tanta emoção e irritação nessa controvérsia. Como uma disputa acadêmica tediosa sobre benchmarks ou significância virou uma briga de ataques pessoais?
“IA projeta IA... não, projeta chips” soa futurista para formados em humanas, e aparentemente também para programadores que deveriam desconfiar de todo tipo de “IA”. Desde a publicação na Nature, todo o processo de publicação parece desonesto. Por que não foi em um lugar como o ISCCC?
Como resultado, a pesquisa moderna em IA passa por uma crise de reprodutibilidade muito pior que a das ciências sociais, com muito menos desculpas legítimas. Se o Google não está mentindo, bastaria divulgar os dados de benchmark para que pessoas independentes pudessem analisá-los, e boa parte da controvérsia desapareceria; mas a empresa continua se recusando: https://cacm.acm.org/news/updates-spark-uproar/ O Google parece achar que devemos aceitar suas conclusões simplesmente por autoridade. Além disso, o artigo vazado do denunciante Satrajit Chatterjee, demitido pelo Google em 2022, dizia que a vantagem de “30 a 35%” do RePlAce era compatível com resultados que refutavam as alegações “sobre-humanas” que o Google fazia na época sobre sua abordagem de IA para projeto de chips. Os “ataques pessoais” a Jeff Dean são totalmente apropriados, porque o ponto central da crítica é que seu caráter é desonesto e autoritário. Ele publica pesquisas suspeitas e demite quem discorda.
[1] É particularmente repugnante Jeff Dean ridicularizar o artigo crítico por ser um artigo de conferência. Uma atitude inacreditavelmente ruim
Segundo o tweet de Jeff Dean, Cheng et al. não seguiram os procedimentos necessários para reproduzir o trabalho dos pesquisadores do Google
Em particular, ele disse que “os autores não fizeram nenhum pré-treinamento e, apesar de o pré-treinamento ser mencionado 37 vezes no artigo da Nature, com isso tiraram do método baseado em aprendizado a capacidade de aprender com outros projetos de chips”. Porém, no repositório Circuit Training do Google[1], está explicitamente dito que “os resultados treinados do zero são semelhantes ou melhores que os resultados do artigo obtidos com ajuste fino de um modelo pré-treinado”. Talvez eu esteja entendendo algo errado, mas qual das duas coisas é? Eles estragaram tudo por não fazer pré-treinamento, ou tentaram uma reprodução justa seguindo os “procedimentos” descritos no repositório original? Considerando que o grupo da UCSD teve de fazer engenharia reversa de várias etapas, parece que os resultados do artigo por si só não eram reproduzíveis
[1]: https://github.com/google-research/circuit_training/blob/mai...
Além disso, em uma situação com poucos benchmarks, usar um modelo pré-treinado do Google de origem desconhecida pode ter o efeito oposto. É bem provável que o Google tenha treinado com todos os benchmarks disponíveis para fazê-lo repetir as soluções ótimas das ferramentas comerciais
Nesse caso, não há contradição. É a diferença entre pré-treinar com projetos anteriores e depois fazer ajuste fino em um novo projeto, versus treinar desde o início, durante todo o período, misturando todos os dados. O ajuste fino pode causar esquecimento catastrófico, e ambos podem ter desempenho melhor do que não incluir nenhum projeto anterior
A confusão pode ter vindo do fato de o exemplo dizer que obteve resultados semelhantes aos resultados com pré-treinamento do artigo. Mas isso claramente não nega o pré-treinamento como um todo. Se Cheng et al. realmente acharam ambíguo, deveriam ter consultado o autor correspondente. Se sentiram que precisavam fazer “engenharia reversa” de partes do repositório, também deveriam ter perguntado sobre isso
Textos relacionados. Há outros?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - novembro de 2024, 2 comentários
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - novembro de 2024, 9 comentários
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - novembro de 2024, 1 comentário
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - setembro de 2024, 194 comentários
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - maio de 2022, 23 comentários
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - março de 2020, 1 comentário
O contexto da resposta de Jeff Dean está aqui
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
É até ridículo o quanto uma contratação ruim pode sair cara: https://www.wired.com/story/google-brain-ai-researcher-fired...
A frase “para ser claro, não há evidências para acreditar que RL seja melhor do que o estado da arte acadêmico ou do que os posicionadores comerciais de macros mais fortes. A comparação com estes últimos é tão falha que, em muitos casos, as ferramentas comerciais nem sequer foram executadas por problemas de instalação” seria de uma captura de tela de uma apresentação interna de Jeff Dean. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Para quem está de fora, é muito difícil julgar se Chatterjee foi uma contratação ruim e cara que reprimiu bons resultados dos colegas, ou se era um funcionário extremamente valioso tentando impedir uma apresentação falsa.
Ele chegou a conduzir uma pesquisa interna com Markov, mas os autores do AlphaChip explicam assim: em 2022, um comitê independente do Google revisou o caso e concluiu que “as alegações e conclusões do rascunho não são cientificamente sustentadas pelos experimentos”, e que, “com a reprodução independente dos resultados do dataset original do [AlphaChip], os resultados de RL de [Markov et al.] foram colocados em dúvida”. Os autores dizem que forneceram ao comitê um script de uma linha que gerava resultados de RL muito melhores do que os relatados por Markov et al., e que esses resultados eram melhores até do que o baseline de recozimento simulado “mais forte” deles. Dizem que ainda não sabem como Markov e seus coautores produziram os números do artigo.
(https://arxiv.org/pdf/2411.10053)
A melhor, e talvez única, forma de reduzir isso é com incentivos e controles internos, além de cultura. Se você exige com força melhorias intermináveis de alguns por cento a cada ciclo e promove quem aparece constantemente com esses resultados sem verificar se eles sequer existiram, no fim a mesma coisa acontece independentemente da escala. Pode ser em uma equipe pequena, um departamento, uma empresa, um hedge fund que possui muitas dessas empresas, um fundo de fundos, ou o governo federal. Mais cedo ou mais tarde, a liderança fica bastante infiltrada por pessoas sem escrúpulos. Os sucessivos escândalos de publicação na academia e os incontáveis casos no setor financeiro são exemplos disso. Holmes e SBF estão na prisão, mas as pessoas financiadas por eles e grupos semelhantes continuam no topo da influência, carregando a mesma ideologia e agora com advogados melhores. Há um ditado antigo: “o peixe apodrece pela cabeça”. Ao ver todo tipo de coisa suspeita e escândalos constantes entre líderes simbólicos da indústria STEM e reagir com “mandou bem, venceu o sistema”, dificilmente se pode esperar algo além de um ataque generalizado à velha ordem honesta e justa. Nós também acabamos votando com os pés nesse ideal quase religioso de “força é justiça”, e eu fiz parte disso até largar por repulsa. Chamam isso de Objectivism, Effective Altruism, Capitalism, de várias formas, mas nem capitalismo de verdade é. Não dá para se surpreender que tudo tenha ficado pegajoso e sujo. Não sei bem qual é a resposta hoje. Talvez trabalhar em empresas menos ruins, expor abusos pelo menos anonimamente e ouvir e examinar com atenção o que os líderes dizem em entrevistas. Gostaria de ouvir outras sugestões.
Entendo a pressão para que Jeff responda a isso. O nome dele aparece em quase todos os resultados de pesquisa do “Google Brain”.
Mas algo como “eles são burros e por isso não conseguiram reproduzir, então é reproduzível” não é uma refutação, é assédio. Os críticos tocaram num ponto sensível, e parece que não há uma boa forma de rebater os problemas de reprodutibilidade que a pesquisa dele revela.
O tweet apenas diz que a tentativa de reprodução não seguiu de fato a metodologia original. Não há nada dizendo que os autores da tentativa de reprodução são “burros” ou algo parecido; isso foi simplesmente inventado. A lógica obviamente falaciosa de “não conseguiram reproduzir, então é reproduzível” também é uma completa fabricação.
O Google não é uma empresa que exagera desesperadamente todo tipo de desenvolvimento de AI no estilo “eu também faço” para inflar o preço das ações? Jeff parece ter bebido tanto Kool-Aid que até esqueceu o que é água.
A prova definitiva do Google é produzir chips melhores do que os concorrentes. No momento, não está conseguindo fazer isso.
A crítica de que “não usaram recursos computacionais suficientes ao reproduzir nosso método” hoje em dia é meio engraçada. Claro que não; vocês são o Google.
Soa como dizer que não dá para avaliar nossa metodologia se você não possui uma nuvem. Mesmo que seja verdade que mais computação e mais pré-treinamento sejam úteis, isso torna a verificação difícil. Há também um lado oposto interessante. O Google tem recursos computacionais enormes, mas a Synopsys tem uma quantidade enorme de dados para treinar. Claro, a grande condição é se é permitido treinar com propriedade intelectual dos clientes.