- GPT-2 é uma grande IA de geração de texto treinada com 8 milhões de páginas da web, capaz de continuar naturalmente uma frase dada
- A OpenAI afirmou que o modelo traz riscos de uso indevido em notícias falsas e falsificação de identidade online, e por isso divulgou apenas uma versão reduzida em vez do modelo completo
- Pesquisadores apontaram que essa medida de não divulgação é apenas uma resposta temporária, e modelos semelhantes em breve poderão ser reproduzidos
- Alguns criticaram a OpenAI por exagerar os riscos para atrair atenção, enquanto outros especialistas avaliaram o caso como um gatilho para o debate sobre ética em IA
- Este caso representa um ponto de inflexão importante ao mostrar como equilibrar a responsabilidade na divulgação de IA e a inevitabilidade da disseminação tecnológica
O adiamento da divulgação do GPT-2 pela OpenAI e o debate sobre ética em inteligência artificial
- A OpenAI desenvolveu o novo modelo de geração de texto GPT-2, capaz de produzir frases coerentes a partir de um tema dado, mas adiou a divulgação do modelo completo por motivos de segurança e proteção
- Em vez disso, divulgou apenas uma versão reduzida, mantendo em sigilo o dataset e o código de treinamento usados no aprendizado
- A imprensa descreveu o caso com exageros, como uma “inteligência artificial que deveria ser selada pelo bem da humanidade”, e especialistas levantaram a discussão de que houve exagero na avaliação do risco
- A decisão desencadeou um debate sobre até que ponto deve ser permitida a divulgação de algoritmos de IA potencialmente perigosos
Características técnicas e desempenho do GPT-2
- O GPT-2 é um modelo de linguagem treinado com textos de 8 milhões de páginas da web, por meio da previsão da próxima palavra em uma frase
- Ele consegue gerar frases que continuam naturalmente de acordo com o estilo e o tema da entrada recebida
- Como exemplo, ao receber a frase “descobri um grupo de unicórnios que fala inglês na Cordilheira dos Andes”, o GPT-2 completou o texto em formato de uma matéria científica fictícia
- Também é capaz de gerar texto em diversos estilos, como ficção, colunas e discursos
- As frases geradas às vezes incluem expressões repetidas, mudanças abruptas de tema e conteúdo ilógico, mas foram avaliadas como muito superiores aos modelos anteriores em compreensão de contexto e consistência textual
- O GPT-2 consegue distinguir sentidos múltiplos de palavras e reconhecer usos raros, com potencial de aplicação em tradução, chatbots e ferramentas de apoio à escrita
A decisão de adiar a divulgação e a controvérsia em torno dela
- A OpenAI temia que o GPT-2 pudesse ser usado indevidamente para gerar notícias falsas, se passar por pessoas na internet e espalhar spam
- Por isso, divulgou apenas uma versão reduzida em vez do modelo completo, mantendo em sigilo os dados de treinamento e o código
- No entanto, muitos pesquisadores de IA apontaram que essa medida de não divulgação é apenas uma resposta temporária
- Robert Frederking, da Carnegie Mellon, afirmou: “A tecnologia usada pela OpenAI não é nova, e outros pesquisadores em breve poderão criar modelos parecidos”
- Também foi apresentada a visão de que instituições com capital e conhecimento suficientes poderiam construir modelos semelhantes apenas com serviços em nuvem como a AWS
- Alguns pesquisadores criticaram a OpenAI por exagerar os riscos para atrair atenção e por limitar oportunidades de pesquisa na academia
- Em contrapartida, David Bau, do MIT, avaliou a decisão como um gesto para estimular o debate sobre ética em IA, dizendo que “é positivo que a OpenAI tenha feito as pessoas prestarem atenção a esse problema”
A divulgação de inteligência artificial e a questão do julgamento ético
- John Bowers, do Berkman Klein Center de Harvard, explicou que a decisão de divulgar ou não uma tecnologia de IA é uma questão de análise de custo-benefício
- Ele afirmou apoiar a divulgação de algoritmos de geração de texto que contribuam para o avanço do processamento de linguagem natural, mas disse que é preciso cautela com tecnologias de reconhecimento de imagem que podem ser usadas em vigilância ou manipulação
- Em especial, observou que a tecnologia de deepfake “causa muito mais danos do que benefícios”
- Bowers avaliou que esse tipo de julgamento revela a imaturidade do campo de IA
- Atualmente, a área de machine learning ainda carece de critérios sistemáticos para avaliar os impactos sociais e as considerações éticas da tecnologia
Os limites do controle da disseminação tecnológica e casos históricos semelhantes
- Como a história recente mostra, tentativas de conter ou controlar a disseminação de ferramentas de IA têm grande chance de fracassar
- Frederking citou como precedente semelhante o fracasso da regulação da criptografia nos anos 1990
- Na época, o governo tentou aprovar uma lei para instalar backdoors voltados à interceptação de comunicações, mas isso foi neutralizado quando Phil Zimmerman desenvolveu a ferramenta de criptografia PGP
- Depois disso, tecnologias fortes de criptografia passaram a poder ser obtidas facilmente também no exterior, tornando a regulação praticamente impossível
- Frederking enfatizou: “Quando chega o momento do progresso científico, não é possível detê-lo. O que se pode fazer é decidir como responder a ele”
Conclusão
- O adiamento da divulgação do GPT-2 é visto como um caso importante sobre os riscos da tecnologia de IA e a responsabilidade na sua divulgação
- A decisão da OpenAI expõe o problema de equilíbrio entre ética em IA, transparência e a inevitabilidade da disseminação tecnológica
- No longo prazo, será necessário estabelecer critérios que conciliem a abertura da pesquisa em IA com a segurança social
7 comentários
Mais precisamente, parece que isso foi postado porque o motivo pelo qual a OpenAI da época em que Amodei estava lá manteve o GPT-2 fechado e o motivo pelo qual está mantendo o modelo Mythos fechado são semelhantes. O Amodei daquela época e o Amodei de agora não mudaram em nada..
Vendo agora, chega a ser engraçado kkkkkk. Também dá medo pensar que em menos de 10 anos a situação ficou tão absurda a ponto de isso parecer ridículo.
Só para referência, se você olhar o conteúdo do texto que menciona o GPT-2 ou o ano original de publicação, 2019, vai perceber que existe o contexto de que, em relação ao caso recente da Anthropic dizer que não vai divulgar o modelo de mentes por ser perigoso demais, no passado a OpenAI também fez bastante alarde em torno do GPT-2.
No caso do HN, parece haver o costume de colocar o ano em posts antigos (não sei se isso é adicionado automaticamente), e acho que seria bom se isso também fosse exibido no GeekNews.
Na maioria dos casos isso vem junto, mas desta vez acabou ficando de fora de forma estranha e foi processado assim. Vou corrigir para que isso não seja alterado.
Será que o Sam Altman está se projetando no Oppenheimer? Se é perigoso, acho que faria sentido divulgar depois de complementar isso com segurança, então recomendar que usem não me parece coerente. Acho que o caso do Anthropic Mythos é a mesma coisa.
No que a Anthropic falou eu confiei, mas por que no que a OpenAI falou eu confio tão pouco?
Será porque a Anthropic fez um show-and-proof ao criar patches de zero-day?
Será porque a OpenAI já usou esse repertório várias vezes?
Comentários do Hacker News
Acho que alguém deveria reunir esses momentos lendários da OpenAI
Tipo “o GPT-2 é perigoso demais”, “o DALL-E 64x64 é assustador demais”, “AGI alcançada”, “o Q*/strawberry resolveu problemas de matemática e os pesquisadores entraram em pânico” e coisas do tipo
Eu também gosto do Codex, mas esse tipo de marketing exagerado é engraçado e cansativo ao mesmo tempo
Passei o dia inteiro tentando corrigir um bug simples de UI com Codex GPT-5.4, Claude Opus 4.6-1M, Gemini 3.1 Pro etc., falhei e no fim abri o código e corrigi eu mesmo
Resolvi em 20 minutos, e a parte engraçada é que eu não conhecia nem essa linguagem nem esse framework
Ainda assim, você consertou em 20 minutos, então cuidado — talvez tenha aprendido alguma coisa
Acho que essa é a melhor forma de manter um modelo mental claro
Modelos são realmente ruins com bugs de UI ou CSS. Testes unitários são obrigatórios
Essa polêmica parece ser uma reação ao Mythos, mas acho que a decisão da OpenAI na época foi correta
Quando o GPT-2 foi lançado, a indústria mudou completamente, e aquilo não era só pesquisa, era o sinal de uma nova era
O Mythos também mostra algo sem precedentes
Li o white paper de 250 páginas; a capacidade de hacking era impressionante, e senti que houve uma grande melhora em segurança no último mês
Levar mais tempo considerando o impacto social é algo positivo
Foi algo acidentalmente correto, mas hoje em dia a explosão de conteúdo de baixa qualidade realmente parece um problema
Disseram que “imagens, áudios e vídeos sintéticos reduziriam o custo de produzir conteúdo falso, e o público precisaria ser mais cético em relação ao texto online”, e é exatamente onde estamos agora
Artigo relacionado
No começo eu não vi o ano e levei um susto
Como a OpenAI está com dificuldade para levantar investimento e o perfil do Altman na New Yorker também saiu ruim, dá para entender a volta a uma estratégia de PR no estilo “me impeça de atirar na vovó”
Existe essa frase: “se fosse realmente uma tecnologia perigosa, não estaria disponível por 20 dólares por mês”
O que é realmente perigoso nunca é liberado para o público
Mesmo assim, é curioso ver especialistas ignorando essa lógica básica
Hoje em dia, quando se fala “perigoso demais para ser liberado”, isso se refere ao Mythos da Anthropic
Dizem que é poderoso demais, então só empresas aprovadas podem acessar
“Perigoso demais para ser liberado” na verdade queria dizer “não vamos abrir os pesos do modelo em open source”
No fim, os pesos foram publicados, e é um contexto diferente do Anthropic Mythos
Naquela época, eu treinava o Transformer-XL com Ben Mann fora da OpenAI
A ideia original era publicar os pesos, tipo um GPT-2.5, mas amigos da OpenAI aconselharam manter em privado
Texto relacionado
Depois ele registrou sua experiência em detalhes
Disse que a OpenAI foi educada e sincera na conversa, e até compartilhou a visão de governos e agências de inteligência sobre os riscos
No fim, ele desistiu de publicar o modelo por acreditar que “prevenir é melhor do que remediar”
Disse que queria deixar um precedente para quando surgisse um modelo mais perigoso no futuro
Os bons posts sempre aparecem depois que os americanos vão dormir
Ainda me lembro do exemplo de artigo sobre unicórnio gerado pelo GPT-2 que li em 2019
Na época, aquilo realmente chocou. Foi até mais impressionante do que GPT-3.5 ou 4