1 pontos por GN⁺ 2024-05-23 | 1 comentários | Compartilhar no WhatsApp
  • A OpenAI suspendeu temporariamente o uso da assistente de voz Sky na demonstração do GPT-4o, depois que cresceu a controvérsia de que ela soava parecida com a voz de Scarlett Johansson
  • Johansson afirmou que, em setembro de 2023, recusou a proposta de participar com a voz no ChatGPT 4.0 feita por Sam Altman, e que recebeu um novo pedido dois dias antes do lançamento, mas o sistema foi divulgado antes que eles conseguissem se falar
  • A OpenAI explicou que Sky era a voz natural de outra atriz profissional, mas o tuíte “her” de Altman ampliou ainda mais as comparações com o filme Her
  • O caso se soma a processos por direitos autorais, contratos que limitam críticas de ex-funcionários, saídas da equipe de segurança e investigação da SEC, levantando dúvidas sobre a promessa de transparência de Altman
  • A controvérsia sobre Sky se expandiu para uma questão de confiança sobre como a OpenAI lida com criadores, funcionários e as fontes dos dados de treinamento

O início da controvérsia da voz Sky

  • A OpenAI apresentou, no anúncio do GPT-4o, um modelo de interação multimodal centrado na assistente de voz Sky
  • O timbre de Sky provocou reações de que era muito parecido com o de Scarlett Johansson
  • Em uma declaração enviada a Bobby Allyn, da NPR, Johansson disse que Altman a procurou em setembro de 2023 para propor que ela fosse a voz do atual sistema ChatGPT 4.0
    • Ela recusou a proposta por motivos pessoais
    • Nove meses depois, amigos, familiares e o público disseram que Sky soava muito parecida com ela
    • Após ouvir a demonstração pública, disse ter sentido “choque, raiva e incredulidade”
  • Depois disso, Johansson contratou advogados e enviou uma carta a Altman e à OpenAI, afirmando que a OpenAI “relutantemente concordou” em trocar a voz de Sky

A explicação da OpenAI e de Altman

  • Depois de receber perguntas sobre Sky, a OpenAI publicou no X que estava trabalhando para suspender temporariamente o uso de Sky
  • Em uma postagem no blog, a OpenAI disse que vozes de IA não devem imitar intencionalmente a voz distintiva de celebridades
    • Afirmou que Sky não era uma imitação de Scarlett Johansson, mas a voz de outra atriz profissional falando com seu estilo natural
  • Altman disse à NPR que a atriz de voz de Sky foi escalada antes de qualquer contato com Johansson
    • Disse que interrompeu o uso de Sky no produto por respeito a Johansson
    • Afirmou que sentia muito por “não ter se comunicado melhor” com Johansson

Indícios que ampliaram a comparação com Her

  • Durante o lançamento do GPT-4o, Altman tuitou a palavra “her
    • Isso remete ao filme Her, de 2013, em que Johansson interpretou uma assistente de voz parecida com a Siri
    • Altman já havia dito antes que Her era um de seus filmes favoritos
    • Depois, em seu blog pessoal, escreveu sobre o GPT-4o que “parece a IA de um filme
  • Johansson afirmou que, dois dias antes da divulgação da demo do ChatGPT 4.0, Altman voltou a pedir a seu agente que ela reconsiderasse
    • O sistema já havia sido divulgado antes que os dois lados conseguissem se falar
  • Nitasha Tiku, do Washington Post, disse que, em uma demo ao vivo da OpenAI em setembro de 2023, achou que a voz de Sky soava como Johansson e perguntou a um executivo se isso era intencional
    • Na época, os executivos negaram que fosse intencional

A pressão em torno da OpenAI

  • O GPT-4o foi apresentado como uma das principais atualizações da OpenAI e, após o lançamento, veio acompanhado tanto de um salto na receita do app móvel do ChatGPT quanto de controvérsias sobre spam usado no treinamento de recursos em chinês
  • A controvérsia com Johansson aconteceu poucos meses depois de atores chegarem a um acordo sindical após uma greve motivada, em parte, por preocupações com o impacto da IA na indústria do cinema
    • A SAG-AFTRA apoiou publicamente a posição de Johansson contra a OpenAI
  • A OpenAI já vinha sendo criticada por não oferecer pedido de desculpas suficiente nem transparência adequada sobre os grandes volumes de dados usados para treinar e operar apps como ChatGPT e DALL-E 3
    • A empresa já admitiu que seria “impossível” treinar modelos sem usar em grande escala livros, obras de arte e artigos protegidos por direitos autorais
    • Escritores e editoras de notícias abriram processos contra a OpenAI por essa prática
    • A 404 Media informou que a OpenAI apresentou uma “reclamação de copyright” sobre o uso do logo do subreddit da OpenAI

A demissão de Altman e a saída da equipe de segurança

  • A maioria do conselho da OpenAI declarou falta de confiança em Altman e o demitiu repentinamente em novembro de 2023
    • Na época, o conselho disse que Altman “não foi consistentemente franco” em suas comunicações com o conselho
  • Depois disso, a disputa evoluiu para um conflito entre Altman e executivos que o apoiavam, de um lado, e pessoas preocupadas com desenvolvimento e implantação rápidos de produtos e com a possibilidade de uso indevido, de outro
  • Ilya Sutskever foi uma das figuras centrais no episódio de novembro e, segundo reportagens, questionou a honestidade de Altman, mas depois foi informado que não retornou à empresa nos meses seguintes
    • Na semana passada, a OpenAI anunciou a saída de Sutskever
  • Jan Leike, líder da equipe de Sutskever, também anunciou sua saída algumas horas depois
    • Disse que havia divergido por muito tempo da liderança da OpenAI sobre as prioridades centrais da empresa e que finalmente chegou ao limite
  • A Vox informou que, desde novembro, pelo menos mais cinco funcionários da OpenAI com foco em segurança saíram ou foram afastados
    • Um ex-funcionário disse que perdeu gradualmente a confiança na liderança da OpenAI

Sigilo, acordos de saída e disputas legais

  • A Vox informou que funcionários da OpenAI precisam assinar acordos de saída extremamente restritivos para manter sua participação acionária
    • Esses contratos impedem ex-funcionários de criticarem a antiga empresa pelo resto da vida
    • Também proíbem até reconhecer a existência do próprio NDA
  • Altman disse no X que não sabia dessa cláusula sobre participação, que está reescrevendo os contratos e que também corrigirá os acordos antigos de ex-funcionários que entrarem em contato com ele
  • A MIT Technology Review reportou que a OpenAI, no passado, era obcecada por sigilo, proteção de imagem e manutenção da lealdade dos funcionários
  • The Information informou que, em abril de 2024, dois funcionários da OpenAI foram demitidos por suspeita de vazamento de informações
  • No processo da Authors Guild, vieram a público documentos mostrando que a OpenAI apagou dois conjuntos de dados com mais de 100 mil livros publicados usados no treinamento dos primeiros modelos GPT
    • Os funcionários que organizaram esses dados já não estão mais na OpenAI
    • A OpenAI se recusou a divulgar o histórico dos dados de treinamento até o processo
  • No processo do New York Times, o advogado principal enviou uma carta ao tribunal dizendo que a OpenAI estava atrasando a fase de produção de provas ao arrastar negociações sobre ordens de proteção e não fornecer rapidamente informações básicas
  • A SEC está investigando as comunicações de Altman em relação à possibilidade de ele e outros líderes seniores da OpenAI terem enganado investidores

O problema de confiança deixado pelo caso Sky

  • Altman vinha falando sobre a importância da transparência, dizia ser tolerante com opositores internos da OpenAI e buscava contato com o governo para se apresentar como um gestor responsável da IA
  • Porém, a controvérsia de Sky aumentou a suspeita de que há conflito entre as declarações públicas de Altman e a operação interna da OpenAI, o tratamento dado aos funcionários e suas práticas de sigilo
  • O fato de uma voz semelhante ter sido lançada mesmo depois de Johansson recusar levantou dúvidas sobre se a OpenAI conduziu de boa-fé o processo de treinamento e seleção da voz Sky

1 comentários

 
GN⁺ 2024-05-23
Opiniões no Hacker News
  • Altman tenta fazer parecer que foi um mal-entendido inocente, mas na verdade não diz isso: “A atriz que fez a voz da Sky foi escalada antes de entrarmos em contato com Johansson”
    Parece que essa frase quer dar a entender que a empresa não tentou, sem permissão, criar uma voz parecida com a dela. É uma frase que, como algo escrito por um advogado, é tecnicamente verdadeira, mas na prática passa uma impressão falsa; é o típico jeito de falar para ter uma saída. Não deveríamos dar tanto poder sobre o nosso futuro a alguém tão ardiloso, evasivo e deliberadamente enganoso

    • Não deveríamos dar tanto poder sobre o nosso futuro a ninguém
    • Há centenas de pessoas com vozes parecidas. Se qualquer dublador conseguir fazer o mesmo sotaque de Johansson, acho que deveria ser permitido, desde que o material original de treinamento seja legítimo. A voz em si não pode ser objeto de copyright nem de exclusividade, embora, claro, Hollywood provavelmente vá tentar reivindicar copyright sobre isso algum dia
    • Se eles já tinham escalado uma atriz de voz, não entendo por que se deram ao trabalho de contatar a ScarJo
      Sam, você queria pagar o cachê dela? Normalmente a ideia é não pagar esse cachê, então é bem provável que tenham escalado a atriz de voz antes de contatar Johansson
    • Não é uma insinuação ambígua; na declaração completa publicada em outros lugares, eles negam explicitamente
      “A voz da Sky não é a de Scarlett Johansson, nem houve intenção de fazê-la se parecer com ela. A atriz que fez a voz da Sky foi escalada antes de entrarmos em contato com Johansson. Em respeito a Johansson, suspendemos o uso da voz Sky no produto. Pedimos desculpas a Johansson por não termos nos comunicado melhor.”
      Duvido que isso seja verdade, mas pelo menos é uma negação clara e sem rodeios
    • A frase “tecnicamente verdadeira, como se escrita por um advogado, mas que na prática passa uma impressão falsa” se aplica a quase todas as declarações de CEOs. O mesmo vale para pessoas cuja principal função é marketing
  • Isso é a mentalidade clássica de mover-se rápido e quebrar coisas. Só que entra em contradição direta com o que Sam vinha dizendo sobre agir “com cautela”, e no fim essas falas parecem uma cortina de fumaça
    Na prática, ninguém vai parar para desenvolver AGI com cuidado; isso está sendo empurrado como uma corrida pelo desenvolvimento da bomba atômica. A história mostra que, no fim, vamos a toda velocidade sem freio. ScarJo é apenas o caso mais recente de alguém atropelado nesse processo, e parece que muito mais gente acabará sendo atropelada

    • Em “mover-se rápido e quebrar coisas” há uma boa dose da mentalidade de que não existe publicidade ruim. Hoje em dia parece que o importante é continuar sendo assunto
    • Eu colocaria isso na categoria “é melhor pedir perdão depois do que pedir permissão antes”. Também é uma mentalidade comum no Silicon Valley
  • Há muitas pessoas com vozes parecidas com a de Scarlett Johansson. Se SJ não quer ser a atriz de voz da OpenAI, não entendo por que a OpenAI não poderia encontrar e usar uma voz parecida
    SJ não tem exclusividade sobre todas as vozes parecidas com a dela. Uma pessoa com esse tipo de voz tem tanto direito quanto SJ de ganhar dinheiro com ela, e alguém de fato exerceu esse direito. Mesmo comparando a voz da Sky com a de SJ, elas não são iguais. O erro da OpenAI foi ceder à SJ. Deveriam ter mantido a Sky e mandado SJ se ferrar. Se houvesse processo, bastaria provar que usaram outra atriz de voz e apresentar o argumento legítimo de que SJ não tem exclusividade sobre vozes parecidas

    • Não entendo por que isso está tão confuso
      Acho que a imprensa está dando grande destaque porque Scarlett é famosa. Não parece que este caso tenha irritado as pessoas mais do que o normal; pelos comentários, não é muito diferente dos sentimentos que elas já tinham sobre a OpenAI. Só que agora todo mundo ganhou uma justificativa para dizer o que pensa ao mesmo tempo. Agem como se a empresa tivesse literalmente roubado alguma coisa. A OpenAI tirar a voz Sky do ar também não ajudou. Se não havia nada a esconder, por que tiraram? Claro que a resposta é que Scarlett é uma pessoa rica e famosa, capaz de mover uma ação caríssima contra a OpenAI mesmo sem fundamento. Ainda assim, a OpenAI deveria ter bancado esse custo, porque agora parece que foi pega com a mão no pote de biscoitos. Só que ninguém consegue dizer exatamente que biscoito foi roubado
    • Não sou advogado, mas acho que o erro foi ficar fazendo referência ao filme Her ao falar da Sky
    • “Então por que a OpenAI não poderia encontrar e usar uma voz parecida?” pressupõe que foi isso que eles realmente fizeram. Agora a situação parece um “juro que minha namorada que mora no Canadá é real, acredita em mim!”. Ela é real, gente! Não, não posso mostrar
    • Concordo. Então o que acontece com pessoas que se parecem com SJ? Elas não deveriam poder atuar só porque SJ virou atriz primeiro?
    • Recomendo dar uma olhada neste precedente: https://en.wikipedia.org/wiki/Midler_v._Ford_Motor_Co
  • Fico curioso para ver quanto tempo esta thread vai durar no HN
    Quanto de influência o @sama tem por aqui hoje em dia? Só para constar, nunca fiquei impressionado com ele. Não sei de nada significativo que ele realmente tenha feito ou criado, além de levar o crédito pelo excelente trabalho feito pelos cientistas e engenheiros de IA da OpenAI. A empresa parece um veículo para a ambição e o legado dele, e não muito mais do que isso

    • O Hacker News é famoso por ter independência editorial em relação a pessoas ligadas à YC, e o dang já disse que não derruba de propósito threads que envolvam pessoas ou empresas da YC. Sam Altman nem faz mais parte da YC
    • Esta thread deveria mesmo ser removida pelos moderadores. Há muito pouco conteúdo substancial. É uma thread de acompanhamento de controvérsias públicas que já existiam, e nem representa um fenômeno novo. Não é o tipo de coisa que o HN busca
    • Denunciei este envio por ser isca para indignação. Não é intelectualmente recompensador e não combina com o HN. O HN não é uma plataforma de militância
    • Usuários denunciaram, e o detector de controvérsia também foi acionado. Este texto é derivado de threads que já existiram no HN sobre questões recentes, então acho que desta vez não vão desativar a penalidade
      Declaração de Scarlett Johansson sobre a voz “Sky” da OpenAI - https://news.ycombinator.com/item?id=40421225 - maio de 2024, 970 comentários
      Jan Leike renuncia à OpenAI - https://news.ycombinator.com/item?id=40363273 - maio de 2024, 391 comentários
      Ilya Sutskever deixa a OpenAI - https://news.ycombinator.com/item?id=40361128 - maio de 2024, 780 comentários
      Mais ex-funcionários da OpenAI: por que ex-empregados não podem falar? - https://news.ycombinator.com/item?id=40393121 - maio de 2024, 961 comentários
      Todas foram threads gigantescas. Às vezes um assunto primeiro é amplamente discutido no HN, um jornalista vê isso e escreve uma matéria, e então um usuário envia essa matéria de volta, gerando outra thread no HN. Não precisamos desse tipo de loop de feedback. Quando conteúdo repetido carece de diversão, a mente tende a compensar com indignação (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sort=byDate&type=comment&query=mind%20amuse%20by:dang), e as threads anteriores já foram indignadas e repetitivas o suficiente. A influência do @sama é zero. Mesmo quando comandava a YC, ele nunca pediu nenhuma mudança relacionada ao HN, e depois disso muito menos. Para referência, Sam foi quem publicou https://www.ycombinator.com/blog/two-hn-announcements/. Pessoalmente, lembro de ouvir comentários desse tipo sobre Sam desde a época da Loopt. Tenho a hipótese de que o fato de pg tê-lo elogiado publicamente de forma tão intensa despertou nos leitores um sentimento de “por que ele, e não eu?”. Ironicamente, quanto mais Sam realizou, maiores ficaram as reclamações. Liderar a OpenAI durante o maior boom tecnológico desde o iPhone é algo bastante obviamente grande. Acho que, mesmo que Sam unificasse a gravidade com a teoria quântica, intermediasse a paz no Oriente Médio e curasse o câncer, essas reclamações continuariam. Parece interessante justamente por não se basear em conquistas objetivas ou na falta delas, mas em uma espécie de fenômeno de segunda ordem. Pelo menos se você não for o Sam
    • Não dá para dizer o mesmo da maioria dos CEOs? Eles não são as pessoas que realmente fazem o trabalho pesado
  • É interessante como a conversa que discutia direitos autorais e licenças passou para “o que é melhor, GPT ou Google”
    A todos os artistas e engenheiros que contribuíram para o conhecimento geral: vocês perderam. Tudo o que fizeram para ajudar outras pessoas agora virou parte do modelo, e não há como voltar atrás. O que aconteceu com aquele ataque de direitos autorais que os artistas supostamente fariam contra as empresas de IA? Parece coisa de 100 anos atrás

    • Há cerca de 10 processos atualmente em andamento nos tribunais contra empresas de IA generativa. Incluem os processos de Sarah Andersen, Kelly McKernan e Karla Ortiz, o processo da Getty Images, o processo da Authors Guild, o processo do New York Times, entre outros
      Não deveria surpreender que processos levem tempo. Até os tribunais organizarem as questões, a OpenAI e similares estão operando em uma zona cinzenta jurídica
    • Contribuir para o conhecimento geral é bom. É melhor do que ser esquecido e não deixar nenhum impacto
    • Será que realmente mudou para isso? As pessoas que estão processando certamente não mudaram. Como o artigo também diz, os contratos mais recentes dos atores incluíram cláusulas de proteção contra IA, e o comunicado da SAG-AFTRA [0] também afirma que a entidade vai pressionar por legislação. Pode ser só bravata e talvez não dê em nada, mas as pessoas não desistiram
      [0]: https://www.sagaftra.org/sag-aftra-statement-regarding-scarlett-johansson-and-openai-chat-gpt-4o-%E2%80%9Csky%E2%80%9D
    • Vendo tanta gente lançar seu software sob licença MIT, que na prática é uma licença de “faça o que quiser, não me importo”, acho que a maioria de nós vai ficar bem
    • Acho essa visão ingênua. Obras derivadas não são algo novo. O que mudou é que o custo de realizar o trabalho caiu muito, em troca de sacrificar qualidade. Imitadores humanos ainda são muito melhores do que IA generativa em muitos casos
      Um artista não é definido por obras passadas ou por uma produção qualquer, mas por sua perspectiva e criatividade. Isso também não é nenhuma descoberta nova. A IA é irrelevante para isso; é apenas um meio para um fim. O verdadeiro problema é jurídico, o resto é exagero
  • Mais alguém acha que esse caso todo foi inflado demais? Eu realmente não entendo a reação negativa que vem do setor de tecnologia sobre isso.
    Sam Altman tentou algo, ScarJo entrou com uma ação, e o ChatGPT retirou a voz. É só isso. O sistema funcionou como deveria funcionar. Mas acho difícil entender dizerem que, por causa disso, ele é uma pessoa horrível. Isso está longe de ser uma situação tipo #MeToo. Ela é uma atriz rica e famosa de Hollywood e vai ficar bem.

    • Não acho que estejam dizendo que ele é uma pessoa horrível só por causa disso. Este caso apenas confirma isso.
    • Quando há uma celebridade envolvida, quase sempre acaba sendo assim.
  • E se tirarmos a IA da equação? A dubladora A, que fez a voz da Sky, deveria ser impedida de fazer qualquer trabalho de voz só porque soa parecida demais com a SJ?
    Digamos que o estúdio que fez o filme Her queira fazer Her 2, mas a SJ recuse fazer a voz. Então eles não poderiam contratar A para fazer a voz? Se o estúdio perguntasse de novo à SJ e ela ainda recusasse, e então fizesse o filme com A, isso seria falta de ética? Quero saber onde as pessoas traçam a linha.

    • A jurisprudência relevante trata de casos em que o réu usou imitação para dar a impressão de que era a pessoa real. Ter uma voz parecida com a da SJ por si só não é um problema, mas o tuíte “Her” e o fato de terem tentado trazê-la para o projeto complicam a questão. Se houver um rastro documental mostrando que escolheram deliberadamente uma voz parecida, isso pode dar problema.
      Atores não participam de filmes sem contratos detalhados, então as regras gerais não necessariamente se aplicam exatamente a essa situação. Os produtores de Her talvez tivessem o direito de usar a imagem da SJ em materiais relacionados. De todo modo, se fizessem uma sequência com uma voz parecida, essa dubladora não seria “A”; seu nome apareceria nos créditos, e não haveria confusão sobre de quem é a voz.
    • Não sei por que deveríamos tirar a IA da equação.
      É muito provável que houvesse um contrato entre o estúdio e Scarlett Johansson definindo o que fazer caso ela não quisesse participar de uma sequência. Não existe esse tipo de contrato entre a OpenAI e Scarlett Johansson.
  • Eles contrataram uma dubladora para a voz da Sky.
    Se a OpenAI perder, essa dubladora não poderá mais trabalhar só porque, por acaso, tem uma voz parecida com a de outra atriz? A dubladora da Sky também pode processar filmes com Johansson, alegando que Johansson copiou a voz dela?

    • Não. É como contratar um escritor para fazer algo que gera responsabilidade por violação de direitos autorais, ou um engenheiro para fazer algo que gera responsabilidade por violação de patente: isso não faz com que esses trabalhadores sejam banidos do setor.
      Violação do direito de publicidade não é simplesmente semelhança de voz.
    • A dubladora não fez nada de errado. A OpenAI pode ter errado se a contratou com a intenção de criar um modelo de voz que pudesse usar a fama de Scarlett no marketing.
    • Você tem certeza de que “eles contrataram uma dubladora para a voz da Sky”? Apostaria que isso jamais vai chegar à fase de discovery?
    • Isso é uma incompreensão escancarada de como funciona o trabalho de dublagem. Bons dubladores são camaleões da voz e conseguem mudar drasticamente a própria voz de um papel para outro.
  • Pode soar como difamação, mas mais alguém sente que Sam Altman está caminhando cada vez mais para um desastre reputacional ridiculamente próximo ao de Sam Bankman-Fried? Vi esse ponto de vista várias vezes também no Twitter/X.

  • Dá uma sensação sinistra de que a cena “não consinto” de Ghost in the Shell está se desenrolando na vida real.
    https://getyarn.io/yarn-clip/e913bd02-2582-4258-819f-2d5a00b1db6d