4 pontos por GN⁺ 2024-01-25 | 1 comentários | Compartilhar no WhatsApp
  • A OpenAI prometeu desde a fundação divulgar documentos de governança, mas recentemente recusou-se a fornecê-los quando a WIRED os solicitou
  • A OpenAI foi criada para permitir que a sociedade e o público participassem do desenvolvimento de uma IA poderosa, mas agora adotou uma nova política de não divulgar documentos internos
  • A retirada do compromisso de transparência da OpenAI dificulta entender fragilidades da empresa e a crise recente de uma companhia com influência importante sobre o futuro da IA

Crise e governança da OpenAI

  • O conselho da OpenAI demitiu o CEO Sam Altman, mas, após a reação de funcionários e investidores, Altman retornou e a maior parte dos membros do conselho foi substituída
  • A mistura entre os investimentos pessoais de Altman e suas funções no cargo pode ter sido parte da causa da desconfiança do conselho
  • A divulgação dos documentos de governança da OpenAI poderia esclarecer que autoridade o conselho tem sobre Altman e suas atividades externas

Estrutura corporativa da OpenAI e a Microsoft

  • O estatuto fundador da OpenAI apresenta como uma parte do conselho pôde assumir o controle e destituir Altman
  • O CEO da Microsoft, Satya Nadella, disse publicamente ter ficado surpreso com a demissão de Altman
  • A OpenAI pode ter alterado documentos de governança para estabilizar a estrutura do conselho e tranquilizar patrocinadores como a Microsoft

Redução da transparência na OpenAI

  • No passado, a OpenAI divulgava informações detalhadas sobre invenções em IA, mas recentemente passou a proteger detalhes técnicos e dados de ferramentas como o ChatGPT
  • A transparência diminuiu desde que, em 2019, foi criada uma subsidiária com fins lucrativos para realizar a maior parte do desenvolvimento de IA antes conduzido pelo braço sem fins lucrativos
  • A organização sem fins lucrativos da OpenAI continua, em última instância, controlando as atividades e a tecnologia da OpenAI

Organização sem fins lucrativos da OpenAI e relatórios ao IRS

  • Organizações sem fins lucrativos nos EUA divulgam relatórios anuais ao IRS e devem informar se documentos adicionais podem ser disponibilizados ao público
  • Até 2022, a OpenAI afirmava em seus relatórios anuais ao IRS que forneceria arquivos adicionais "mediante solicitação", mas na prática não os disponibilizou
  • É raro que organizações sem fins lucrativos divulguem documentos internos, e obtê-los é difícil

Situação financeira da OpenAI

  • As demonstrações financeiras divulgadas pela OpenAI excluem os resultados da divisão com fins lucrativos e, em 2022, reportaram receita de US$ 44.000 e despesas de US$ 1,3 milhão
  • A OpenAI como um todo gerou centenas de milhões de dólares em receita, mas isso não é divulgado
  • O braço sem fins lucrativos da OpenAI recebe pouco apoio direto do público, o que reduz o incentivo para aumentar a transparência

Opinião do GN⁺

  • A retirada do compromisso de transparência da OpenAI dificulta compreender o funcionamento de uma empresa com influência crucial sobre o futuro da tecnologia de IA
  • Essa mudança pode reduzir a participação e a confiança do público em pesquisa e desenvolvimento de IA
  • A mudança de política da OpenAI é um caso importante que pode estimular discussões sobre transparência e operação ética na indústria de IA

1 comentários

 
GN⁺ 2024-01-25
Opiniões no Hacker News
  • É decepcionante, mas não surpreendente. Vamos tentar tirar uma lição disso.

    • No setor de IA, é popular defender altruísmo e abertura, e OpenAI, Anthropic e a nova xAI de Musk têm estruturas de governança incomuns em nome do interesse público. O problema é que, quando começa a parecer que alguma dessas empresas pode receber atenção suficiente para gerar lucros de dezenas de bilhões de dólares, a situação muda.
    • Esse problema não se limita às empresas de IA, nem é algo novo. Isso faz parte da natureza humana e sempre vai existir.
    • Precisamos dar mais ênfase e atenção a modelos de IA verdadeiramente abertos (dados de treinamento abertos, código-fonte e hiperparâmetros de treinamento, código-fonte do modelo, pesos), para que os benefícios da IA cheguem ao público, e não a um pequeno número de empresas.
  • Sabemos que a OpenAI não compartilha nada desde o lançamento do ChatGPT e recebeu investimentos de bilhões de dólares, então não há motivo para se surpreender com o fato de a OpenAI ser fechada.

  • A OpenAI quebrou todas as promessas que fez.

  • Como o conselho deixou isso acontecer?

    • Pensando mais seriamente, isso parece um resultado óbvio, mas também um pouco sinistro.
    • É verdade que a OpenAI precisa de muito dinheiro e capital, e também é verdade que isso exige captação de recursos e parcerias.
    • Mas a única razão pela qual eles puderam existir em primeiro lugar foi porque se posicionaram como uma empresa "aberta", quase como um bem público, e receberam doações com base nisso.
  • Com base em tudo o que temos ouvido sobre os possíveis usos nocivos dessa tecnologia para a sociedade, fico me perguntando se essa situação é séria a ponto de exigir algum tipo de investigação para entender o que está acontecendo.

    • A situação é séria o bastante para que não possamos simplesmente deixar esse tipo de trabalho ser privatizado.
    • Não há por que dar atenção à alegação de que "isso é normal". Isso é apenas uma tentativa de fazer as pessoas normalizarem esse tipo de comportamento.
    • Alguém sabe se existe algum centro de segurança em IA que atue em prol do interesse público e se esse problema está no radar deles?
  • Não quero defender o Musk, mas se eu estivesse no lugar dele, acho que ficaria um pouco irritado com o fato de o artigo começar com "empreendedores ricos de tecnologia prometeram transparência, mas agora não prometem mais", e só levar 8 parágrafos para apontar que o único fundador mencionado foi expulso anos atrás e agora é um concorrente que chama isso de "IA ultra closed-source para maximizar lucros".

    • A imprensa é viciada em culpabilização, e toda nuance entre a acusação e a manchete vai parar no fim do artigo, escondida atrás do paywall. Talvez daqui a alguns anos essa tática também seja usada contra o Altman.
    • A situação ficou tão ruim que, quando leio uma manchete insinuando hipocrisia, acabo tendendo a acreditar mais no contrário, o que é uma deformação mental tão terrível quanto simplesmente presumir que a manchete está correta!
  • Desde o início desta organização, deveria haver regras para impedir que isso acontecesse. O desenrolar dos fatos mostra que o modelo de governança deles não é eficaz.

  • Falta pouco para mudarem o nome da empresa para "Microsoft AI".

  • Em vez de tratar a OpenAI como uma empresa sem fins lucrativos de interesse público, o melhor é vê-la como qualquer outra empresa privada de tecnologia.