Pesquisadores da OpenAI enviaram ao conselho uma carta de alerta sobre inovação em IA antes da destituição do CEO

• Pesquisadores da OpenAI enviaram ao conselho, 4 dias antes do caso Sam Altman, uma carta alertando sobre uma descoberta poderosa em inteligência artificial
• O conteúdo da carta não foi confirmado, mas os pesquisadores apontaram as capacidades da IA e seus riscos potenciais

Avanços no projeto Q*

• Internamente, a OpenAI acreditava ter alcançado, no projeto chamado Q*, um avanço em direção à inteligência artificial geral (AGI)
• O Q* despertou grande expectativa entre os pesquisadores ao demonstrar capacidade de resolver problemas de matemática de nível de ensino fundamental
• Diferentemente de uma calculadora, que resolve apenas operações limitadas, a AGI teria capacidade de generalizar, aprender e compreender

SUPERINTELLIGENCE

• A matemática está na linha de frente do avanço da IA generativa; atualmente, a IA é boa em escrita e tradução de idiomas ao prever estatisticamente a próxima palavra
• A capacidade de resolver problemas matemáticos sugere que a IA pode ter habilidades de raciocínio semelhantes à inteligência humana
• Essas capacidades podem ser aplicadas a novas pesquisas científicas

Opinião do GN⁺

• O ponto mais importante desta matéria é que os pesquisadores da OpenAI alertaram o conselho sobre os riscos potenciais da IA e sobre os avanços do projeto Q*.
• Essa descoberta, que parece representar mais um passo em direção à inteligência artificial geral (AGI), pode provocar discussões interessantes sobre o futuro da tecnologia de IA e seu impacto sobre a humanidade.
• Junto com as possibilidades positivas trazidas pelo avanço da IA, este é um tema atraente por também ampliar a percepção sobre os riscos potenciais.

[cosine20]

Mas isso não é meio que uma questão de tempo? Mesmo que a OpenAI, que desenvolveu primeiro, atrase a divulgação ou cancele, parece que em algum momento outras concorrentes ou a comunidade open source vão acabar lançando algo parecido...

[GN⁺]

Opiniões no Hacker News

• Em relação a uma teoria postada no 4chan alguns dias atrás, há a alegação de que, se uma versão for oficialmente declarada como AGI (inteligência artificial geral), ela não poderá ser licenciada para fins de ganho comercial a empresas como a Microsoft. Com isso, argumenta-se que Altman não quer que ela seja chamada de AGI, enquanto outros membros do conselho querem.
• Há menção a uma descoberta de que um novo modelo chamado Q* conseguiu resolver um certo nível de problemas de matemática usando vastos recursos computacionais disponíveis. Esse modelo teve sucesso em resolver problemas de matemática de nível de ensino fundamental, e os pesquisadores estão muito otimistas sobre o sucesso futuro do Q*.
• Há dois comentários mencionados que Sam Altman fez recentemente em relação à descoberta do Q*. Um foi um comentário na APEC em 18 de novembro, e o outro foi uma postagem no Twitter em 22 de setembro. Eles mencionam o avanço da OpenAI e momentos de descoberta.
• Há a opinião de que limitar a riqueza e o poder de indivíduos é uma boa ideia. Já vimos empresas de petróleo destruírem o planeta por lucro, e empresas de tecnologia invadirem a privacidade por lucro, o que levanta a questão do que Sam Altman faria ou deixaria de fazer por lucro.
• Cerca de um mês atrás, Sam Altman deixou um comentário dizendo que a IA poderia produzir resultados muito estranhos antes de ter capacidade de persuasão sobre-humana na inteligência geral. O conselho pode ter se surpreendido com um avanço recente e apertado o botão de emergência, e ter uma capacidade de "persuasão sobre-humana" antes de um ciclo eleitoral poderia gerar consequências enormes se caísse em mãos erradas.
• Um dia a IA fará 50% dos trabalhos, tomará decisões importantes, andaremos em veículos dirigidos por IA, e as pessoas terão relações românticas com IA, mas ainda assim estaremos debatendo se o que foi criado é realmente AGI. A AGI será sempre vista como o próximo passo, e um dia perceberemos que já tínhamos cruzado essa linha anos antes.
• Há conteúdo que ajuda a explicar por que o conselho da OpenAI não confia em Sam Altman e acha que é melhor explodir a empresa do que explorar essa tecnologia.
• Isso se encaixa melhor com o conteúdo sobre a carta relacionada à demissão de Sam Altman pelo conselho, e descobrir por meio de uma carta dos funcionários, sem que uma descoberta importante tivesse sido reportada, poderia ser considerado "falta de franqueza". Além disso, se assumirmos um cenário apocalíptico, fica a pergunta de por quanto tempo esse segredo poderia ser mantido sem cair nas mãos de vilões.
• Há a opinião de que a OpenAI está adotando uma abordagem pioneira em estratégia de marketing. A mensagem seria algo como: "Temos uma AGI poderosa dentro deste armário, e ela é poderosa demais para querermos soltá-la", e com isso dizem que vão manter a segurança enquanto recebem dinheiro das pessoas.
• Um pai conversou com seu filho de 12 anos sobre a parte entediante da matemática, e o filho disse que valor absoluto é muito fácil e chato. Ao ouvir a opinião do filho de que poderia ser mais interessante usando números complexos, o pai percebeu que ele entendia que, no plano complexo, o valor absoluto é a hipotenusa entre a parte real e a imaginária. Esse entendimento não vem simplesmente de ter um grande dicionário de sinônimos, mas da compreensão dos mecanismos básicos. Isso levanta a questão de por qual processo um modelo de linguagem de grande porte poderia chegar a uma conclusão como essa.