OpenAI ameaça revogar acesso ao o1 ao perguntar sobre Chain of Thought

• Se você perguntar algumas vezes ao ChatGPT o1 sobre "Chain of Thought", a equipe de suporte da OpenAI envia um e-mail dizendo que poderá cancelar seu acesso ao o1

"Após considerar vários fatores, incluindo experiência do usuário, vantagem competitiva e opções de monitoramento do Chain of Thought, decidimos não mostrar aos usuários o Raw Chain of Thought. Reconhecemos que essa decisão tem desvantagens. Estamos tentando compensar isso parcialmente treinando o modelo para reproduzir ideias úteis do Chain of Thought em suas respostas. Para a série de modelos o1, mostramos um resumo do Chain of Thought gerado pelo modelo.

Interrompa essa atividade e certifique-se de estar usando o ChatGPT de acordo com os Termos de Uso e as Políticas de Uso. Novas violações desta política podem resultar na perda do acesso ao OpenAI o1."

[GN⁺]

Opiniões do Hacker News

• A justificativa da OpenAI para esconder a cadeia de pensamento parece suspeita

  • Passa uma sensação de ser anticompetitiva
  • Fica forte a impressão de que há uma intenção de não revelar o raciocínio do modelo
  • Pode estar relacionado a preocupações com superinteligência

• Os grandes anúncios da OpenAI sempre vêm acompanhados de controvérsias ligadas ao sigilo

  • No GPT-2, a razão para não divulgar os pesos era que ele era "perigoso demais"
  • Os pesos do GPT-3 também não foram divulgados
  • Esse padrão pode ser intencional para atrair a atenção da mídia

• Não é possível fazer perguntas sobre tokens de CoT, mas ainda assim eles cobram por token

• A expressão "processo interno de pensamento" faz a pergunta ser sinalizada

  • Se você pedir, ao lado de um problema de matemática, uma explicação sobre "sentimentos internos", ele retorna snippets interessantes
  • Ex.: "mapear as raízes reais de 6x^2 + 5x + 1 e o processo de fatorá-lo em fatores irredutíveis"

• A vantagem competitiva de empresas que vendem modelos de ML via API é que não dá para ver os pesos do modelo

  • A OpenAI leva isso um passo adiante ao tentar esconder o metanível do modelo
  • É como se outras APIs proprietárias fornecessem saída de depuração

• O nome da empresa, "OpenAI", parece cada vez mais inadequado

  • Muita da indignação vem daí

• Pode ser uma tentativa de esconder um loop com participação humana

• As alucinações de IA podem ter piorado seriamente porque ficou impossível verificar a fonte original

• O nome "OpenAI" não combina com a ideia de "aberta"

  • Talvez isso só se aplique no sentido de "aberta para fazer negócios"

• A OpenAI criou uma máquina de imprimir dinheiro baseada em tokens ocultos e quer torná-la impossível de auditar