- Empresa com o objetivo de criar a "Safe Superintelligence (Superinteligência Segura)", um produto de sistema de IA seguro e poderoso
- Busca resolver o problema considerando segurança e desempenho ao mesmo tempo, por meio de engenharia inovadora e avanços científicos
- Planeja melhorar o desempenho o mais rápido possível, garantindo que a segurança seja sempre a prioridade
- Foco exclusivo na SSI, protegendo a empresa de sobrecarga de gestão, ciclos de produto e pressões comerciais
- Cofundadores
- Ilya Sutskever: cofundador da OpenAI e ex-cientista-chefe
- Daniel Gross: cofundador do Cue, mecanismo de busca adquirido pela Apple. Após a aquisição, atuou na Apple com IA/busca.
- Investiu em diversos startups principalmente junto com Nat Friedman, ex-CEO do GitHub: Instacart, Coinbase, Airtable, Figma, Notion...
- Daniel Levy: ex-líder da equipe de Optimization da OpenAI
1 comentários
Comentários do Hacker News
Fico feliz que Ilya possa contribuir para o avanço da IA. Mas fico me perguntando como ele vai oferecer uma remuneração alta, como fazem empresas comercialmente mais vantajosas. Talvez consiga encontrar pessoas motivadas por ideologia ou que já sejam financeiramente independentes. Também será difícil garantir recursos computacionais suficientes quando outras empresas estão investindo bilhões para construir enormes data centers de GPUs.
Entendo a preocupação de que a "superinteligência" possa ameaçar os humanos. Mas minha preocupação maior é uma situação em que a "superinteligência" não escape e sim seja controlada por humanos específicos. Basta olhar para o que humanos com grande poder fizeram historicamente. A corrida armamentista nuclear na Guerra Fria é um bom exemplo.
Concordo com a observação de que incentivos de negócios levam à criação de IA insegura. Os algoritmos de recomendação das redes sociais já são muito perigosos para a sociedade e especialmente para os jovens. Quando existem externalidades negativas, o governo precisa criar regulações adequadas.
O problema de Ilya não é desenvolver uma IA segura, e sim desenvolver um negócio seguro. Hoje podemos criar uma IA segura, mas não sabemos como o próximo gestor vai lidar com isso. Se resolvermos o problema de negócios seguros, poderemos eliminar muitos danos sociais.
Se a superinteligência puder ser alcançada, sou pessimista quanto à segurança. Fazer sandbox de uma inteligência superior à sua parece impossível. A superinteligência pode imaginar novos vetores de ataque. Como no filme "Transcendence", ela poderia fazer coisas quase mágicas por meio de novas descobertas na física.
A previsão é que o modelo de negócios seja um protocolo externo semelhante ao SSL. Em uma situação com várias abordagens diferentes, sem protocolos e padrões definidos, é improvável que a "segurança" seja implementada na camada de produto. Ilya parece ser alguém com a credibilidade e a capacidade técnica para executar isso.
Parece que Ilya conseguiria levantar financiamento praticamente ilimitado só com seu nome. Não concordo com a direção de "sem produto até dar certo". O feedback do mundo real será importante para desenvolver a superinteligência. Mas concordo que a superinteligência é algo alcançável.
Seria preciso explicar como "foco único" elimina o ciclo de produto ou a sobrecarga de gestão.
Fico me perguntando se uma superinteligência segura conseguiria competir com uma superinteligência sem restrições. Se outra empresa perseguir o mesmo objetivo sem gastar tempo com segurança, duvido que haja competitividade.
Vi uma entrevista em que Yann LeCun descarta a ideia de usar LLMs para construir uma inteligência "verdadeira". Ele recomenda a seus doutorandos pesquisarem a próxima tecnologia, e não esta. Fico me perguntando como isso pode ser conciliado com o que Ilya está fazendo agora. Também me pergunto se Ilya pretende usar outra tecnologia.