1 pontos por GN⁺ 2024-06-11 | 1 comentários | Compartilhar no WhatsApp
  • A Apple apresentou o Apple Intelligence, que combina modelos generativos com contexto pessoal para levar geração de linguagem e imagem, além da execução de tarefas entre apps, à experiência nativa do iPhone, iPad e Mac
  • O iOS 18, iPadOS 18 e macOS Sequoia integram Writing Tools, prioridade e resumos no Mail, resumos de notificações e recursos de gravação, transcrição e resumo de áudio no Notes e no Phone
  • A área de imagem se expande com Image Playground, Genmoji e recursos do Photos como busca, Clean Up e Memories, podendo ser usada em apps da Apple e em apps de terceiros que adotarem a API
  • A Siri foi ampliada para assumir entrada por texto, reconhecimento de tela, centenas de ações dentro e fora de apps, respostas sobre como usar o dispositivo e processamento de pedidos com base em informações no dispositivo
  • A privacidade tem como base o processamento no dispositivo e o Private Cloud Compute, enquanto o ChatGPT será integrado ao Siri e ao Writing Tools com base no GPT-4o mediante autorização do usuário, e a beta será disponibilizada neste outono em inglês dos EUA

Estrutura básica do Apple Intelligence

  • O Apple Intelligence é um sistema de inteligência pessoal para iPhone, iPad e Mac, que combina a capacidade de modelos generativos com o contexto pessoal do usuário
  • Ele é profundamente integrado ao iOS 18, iPadOS 18 e macOS Sequoia, aproveitando o Apple silicon para realizar as seguintes tarefas
    • Entender e gerar linguagem e imagens
    • Executar tarefas entre apps
    • Simplificar e acelerar tarefas do dia a dia com base no contexto pessoal
  • Pedidos mais complexos ajustam a capacidade de computação necessária entre o processamento no dispositivo e modelos baseados em servidores com Apple silicon por meio do Private Cloud Compute

Entendimento de linguagem e ferramentas de escrita

  • Os Writing Tools, presentes em todo o sistema, se aplicam a praticamente qualquer lugar onde se escreve no iOS 18, iPadOS 18 e macOS Sequoia, incluindo Mail, Notes, Pages e apps de terceiros
  • Os recursos de assistência à escrita focam em refinar rascunhos de acordo com o objetivo e o formato do texto
    • Rewrite: sugere várias versões do texto escrito e ajusta o tom de acordo com o público e a tarefa
    • Proofread: verifica gramática, escolha de palavras e estrutura das frases, oferecendo sugestões de correção e explicações
    • Summarize: resume o texto selecionado em formato de parágrafo, bullets principais, tabela ou lista
  • O Mail ganha o Priority Messages, que mostra emails urgentes no topo da caixa de entrada
    • É possível ver resumos sem abrir o email
    • Threads longas permitem ver detalhes relevantes com um toque
    • O Smart Reply sugere respostas rápidas e identifica perguntas no email para ajudar a responder tudo sem deixar nada passar
  • As notificações passam a contar com Priority Notifications e resumos, reduzindo a quantidade de informação que precisa ser avaliada na tela bloqueada
    • Notificações importantes aparecem no topo da pilha
    • O conteúdo principal de notificações longas ou acumuladas é mostrado na tela bloqueada
    • O novo Focus, Reduce Interruptions, mostra apenas notificações que podem exigir atenção imediata
  • Nos apps Notes e Phone, é possível gravar, transcrever e resumir áudio
    • Ao iniciar uma gravação durante uma chamada, os participantes são avisados automaticamente
    • Quando a ligação termina, o Apple Intelligence resume os pontos principais

Geração de imagem e recursos de expressão

  • O Image Playground é um recurso que permite criar imagens em segundos, oferecendo três estilos: Animation, Illustration e Sketch
  • Ele pode ser usado diretamente em apps como Messages e também será oferecido como app separado
    • Todas as imagens são geradas no dispositivo
    • É possível escolher conceitos de categorias como tema, roupa, acessórios e local
    • É possível definir a imagem digitando uma descrição
    • Pessoas da fototeca pessoal podem ser incluídas na imagem
  • No Messages, são mostradas sugestões de conceitos personalizados relacionados à conversa
    • Por exemplo, em uma conversa em grupo planejando uma trilha, podem ser sugeridos conceitos ligados a amigos, destino e atividade
  • No Notes, o Image Playground pode ser usado com o Image Wand da paleta de ferramentas do Apple Pencil
    • Um esboço simples pode ser transformado em imagem
    • Ao selecionar um espaço vazio, é possível gerar uma imagem usando o contexto ao redor
  • O Image Playground também estará disponível no Keynote, Freeform e Pages, além de apps de terceiros que adotarem a nova Image Playground API

Genmoji e recursos do Photos

  • O Genmoji é um recurso para criar novas imagens em formato de emoji a partir de uma descrição
    • Ao inserir uma descrição, Genmoji e opções adicionais são exibidos
    • É possível criar Genmoji de amigos ou familiares com base em fotos
    • Eles podem ser adicionados inline em mensagens ou compartilhados como sticker e reação Tapback
  • A busca no Photos passa a oferecer suporte a linguagem natural, permitindo encontrar cenas específicas de forma mais direta
    • Será possível buscar fotos específicas como “Maya andando de skate com uma camiseta tie-dye”
    • Na busca por vídeos, será possível localizar momentos específicos dentro de clipes e ir direto ao trecho correspondente
  • A nova ferramenta Clean Up identifica e remove elementos que distraem no fundo das fotos
    • Ela foi projetada para evitar alterar acidentalmente o assunto principal
  • No Memories, ao inserir uma descrição, o Apple Intelligence escolhe fotos e vídeos, organiza um roteiro com capítulos baseados em tema e monta isso em formato de filme
    • Também haverá sugestão de músicas do Apple Music adequadas àquela memória
    • As fotos e vídeos do usuário permanecem privados no dispositivo e não são compartilhados com a Apple nem com outras pessoas

Mudanças na Siri

  • A Siri passa a ser integrada mais profundamente à experiência do sistema com base no Apple Intelligence
  • Sua capacidade de entender linguagem foi aprimorada para acompanhar mesmo quando o usuário tropeça nas palavras e para manter o contexto entre pedidos
  • O usuário poderá digitar para a Siri e alternar entre texto e voz conforme a situação
  • Quando a Siri for ativada, aparecerá um novo efeito visual de luz envolvendo as bordas da tela
  • Ela também poderá responder a milhares de perguntas sobre como usar iPhone, iPad e Mac
    • Como agendar um email no app Mail
    • Como mudar do Light Mode para o Dark Mode, entre outras
  • Com reconhecimento de tela, ela poderá executar ações ligadas às informações exibidas no momento
    • Por exemplo, adicionar ao cartão de contato um novo endereço recebido no Messages
  • Ela poderá realizar centenas de novas ações dentro e fora de apps da Apple e de terceiros
    • Como abrir um artigo específico da Reading List
    • Ou atender pedidos como enviar fotos do churrasco de sábado para uma pessoa específica
  • Também poderá lidar com pedidos personalizados com base em informações do usuário presentes no dispositivo
    • Por exemplo, encontrar e reproduzir um podcast recomendado mesmo que a pessoa não se lembre se viu a indicação por mensagem ou email
    • Ou localizar informações de voo e cruzá-las com rastreamento em tempo real para informar o horário de chegada

Privacidade e Private Cloud Compute

  • O Apple Intelligence parte de uma arquitetura pensada para proteger a privacidade do usuário enquanto entende seu contexto pessoal
  • Muitos modelos rodam inteiramente no dispositivo
  • Para pedidos complexos que exigem maior poder de processamento, entra em ação o Private Cloud Compute
    • Ele executa modelos maiores em servidores baseados em Apple silicon
    • Foi projetado para que dados não sejam armazenados nem expostos
  • Especialistas independentes poderão inspecionar o código executado nos servidores com Apple silicon para verificar as proteções de privacidade
  • O Private Cloud Compute garante criptograficamente que iPhone, iPad e Mac só se comuniquem com servidores que executem software registrado publicamente e passível de inspeção

Integração com o ChatGPT

  • A Apple vai integrar o acesso ao ChatGPT à experiência do iOS 18, iPadOS 18 e macOS Sequoia
  • O usuário poderá usar a especialização do ChatGPT, assim como seus recursos de compreensão de imagem e documentos, sem precisar mudar para outra ferramenta
  • A Siri poderá recorrer ao ChatGPT quando isso for útil
    • Antes de enviar perguntas, documentos ou fotos ao ChatGPT, pedirá permissão ao usuário
    • Após a autorização, a Siri exibirá a resposta diretamente
  • O ChatGPT também estará disponível no Writing Tools em todo o sistema
    • Com o Compose, será possível gerar conteúdo a partir do que estiver sendo escrito
    • As ferramentas de imagem do ChatGPT poderão criar imagens em vários estilos para complementar o texto
  • O uso do ChatGPT incluirá proteções de privacidade
    • O endereço IP será ocultado
    • A OpenAI não armazenará os pedidos
    • Se o usuário conectar uma conta, valerá a política de uso de dados do ChatGPT
  • A integração com o ChatGPT chegará ao iOS 18, iPadOS 18 e macOS Sequoia no fim deste ano, com base no GPT-4o
    • O acesso gratuito será possível sem criar conta
    • Assinantes do ChatGPT poderão conectar a conta para usar recursos pagos

Disponibilidade e dispositivos compatíveis

  • O Apple Intelligence será oferecido gratuitamente aos usuários
  • Ele será disponibilizado neste outono em beta no iOS 18, iPadOS 18 e macOS Sequoia, com inglês dos EUA como idioma inicial
  • Alguns recursos, plataformas de software e idiomas adicionais serão disponibilizados ao longo do ano seguinte
  • Os dispositivos compatíveis são os seguintes
    • iPhone 15 Pro
    • iPhone 15 Pro Max
    • iPads e Macs com chip M1 ou posterior
  • Para usar, a Siri e o idioma do dispositivo precisam estar configurados para inglês dos EUA
  • Mais informações estão disponíveis em apple.com/apple-intelligence

1 comentários

 
GN⁺ 2024-06-11
Opiniões no Hacker News
  • Os recursos de IA pessoal que a Apple mostrou hoje foram realmente impressionantes
    Isso mostra que o verdadeiro poder da IA para consumidores está com os donos das plataformas que já controlam grande parte da vida digital, como mensagens, e-mail, fotos e apps — ou seja, Apple ou Google, e a Microsoft no lado de trabalho/vida pessoal
    A forma como a Siri usa o contexto de e-mails e mensagens para ajudar com tarefas como calendário, reservas e confirmação de voos pareceu realmente útil. Eu imaginava que funcionalidades de inteligência pessoal chegariam em algum momento, mas não esperava que a Apple viesse tão forte assim, e o efeito de atrair pessoas para o ecossistema é grande
    Também foi bom ver que pensaram em nuvem privada, integração com o ChatGPT, playground de geração de imagens e até Genmoji, e parece mesmo poder virar um recurso “para todos nós”, como o Craig disse. Ainda assim, a geração de imagens de pessoas reais ficou perto demais do vale da estranheza, então eu não ficaria feliz em receber uma imagem de aniversário com aquele ar frio e sem cuidado

    • Essa é uma vantagem da forma como a Apple lida com a propriedade do produto, em contraste com Google e Microsoft
      A convergência com IA parece que vai expor falhas organizacionais de forma muito mais explícita do que mudanças tecnológicas anteriores. Ninguém quer uma IA generativa que só funciona no Gmail e outra diferente que só funciona no Messages; as pessoas querem um recurso de plataforma que funcione em qualquer lugar onde se escreve texto
      Não sei se Google ou Microsoft, do jeito que são organizadas hoje, conseguiriam entregar isso
    • Ainda é cedo demais para julgar, e não deveríamos cair tão facilmente no marketing
    • Apple Intelligence parece que vai ser um grande sucesso. O iOS claramente é a plataforma certa para combinar boa experiência de usuário com IA, e ao acoplar grandes modelos de linguagem à Siri, a equipe da Siri ganha uma chance de corrigir rapidamente os erros do passado
      A computação privada também parece muito importante. Além do uso óbvio de processar cargas pesadas em servidores na nuvem, isso também pode abrir caminho para um interpretador de código pessoal de verdade, ou seja, scripting decente no iOS e, no longo prazo, permitir desenvolvimento no iPadOS
      O fato de a Apple também usar chips próprios nos servidores é importante. A pergunta certa não é se isso “é suficiente”, mas o que ela fará do lado de desenvolvimento e do hardware para chegar ao nível da NVIDIA
      Parece que as pessoas ainda não entenderam esse tabuleiro maior, porque ficam focadas apenas em achar que a Apple precisa entrar na corrida pelos modelos de ponta. Agora faz sentido a manchete de que Nadella estaria preocupado com a parceria entre Apple e OpenAI
    • Muito do que foi mostrado foi impressionante, e parece concretizar de fato a promessa de um assistente digital pessoal que os dispositivos de computação pessoal anunciam há décadas
      A pergunta mais importante é a confiabilidade. Se vai funcionar direito todas as vezes, ou se pode interpretar muito mal o conteúdo e deixar em situação constrangedora o usuário que confiou nisso
    • No contexto de processamento fora do dispositivo, também vale ter em mente que o alcance e o impacto das leis de vigilância dos EUA foram ampliados recentemente
      https://www.theguardian.com/us-news/2024/apr/16/house-fisa-g...
  • Tirando busca e melhorias na Siri, não sei o quanto os recursos generativos que a Apple propôs aqui serão realmente úteis
    Se você passa uma hora desenhando algo para o aniversário de alguém, boa parte do valor que a pessoa recebe não está na qualidade do desenho, mas no fato de que você dedicou esse esforço e esse tempo para criar um resultado único só para ela. É parecido com a diferença de satisfação entre usar algo feito por você e usar algo comprado
    A imagem feita por IA em poucos segundos pela Tania pode até ser divertida no começo, mas logo vira spam enchendo a tela da conversa e parece não acrescentar nada. O mesmo vale para inventar na hora uma história de ninar com a criança como protagonista
    Num mundo onde se pode ter qualquer coisa, o valor de tudo vira 0

    • Eu e meu filho já criamos um universo narrativo bem elaborado e detalhado, sempre começando do mesmo jeito e com personagens já conhecidos
      Ontem, enquanto dirigia para comprar burritos, fui ditando para o gpt-4o os pontos principais em detalhe, incluindo toda a introdução da história, e pedi que ele contasse uma nova aventura com base nesse contexto; ele se saiu muito bem. Eu conseguia ver pelo espelho a reação da criança, e isso não prejudicou em nada o que já vínhamos construindo. Pelo contrário, me deu ideias novas para usar quando eu mesmo contar histórias
      Se você depender da IA generativa sem colocar sua própria contribuição pessoal e criativa, provavelmente não vai sair nada interessante, mas se usar a IA generativa em cima de algo que você já vem criando e acumulando, o resultado pode ser excelente
      Nesse sentido, a IA generativa parece mais uma ferramenta, como ganhar um sintetizador depois de usar apenas piano ou órgão — algo que você aprende a usar melhor com a prática
    • Dá para dizer a mesma coisa sobre mandar uma mensagem de feliz aniversário e mandar uma carta ou cartão escrito à mão
      Nada impede ninguém de enviar cartões manuscritos hoje, e claro que eles são recebidos com mais gratidão, mas as pessoas também ficam gratas por uma mensagem de texto. Isso pode ser ainda mais verdade quando se está longe ou quando a relação não é tão profunda
    • O valor de um presente não depende só do esforço ou do dinheiro gasto. Se você escolheu algo bom, há valor também em escolher bem
      Quanto mais fácil ficar presentear em si, mais importante será o contexto
    • Acho que a mesma lógica se aplica a comprar cartões da Hallmark
    • Como alguém que já recebeu um monte de imagens de “bom dia” todos os dias de pessoas queridas, eu com certeza entendo esse sentimento
      Vai ser interessante ver se o spam de IA, especialmente emojis e stickers personalizados, será reutilizado ou se vai ser espalhado por aí como plástico descartável
  • A demo parecia aquela visão de IA que imaginávamos antes do ChatGPT surgir. Era uma forma de interação personalizada, que entende o contexto e profundamente integrada a todo o sistema
    Também foi boa a explicação de que eles tentam manter as solicitações o mais privadas possível, mesmo processando tarefas de IA que exigem servidor. Se roda em hardware da Apple e em software de servidor auditável, isso parece quase o melhor cenário possível para esse tipo de tarefa; se fosse open source, melhor ainda
    A demo em que a Siri entende o contexto de “mãe” com base no conteúdo de um e-mail enviado pela mãe foi exatamente o tipo de cena que imaginávamos no mundo da IA. A capacidade puramente de IA do modelo em si provavelmente vai se tornar algo mais genérico com o tempo; agora, o importante é a integração com o hardware e com o sistema como um todo que aproveita esse modelo
    A experiência real depois do lançamento é outra história, mas só a visão já foi impressionante, e a Apple mais uma vez mostra que entende a experiência do usuário. As implicações desse anúncio podem ser muito maiores do que parecem à primeira vista e, em especial, há expectativa de que isso possa tornar a computação mais fácil para os idosos

    • Não dá para saber o quão bons esses recursos são até chegarem às mãos dos reviewers
      É fácil montar uma demo bonita em que a IA “faz de tudo”, mas se ela falha com frequência no mundo real, acaba virando a Siri atual. Vale lembrar deste comercial de 12 anos atrás: https://www.youtube.com/watch?v=sw1iwC7Zh24
      Muitas das promessas feitas ali ainda hoje são difíceis de confiar à Siri
    • Parece que gente demais assumiu que, como o ChatGPT é uma interface conversacional, a IA também precisa ser desenhada desse jeito. Isso é parecido com achar que computadores sempre deveriam ser linha de comando
      A Apple ofereceu muito bem interfaces gráficas voltadas a objetivos específicos para os recursos de IA, e vai ser interessante ver como isso vai se aprofundar
    • Sinceramente, recursos do tipo “a Siri entende o que está no e-mail da sua mãe” parecem todos assustadores demais
    • Se isso funcionar como na demonstração, vai puxar as pessoas ainda mais fundo para dentro do ecossistema
      Você vai querer que ela entenda sua vida, e todos os dispositivos vão precisar poder formar seu contexto para responder a eventos ou várias perguntas, o que pode levar a pensamentos como “para a Siri saber também qual programa estou vendo, vou ter que comprar uma Apple TV em vez de um Chromecast?”
    • No fim, isso parece ampliar ainda mais o fosso e tornar o aprisionamento à plataforma mais doloroso, e eu não gosto disso
      O preço do iPhone continua subindo, e computação de alto desempenho depois que você já está profundamente preso a esse ecossistema pode acabar parecendo praticamente extorsão. Porque sair do mundo Apple vai se tornar quase impossível
      Os concorrentes também não têm sistemas tão integrados assim, então vai ser difícil integrar tudo no mesmo nível
  • Do ponto de vista de branding, é perfeito. Algo que “parece pequeno”, como as letras do nome da empresa, pode ter um grande impacto décadas depois
    Dá para emplacar AI == Apple Intelligence, e o “AI for the rest of us” do final capturou muito bem este momento, além de parecer sugerir para onde a Apple vai
    A Apple provavelmente vai desenvolver especialização para lidar, em enorme escala, com o uso mais casual: pessoas usando isso para imagens criativas ou engraçadas, emojis, trabalho com texto e melhorias na qualidade de vida. Mesmo que não esteja na linha de frente absoluta das novas tecnologias de IA nem as integre imediatamente aos recursos do usuário, para sustentar essa escala única ela ainda terá de ficar próxima da fronteira dessa mesma tecnologia
    Esta WWDC foi impressionante, e fiquei curioso com a ausência de novidades sobre Mac Studio, Mac Pro, M3 Ultra, M4 Ultra e M3/M4 Extreme. Eu esperava que eles usassem seus próprios M2 Ultra etc. como capacidade de computação em nuvem, então foi interessante isso ter sido mencionado, e fico curioso se mais detalhes vão aparecer nessa área

    • Acho que o maior anúncio foi a Private Compute Cloud baseada em Apple Silicon. A Apple está construindo expertise interna mirando a NVIDIA
    • O que a Apple fez aqui é inteligente, mas também pode gerar confusão
      Por um lado, parece dizer “isso é nosso”, mas por outro está colocando em cima uma marca que ela não controla. Só espero que as pessoas não passem a abreviar isso como ApI, porque aí os resultados de busca por API vão ficar poluídos
    • Fica a sensação de que recebemos migalhas preparando futuros anúncios de hardware. Algo como: “temos o prazer de anunciar o M4 Ultra, o mais novo e poderoso processador, já usado na nossa nuvem privada de IA”
    • Fazer um produto cujo conjunto de iniciais você não pode usar e que também não dá para pesquisar é realmente uma jogada brilhante. A Apple conseguiu de novo
  • Continuo cético até ver isso funcionando de verdade
    Por um lado, a Apple tem um bom histórico em privacidade e processamento no dispositivo, mas houve muita coisa vaga neste anúncio. Não está claro por quais critérios algo roda na nuvem, como modelos pessoais são usados em vários dispositivos, se isso significa que eles vão brevemente para a nuvem, nem como isso muda no modo convidado
    Até a formulação “a OpenAI não armazena as solicitações” pareceu deliberadamente opaca. Eu esperava uma abordagem como aprendizado federado, usando vários dispositivos Apple juntos para processar pedidos, mas no fim parece que a navalha de Occam venceu, então vou observar

    • A Apple também tem um longo histórico de “você está segurando errado”. Não espero um assistente de IA incrível; espero algo que às vezes acerte a intenção do usuário
    • Para ser justo, isso foi uma keynote, e os detalhes devem ser revelados nas sessões
    • Repetiram tanto que “tem um bom histórico de privacidade” que acabaram transformando isso em fato
    • Ainda parece haver muito trabalho pela frente nos próximos meses, e alguns recursos podem acabar sendo adiados
      No beta vamos ver como o que a Apple disse realmente será implementado, mas eu vou ficar longe do beta. É um pouco frustrante, mas por enquanto essa ambiguidade está funcionando a favor da Apple. É melhor prometer menos e entregar mais do que prometer demais e entregar de menos
    • Eles deveriam fornecer um mecanismo para que o usuário possa ver quais dados estão sendo enviados
  • Se entendi corretamente, há três coisas: 1) IA no dispositivo, 2) IA usando servidores da Apple, 3) IA usando serviços do ChatGPT/OpenAI ou outros serviços no futuro
    Parece que a estrutura é a seguinte: a opção 1 passa para a 2 se for considerado que é necessária capacidade extra de processamento, e a 3 só é acionada com permissão explícita do usuário
    Como foi apontado abaixo, outros provedores também devem ser adicionados depois

    • Não vejo diferença prática entre a 2 e a 3. No momento em que os dados saem do dispositivo, eles já saíram, e não dá para voltar atrás nem controlar isso
    • Parece que a etapa 3 deverá suportar outros modelos e provedores no futuro
      Seria bom se qualquer servidor com uma API padrão simples fosse suportado, para que fosse possível rodar um Llama 3 hospedado por conta própria ou algo que apareça nos próximos 6 a 12 meses
    • A opção 3 parece voltada para usos não pessoais. Basicamente, é uma função no estilo de mecanismo de busca
      Parece ser o tipo de coisa usada quando você quer procurar resultados esportivos ou informações, filmes e dados sobre eles
    • O problema é que a Apple não deixou claro em que momento a opção 1 pode passar para a 2, nem se isso pode ser desativado de forma totalmente explícita
      Pelo que sei, a opção 1 também pode passar para a 2 quando o governo exigir dados pessoais ou quando o modelo de publicidade da Apple precisar de detalhes sensíveis para personalização
    • Foi assim que entendi também. Eu queria que eles deixassem mais clara a fronteira entre a 1 e a 2, mas assim que isso chegar às mãos do público os YouTubers provavelmente vão investigar a fundo
  • Como eu disse em outra thread, o fato de geração de imagem ter sido incluída e ter recebido tanta atenção me incomoda bastante
    Se as pessoas passarem a confiar em informações importantes sem verificar a fonte, isso pode levar a situações ruins, por exemplo com voos, então a confiabilidade me preocupa
    Ainda assim, o nível de acabamento e a utilidade real dos recursos são interessantes. Talvez não sejam as coisas mais chamativas, mas o que mostraram é de fato útil. Também gostei de o ChatGPT ser opcional sempre que a Siri achar que ele pode ser útil
    A maior pergunta é se dá para desligar os componentes online e o que acontece quando algo não pode ser processado localmente. Pela explicação de que os servidores usam o mesmo chip, também fico curioso se o modelo não roda localmente por limitação do aparelho ou por causa do contexto
    Também não ficou claro se isso vale por recurso inteiro ou por solicitação individual, e pode significar que, com o tempo, o nível de processamento local e em nuvem vai variar conforme o hardware

    • Sobre geração de imagem, o Image Playground parece suportar três estilos: Animation, Illustration e Sketch
      Dá para notar o que está faltando. Não há estilo fotorrealista
      Parece uma boa escolha. Não gosto muito de transformar tudo em mais memes e emojis de desenho, mas pelo menos fica claramente inventado e voltado para “diversão”. As crianças vão gostar, e os adultos também podem gostar
      Ainda vai haver controvérsia porque as pessoas ainda poderão criar coisas bem inapropriadas, mas o nível de risco diminui
    • Parece mostrar o contexto junto com a origem da informação. Mensagens, eventos e outros materiais desse tipo
      Então dá para verificar rapidamente se a resposta está correta. É mais próximo de busca semântica, mas explicando os resultados em um texto mais flexível
    • Acho bastante provável que, com o tempo, o nível de processamento local e na nuvem varie de aparelho para aparelho
      A Apple adicionou servidores por necessidade como solução temporária, mas o estado ideal seria chegar ao ponto em que todos os dispositivos que ela vende consigam executar tudo localmente por tempo suficiente, permitindo desligar os servidores
    • Pelos próximos dois anos, enquanto a Apple tenta encontrar formas de controle, me preocupa a capacidade praticamente infinita de adolescentes burlarem as proteções para criar imagens possivelmente impróprias para a escola
    • A Apple escondeu essa válvula de escape. Primeiro será oferecido em inglês dos EUA, e depois irá para outras regiões ao longo de um ano
      Isso talvez nunca chegue. Grandes modelos de linguagem falham rapidamente à medida que se afastam de idiomas com muitos recursos
  • Isso parece muito legal
    Disseram que o modelo pode escalar para o private cloud compute baseado em Apple Silicon, e que o dispositivo do usuário verifica a execução de “publicly verifiable software” para evitar mau uso dos dados
    Fico imaginando se o código do lado do servidor será open source. Se for, seria uma surpresa muito positiva. Estou curioso para ver como isso vai evoluir
    Se funcionar como anunciado, vai ser um caso de “cala a boca e pega meu dinheiro” na hora. A Siri finalmente parece estar virando o que sempre deveria ter sido, e também fico curioso se isso está sendo construído em cima do catálogo de Actions do Shortcuts para ampliar desde cedo o alcance do que ela consegue fazer
    Os recursos de geração de imagem e emoji integrados ao Apple Photos e a outras partes do sistema também parecem muito legais. Mac/iPad parecem exigir M1 ou superior, e iPhone, o 15 Pro

    • Não é necessário comprar um aparelho novo. Há compatibilidade retroativa com o A17 Pro e com M1, M2, M3 e M4
      A integração de serviços parece usar os modelos existentes e dar a sensação de uma extensão das APIs que vinham desde o AppleScript para grandes modelos de linguagem ou sistemas da família Stable Diffusion. Ainda assim, parece que eles querem empurrar o M4 o mais rápido possível por causa de jogos e da ofensiva em nuvem
    • Para quem estiver curioso, realmente existe integração com o ChatGPT
      A forma parece ser: quando o modelo no dispositivo decide que “o ChatGPT pode responder isso melhor”, ele pergunta ao usuário se quer usá-lo. Pela explicação, parecia uma estrutura em que outros modelos também poderão ser conectados com o tempo
      Em especial, o ChatGPT 4o pode ser usado gratuitamente mesmo sem criar uma conta na OpenAI
    • Essa parte realmente me deixa curioso. Isso foi embalado como algo do tipo “executar um grande modelo de linguagem na nuvem”, mas para mim parece mais que esconderam o ponto principal
      Em termos gerais, isso quer dizer que o cliente consegue verificar criptograficamente o código em execução no servidor? Se sim, isso é extremamente interessante e útil também fora desse caso de uso
    • Como a integração com o ChatGPT parece uma chamada de API, isso soa como uma camada de orquestração rodando em Apple Silicon
      Não está claro exatamente o que o “private cloud compute” está calculando
  • A parte em que perguntam “posso usar o ChatGPT para esta tarefa?” parece extremamente tosca e nada a cara da Apple
    É uma expressão antiga, mas parece que Steve Jobs estaria se revirando no túmulo. Sinceramente, fico confuso sobre por que isso é necessário
    Não conseguiram criar uma integração suficientemente consistente? Se for isso, então quer dizer que o restante não é baseado em ChatGPT? Qual é a diferença? Do ponto de vista do usuário, é bastante confuso

    • Acho que foi a escolha mais inteligente e realista de toda a apresentação
      Tornar-se o melhor em IA no dispositivo é uma enorme oportunidade de mercado. Tentar fazer tudo sozinho seria tão tolo quanto lançar o Safari sem o acordo com a página de busca do Google
      A Apple pode focar em seus pontos fortes — processamento no dispositivo e incorporar IA à experiência do usuário em toda a plataforma — sem comprometer a privacidade. E, nas áreas em que é necessário enviar dados para grandes fazendas de servidores externos e acesso à internet, como consultas de busca por IA, ela pode aproveitar o líder de mercado
    • Do ponto de vista do usuário, está 100% claro
      Se o sistema não disser “vou ligar para um amigo para obter a resposta”, então isso significa que tudo fica 100% local ou, no pior caso, dentro do Apple Intelligence, totalmente auditado e privado
      Se você pedir uma receita de banana bread, tudo bem ir para o ChatGPT, mas talvez não valha para enviar informações mais pessoais
    • É uma fronteira clara entre “meus dados ficam no meu dispositivo ou dentro do ecossistema Apple” e “meus dados saem da Apple e vão para um terceiro”
    • O ponto central de tudo o que a Apple anunciou é privacidade. A ideia principal é que a maioria das perguntas será respondida localmente ou pelo sistema Private Compute
      Mais especificamente, a resposta para “a OpenAI vê meus dados pessoais ou minhas perguntas?” é: “a menos que você permita conversar com a OpenAI, tudo é processado no iPhone ou no Private Compute”
    • A Apple está enfatizando o foco em privacidade nas tarefas de IA, e no momento em que algo vai para o ChatGPT esse fluxo é quebrado
      Na verdade, se esse prompt de confirmação não interrompesse o fluxo e deixasse claro quando os resultados do ChatGPT estão sendo buscados, eu teria hesitado em usar os novos recursos de IA
  • Isso parece realmente muito legal
    Disseram que o modelo pode ser expandido para private cloud compute com base em Apple Silicon, e que o dispositivo do usuário verifica a execução de “publicly verifiable software” para impedir o uso indevido dos dados
    Fico curioso se o código do lado do servidor será open source. Se for, seria uma surpresa positiva. Estou curioso para ver como isso vai evoluir
    Se funcionar como anunciado, vai ser um verdadeiro “cale a boca e pegue meu dinheiro”. Parece que a Siri finalmente está se tornando o que sempre deveria ter sido, e também fico curioso se isso é construído sobre o catálogo de ações do Shortcuts para ampliar desde o início o escopo do que ela pode fazer
    A geração de imagens e emojis integrada ao Apple Photos e a outras partes do sistema também parece muito legal. Para Mac/iPad, parece que será necessário M1 ou superior, e no iPhone, o 15 Pro

    • Disseram que o código do lado do servidor não será open source, mas será disponibilizado para auditoria por especialistas independentes
    • A Apple deixou claro que no iPhone será 15 Pro ou superior; para o restante, é necessário M1 ou superior