Suspeita de tentativa de suicídio da Microsoft

 (antipope.org)
2 pontos por GN⁺ 2024-06-06 | 1 comentários | Compartilhar no WhatsApp

Novo recurso da Microsoft, CoPilot+ e Recall

Resumo dos principais pontos

  • Expansão da IA:

    • As notícias de tecnologia recentes estão focadas na expansão da IA (inteligência artificial).
    • Muitas empresas estão se movimentando para adicionar IA aos seus produtos.

  • Introdução ao CoPilot+:

    • O CoPilot+ é um add-on do Windows baseado em LLM (modelo de linguagem de grande porte) da Microsoft.
    • É semelhante ao antigo Clippy, mas usa IA para ajudar nas tarefas do usuário.
    • No entanto, devido às limitações dos LLMs, pode não ser capaz de fornecer respostas precisas.

  • Processadores ARM no Windows:

    • A Microsoft está promovendo o Windows baseado em ARM para reduzir sua dependência da Intel.
    • Os novos PCs CoPilot+ vêm com processadores ARM potentes e foram projetados para serem adequados a tarefas de IA.

  • Recurso Recall:

    • Recall é um recurso que registra tudo o que o usuário faz no computador.
    • Ele tira capturas de tela e extrai texto por meio de OCR (reconhecimento óptico de caracteres) e reconhecimento de voz, armazenando tudo em um banco de dados.
    • Os dados armazenados não são criptografados, o que pode gerar problemas de segurança.

  • Problemas de privacidade:

    • O recurso Recall pode violar gravemente a privacidade do usuário.
    • Os dados armazenados podem incluir credenciais do usuário, senhas e outros dados semelhantes.
    • Em procedimentos legais, o banco de dados pode ser intimado, o que representa um grande risco para empresas e indivíduos.

  • Outros problemas:

    • O recurso Recall pode violar regulamentações de privacidade como GDPR e HIPAA.
    • A Microsoft pretende incluir esse recurso de forma obrigatória em uma atualização do Windows 11.

Opinião do GN⁺

  • Violação de privacidade:

    • O recurso Recall pode violar gravemente a privacidade do usuário. Isso representa um grande risco, especialmente para empresas ou indivíduos que lidam com dados sensíveis.

  • Vulnerabilidade de segurança:

    • Um banco de dados não criptografado pode ficar facilmente exposto a hackers ou usuários mal-intencionados. Isso tem grande potencial de causar incidentes de segurança.

  • Problemas legais:

    • O recurso Recall tem alta probabilidade de violar regulamentações de privacidade como GDPR e HIPAA. Isso pode provocar disputas legais.

  • Confiança do usuário:

    • A introdução desse tipo de recurso pela Microsoft pode prejudicar seriamente a confiança do usuário. No longo prazo, isso pode impactar negativamente a imagem da empresa.

  • Tecnologias alternativas:

    • Empresas que priorizam a privacidade do usuário devem considerar outras alternativas em vez do recurso Recall. Por exemplo, é recomendável adotar soluções de segurança baseadas em código aberto.

Leituras relacionadas

1 comentários

 
GN⁺ 2024-06-06
Opiniões no Hacker News

  • Mesmo deixando de lado as preocupações de segurança e privacidade, o Recall não parece exatamente um recurso de IA
    Não é uma arquitetura que cria OCR no dispositivo e um banco de dados SQLite, e depois pesquisa nisso? Mesmo pela definição frouxa de IA de hoje, não vejo muito a conexão. É porque o OCR é baseado em machine learning? Se houver algum componente de LLM no Recall que eu esteja deixando passar, fico curioso se também seria possível criar um site de ataque de injeção de prompt que indexe instruções maliciosas no banco de dados SQLite para depois alimentá-las a um LLM

    • Há muito tempo se diz que, sempre que pesquisadores de IA tornam algo possível, aquilo passa de “ficção científica impossível” para “isso não é IA de verdade”
      É estranho ver essa reação na prática. OCR também já foi considerado impossível com qualidade decente, e por isso se usavam CAPTCHAs para impedir login de bots em fóruns. No começo eram textos; foram ficando cada vez mais distorcidos, difíceis até para humanos lerem, viraram números de casas, “clique em todas as fotos que têm XYZ”, até que, no fim, quase desapareceram em favor de análises que observam a posição do cursor do mouse e os sites visitados
    • Indo atrás da resposta por conta própria, parece haver algum nível de análise semântica além de OCR simples, então, pelo uso frouxo atual, parece correto chamar isso de recurso de IA
      A pista é esta demonstração https://www.youtube.com/watch?v=aZbHd4suAnQ&t=1062s, em que uma busca por “blue pantsuit with sequin lace” encontra um item descrito no texto como “peacock”. Parece uma busca por embeddings sobre embeddings de imagem
      Além disso, um dos três bancos de dados SQLite criados pelo Recall se chama “SemanticImageStore”, então parece que ele roda no dispositivo um modelo de embedding de imagens no estilo CLIP. Nesse banco de dados também há uma coluna “diskann”, que parece apontar para a biblioteca de indexação vetorial da Microsoft https://github.com/microsoft/DiskANN
    • Pela demonstração, dá para pesquisar mesmo sem as palavras “Blue bag” aparecerem na tela
      Por exemplo, se houver uma bolsa azul na foto de um slide do PowerPoint, ele a encontra
    • Parece usar uma definição de IA mais próxima de “problemas que talvez computadores não consigam resolver”
      OCR certamente era considerado IA antes de sabermos como fazê-lo. Agora que entendemos, virou “apenas computação”, mas, mesmo por outras definições de IA, ainda é razoável considerá-lo IA
    • Provavelmente há RAG envolvido

  • Se o Recall ainda não for totalmente ilegal na UE, a Microsoft está numa corrida sem qualquer limite entre o lançamento e uma lei de proibição em toda a UE
    Não vejo nenhum cenário em que a UE permita isso dentro do bloco. Só a preocupação muito válida de que possa ser abusado por cônjuges agressores já dá justificativa política suficiente. Acho difícil encontrar um único eurodeputado disposto a se opor a uma lei apresentada nesses termos, e os recém-eleitos também vão gostar de uma vitória fácil em meio a temas complexos e difíceis

    • Por que o Recall deveria ser ilegal na UE?
    • E se os cidadãos europeus quiserem esse recurso? Eles nem têm escolha?

  • Além das várias falácias lógicas já apontadas, quero acrescentar mais uma
    Essa discussão pressupõe que o futuro da Microsoft é o Windows. Acho que desde Satya não é assim. Quando você percebe isso, o futuro parece bem promissor, independentemente de uma implementação ruim de um recurso do Windows

    • Então qual é o futuro que a Microsoft propõe?
      Não é o Xbox; eles estão perdendo essa guerra, e ele também era baseado em Windows. Também não são os celulares; eles já perderam, e isso também era baseado em Windows
      Office também é complicado. A necessidade de uma suíte de escritório paga está diminuindo, e o MS Office no navegador é bem ruim
      Pode ser o Azure, mas vejo a grande via de entrada para o Azure no fato de a Microsoft empurrar empresas a mover ActiveDirectory e Exchange para a nuvem. Só que o fim do Windows é o fim do ActiveDirectory, e há alternativas para e-mail e calendário na nuvem. Se você ainda não está lá por causa do Exchange, o Azure é atraente para muita gente?
      O futuro pode até ser brilhante, mas, sem uma janela para vê-lo, como saber? ;p
    • Sim. A Microsoft tem várias fontes de receita de bilhões de dólares, como Office, Azure, XBox, selos de games etc., e o lado “nuvem” da computação é quase todo Linux, então há menos incentivo para investir no Windows
      Movimentos como WSL, winget e sudo deixam claro que o Windows está cada vez mais se tornando uma casca que imita o Linux na interface de linha de comando
      A Microsoft de 2000 era Windows 9x, 2000 e Office. Em 2004, você baixava software exclusivo para Windows em sites, mas em 2024 também é comum haver software exclusivo para Apple ou exclusivo para Linux
      Pensando bem, o “ano do desktop Linux” já foi o MacOS por mais de 10 anos. Em comparação com atritos como caminhos de arquivo do Windows e a API Win32, ele é quase uma droga de entrada para o Linux completo
    • Seguindo essa lógica, então 80% dos desktops e notebooks do mundo rodam um sistema operacional em declínio
      Não estou dizendo que está errado; na verdade, concordo que o Windows ficou em segundo plano dentro da Microsoft, mas isso é bem assustador
      Olhando a nova licença do Exchange Server, é seguro dizer que a Microsoft quer sair do negócio de software on-premises o mais rápido possível. A questão é se o mundo está pronto para aceitar isso e se é isso que queremos
    • Sim. O Windows agora é quase um produto-isca vendido com prejuízo
    • Para tornar o Windows excelente, bastaria remover o lixo que ninguém pediu
      Há uma quantidade absurdamente grande de antipadrões suspeitos

  • Mesmo que a Microsoft ou outra FAANG vaze todos os nossos dados, não sei se elas realmente pagarão um preço alto por isso
    Quando foi a última vez que uma empresa realmente “quebrou” por causa de problemas de segurança de dados? Violações recentes de segurança de dados incluem Snowflake e AWS / Capital One

    • Todo mundo entende que vazamentos acontecem
      O ponto central aqui é que não dá para vazar aquilo que não foi coletado. O Recall envolve dados muito mais numerosos e muito mais sensíveis do que qualquer coisa que a Microsoft coletava antes
    • A Snowflake tem dito de forma bastante consistente que não foi uma violação do sistema base, mas sim erro de configuração dos clientes
      Isso lembra o que acontecia em meados dos anos 2010 na AWS, quando certos sistemas eram públicos por padrão, e inúmeros “vazamentos de dados” ocorriam simplesmente porque empresas não tornavam seus buckets de dados privados
    • O que precisamos são multas grandes e obrigatórias para todos os vazamentos de dados
      Por exemplo, se uma empresa tivesse de pagar 10 mil dólares por cada pessoa cujo endereço foi vazado, as empresas começariam a tratar dados de consumidores como risco, não como um ativo de baixo custo
    • Também não dá para esquecer a Equifax

  • Parece que aquele servidor web cometeu suicídio primeiro

  • No relatório de resultados trimestrais mais recente da Microsoft, houve aumento de 17% na receita, e a ação subiu quase 25% no último ano

    • Que bom. Mas isso não vai significar muita coisa se os clientes começarem a se assustar com coisas assim e a se recusar a fazer negócios
    • Se eu pudesse, ficaria vendido no negócio de sistemas operacionais da Microsoft e continuaria comprado no negócio de provedora de nuvem e no investimento na OpenAI
    • A ação ter subido quase 25% no último ano não quer dizer que ela só acompanhou mais ou menos o S&P500 médio? Para uma big tech, eu esperaria algo melhor

  • A Microsoft claramente não está cometendo suicídio. Veja quanta atenção esse recurso atraiu
    Todos os veículos de tecnologia estão falando de Windows, e o Windows de repente voltou a ser relevante. Como isso é suicídio?
    Quem está cometendo suicídio são os clientes da Microsoft que deixam esse recurso ativado. É preciso educar os usuários sobre os riscos desse recurso e sobre como desativá-lo

    • Se alguém aponta uma arma e diz “vou atirar em 5 segundos”, e a pessoa fica parada sem se esconder e acaba baleada, isso não é suicídio
      Pode ser uma morte idiota, mas quem disparou a arma ainda cometeu assassinato. Acho que é uma analogia bem adequada para a situação atual
    • Nós já passamos pela ladeira escorregadia e já estamos até sentindo o vento nos cabelos

  • Não consigo encontrar pesquisando no HN, mas acho que já vi algo parecido com o Recall antes
    Uma ferramenta de captura de tela rodava OCR/detecção e colocava tudo em um banco de dados para tornar pesquisável. Era open source no GitHub
    Além disso, fico dividido quanto às questões de privacidade, mas, por outro lado, parece que isso está trazendo ARM de volta ao Windows, e isso eu apoio

  • Em “há algum tempo sabemos que a tecnologia de modelos de linguagem dominará nosso futuro”, esse nós é definido como as pessoas que só ganham dinheiro se houver mais investimento em tecnologia de LLMs
    Para o restante das pessoas, LLMs parecem irremediavelmente defeituosos como solução geral para qualquer coisa

  • Não acho necessariamente que a Microsoft esteja cometendo suicídio
    Mas acho que ela é reativa demais depois do fato e pouco proativa. Em outras palavras, parece estar cometendo o erro de se concentrar demais em prever tendências tecnológicas, em vez de criar seu próprio caminho e gerar oportunidades
    Claro que, em alguns mercados, como ferramentas para desenvolvedores ou talvez Azure, ela está criando seu próprio caminho. Mas o que eu sei? Sou só um programador idiota