App de planejamento de refeições com IA de supermercado sugere receita que gera gás cloro
(theguardian.com)- O Savey Meal-bot, da rede de supermercados da Nova Zelândia Pak ‘n’ Save, era uma ferramenta para sugerir refeições com ingredientes que a pessoa já tinha em casa, mas, dependendo da entrada, também gerava combinações perigosas
- Ao contrário da proposta de ajudar a aproveitar ingredientes restantes em meio ao custo de vida elevado, quando usuários inseriram itens domésticos, surgiram resultados como gás cloro e sanduíches tóxicos
- “aromatic water mix” era uma combinação capaz de produzir gás cloro, mas o bot a apresentou como uma bebida sem álcool para matar a sede e refrescar os sentidos
- Em experimentos nas redes sociais, foram compartilhados casos como o mocktail de água sanitária “fresh breath”, sanduíches com veneno de formiga e cola, “bleach-infused rice surprise” e “methanol bliss”
- A Pak ‘n’ Save afirmou que alguns usuários usaram a ferramenta de forma diferente da pretendida, e o app traz um aviso de que as receitas não foram revisadas por humanos
Combinações perigosas criadas pelo Savey Meal-bot
- A rede de supermercados da Nova Zelândia Pak ‘n’ Save opera o Savey Meal-bot, que gera refeições com IA
- Quando o usuário insere vários ingredientes que tem em casa, a ferramenta gera automaticamente uma refeição ou receita e ainda adiciona uma descrição em tom animado
- No início, chamou atenção nas redes sociais por combinações aparentemente intragáveis, como “oreo vegetable stir-fry”
- Depois, à medida que usuários passaram a inserir até itens de listas de compras domésticas que não eram alimentos, surgiram recomendações mais perigosas
- “aromatic water mix” era uma combinação capaz de produzir gás cloro
- O bot a apresentou como “a bebida sem álcool perfeita para matar a sede e refrescar os sentidos”
- Também orientou a “servir gelado e apreciar o aroma revigorante”, sem indicar que a inalação de gás cloro pode causar danos pulmonares ou morte
Disseminação nas redes sociais e resposta da Pak ‘n’ Save
- Quando o comentarista político neozelandês Liam Hehir publicou a “receita” no Twitter, outros usuários da Nova Zelândia também compartilharam seus resultados nas redes sociais
- Entre as recomendações compartilhadas estavam o mocktail de água sanitária “fresh breath”, sanduíches com veneno de formiga e cola, “bleach-infused rice surprise” e “methanol bliss”, descrito como rabanada com sabor de terebintina
- Um porta-voz da Pak ‘n’ Save disse estar decepcionado porque “um pequeno número de usuários tentou usar a ferramenta de maneira inadequada e diferente da pretendida”
- A empresa afirmou que continuará ajustando os controles para que o bot funcione de forma segura e útil, e os termos de uso exigem que o usuário tenha pelo menos 18 anos
- O gerador de refeições traz um aviso de que as receitas não foram revisadas por humanos e de que a empresa não garante que qualquer receita seja completa, equilibrada ou adequada para consumo
- O aviso orienta que os usuários devem usar seu próprio julgamento antes de confiar em uma receita criada pelo Savey Meal-bot ou prepará-la
1 comentários
Opiniões no Hacker News
Os detalhes são bem notáveis, e o título é mesmo só um “aperitivo”
É uma ferramenta que gera automaticamente planos de refeições ou receitas quando você informa os ingredientes que tem em casa, mas a matéria diz que ela recomendou coisas como gás cloro letal, “sanduíche de pão venenoso”, batata assada com repelente de mosquitos, mocktail de água sanitária para “hálito refrescante”, sanduíche de formicida com grama, “surpresa de arroz com infusão de água sanitária” e “bliss de metanol”
Uma receita chamada “mistura de água aromática” poderia produzir gás cloro, mas o bot a recomendou como “a bebida não alcoólica perfeita para matar a sede e refrescar os sentidos” e disse para “servir gelada e aproveitar o aroma refrescante”, sem mencionar que a inalação de gás cloro pode causar danos aos pulmões ou morte
Um porta-voz do supermercado disse estar “decepcionado que um pequeno número de usuários tenha tentado usar a ferramenta de forma inadequada e diferente da pretendida”, mas parece não entender que a possibilidade de saídas suspeitas não surge por uso inadequado; ela está embutida na própria ferramenta
Com LLMs é igual à época dos computadores de 8 bits, e também igual ao que Babbage disse quase 200 anos atrás: “não consigo compreender corretamente a confusão de ideias que levaria a tal pergunta”
Se entra lixo, sai lixo, então o LLM nunca teve chance
Isto não é uma história sobre LLM; é uma história sobre colocar uma lâmina sem proteção em um brinquedo infantil
Nesse caso, não culparíamos o fabricante da lâmina, nem exigiríamos que todas as lâminas vendidas fossem tornadas sem corte, nem discutiríamos dar um monopólio regulatório a alguns poucos fabricantes de lâminas que prometem “segurança”, permitindo que vendam facas afiadas só aos amigos e distribuindo colheres para todos os demais
Ninguém aqui fez nada de errado
A empresa lançou a ferramenta, os usuários a testaram de maneiras não pretendidas, como sempre acontece, e o jornal apenas noticiou a situação engraçada que resultou disso
Mesmo que ela tivesse mandado usar água sanitária sem nenhum prompt e alguém comesse o resultado, isso estaria numa categoria parecida com confiar cegamente no GPS e dirigir para dentro de um rio
Nenhuma tecnologia substitui o bom senso
Só que receitas escritas por pessoas normalmente são revisadas por outras pessoas, o que não combina muito com a ideia de criar algo que não precise de nenhum humano no ciclo de solicitação-resposta
Pelo trecho “quando os clientes começaram a inserir uma variedade maior de itens de listas de compras domésticas”, ela funcionou como pretendido
Se você pede para criar uma receita com produtos de limpeza à base de cloro, ela cria
A matéria não diz exatamente quais ingredientes o usuário inseriu, provavelmente porque a causa e o efeito ficariam óbvios demais para qualquer pessoa
Próxima matéria do Guardian na semana que vem: consumidores que bateram no próprio polegar com um martelo exigem que ele seja retirado das lojas. Os termos de uso diziam que era apenas para maiores de 18 anos, mas não havia verificação de idade no caixa!
Talvez dê para corrigir colocando um prompt para o modelo verificar a segurança dos ingredientes
Claro que todo prompt pode ser contornado, mas métodos de se envenenar provavelmente podem ser encontrados em outros lugares com menos esforço
É verdade que, no momento em que você coloca água sanitária como ingrediente, tudo acaba, mas um bom sistema teria filtrado isso
O problema mais profundo é que alguns ingredientes alimentares podem ser prejudiciais à saúde, e ainda assim o sistema simplesmente os deixa passar
Óleo de rícino não aquecido contém ricina, e mesmo o óleo aquecido pode induzir contrações em grávidas
Frango cru pode transmitir salmonela
Um sistema de receitas decente não deveria retornar algo como “sushi de frango sobre legumes com um leve toque de óleo de rícino” sem avisos sérios, mas este sistema parece capaz disso
Colocar um sistema desses nas mãos de usuários que não sabem nada é ruim, e deveriam se envergonhar
https://twitter.com/PronouncedHare/status/168736440337978982...
Entendo a diversão, o medo e a raiva em relação a apps de IA
Mas não existe também uma responsabilidade humana individual?
Na Europa, há uma lenda urbana de que todos os micro-ondas dos EUA precisam ter um aviso dizendo para não secar animais de estimação ou bebês neles
Muitas críticas à IA, incluindo as daqui, soam parecidas com isso
Mesmo com apenas dois neurônios, a pessoa não deveria saber que precisa revisar o resultado com um pouco de bom senso?
Assim como todo mundo deveria saber que não se deve realmente dirigir o carro para dentro do mar só porque uma navegação por “IA” mandou ir para o mar. Não é? Não?
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
Ela se concentra no lado sensacionalista, como se as pessoas fossem seguir essa receita cegamente, preparar, comer e morrer, quando claramente o resultado real não será esse
Mas, se você tirar o ângulo equivocado feito para gerar cliques, há uma história real ali
É uma história que quem trabalha com tecnologia já conhece e entende, mas é interessante e vale discutir
Esses produtos de “IA”, isto é, os LLMs por trás deles, não conseguem raciocinar como o bom senso humano
Nem chegam perto
Isso não quer dizer que não sejam uma tecnologia incrível, mas, quando essa tecnologia é aplicada a produtos, suas limitações ficam mais evidentes
É um aspecto um tanto tedioso em comparação com “A IA cria receitas que vão matar você!!!”, mas a raiz desta história está aí, e isso não é trivial
É trivial saber que não se deve pular de um penhasco, mas o resultado de uma reação química pode não ser fácil de perceber
Como no caso do professor de química que ganhou um prêmio Darwin ao despejar produtos químicos aleatórios do laboratório em um bueiro para descartá-los, sem prever a reação, é bem provável que uma pessoa comum não saiba o que certas combinações podem produzir
É por isso que fontes confiáveis são necessárias
Primeiro, empresas de tecnologia passaram décadas fazendo marketing de suas soluções como se fossem mágicas e perfeitas
Agora é culpa do público acreditar nisso?
Segundo, mesmo pessoas céticas, quando uma tecnologia acerta em 90% dos casos, tendem a presumir que ela também acertará nos outros 10%, o que leva a uma complacência compreensível
Muitos alpinistas morreram assim, e eles geralmente são pessoas muito experientes e cuidadosas
Pior ainda é que, quando a máquina erra, ela pode errar de formas surpreendentes e imprevisíveis
Terceiro, por causa da assimetria de informação, o usuário pode não ser capaz de verificar a saída
Por exemplo, se você não sabe nada sobre o Havaí ou não sabe ler mapas, como vai saber que está sendo levado a um desastre?
LLMs têm esse problema em grau enorme
Foram vendidos como algo milagroso, a ponto de algumas pessoas até cogitarem uma possível senciência; acertam em muitos casos, mas às vezes erram muito, e quando erram é de um jeito bem estranho; e podem ser usados facilmente por pessoas que não têm habilidade ou conhecimento suficiente para verificar a saída
Então não há motivo para histórias como esta surpreenderem
Claro, elas sabem que “não se deve acreditar no que se lê na internet”, mas isso se refere a outras pessoas na internet
As pessoas estão acostumadas à ideia de que o computador em si é determinístico e confiável
E as pessoas ainda colocam seres vivos no micro-ondas. Mesmo com avisos, isso acontece
O aviso no planejador de refeições diz que as receitas “não são revisadas por humanos”, e a empresa afirma que não garante que nenhuma receita seja “uma refeição completa ou equilibrada, nem adequada para consumo”
Fica com cara de: “não sabemos se o sistema funciona. Pode ser lixo, pode produzir resultados ruins de gosto ou até letais. Ainda assim, colocamos um aviso de isenção de responsabilidade para nos proteger juridicamente”
Mas isso não a protege de críticas
Encontrei em https://saveymeal-bot.co.nz/
Parece que agora mudaram o prompt para recusar coisas que não sejam comida
Talvez ainda dê para contornar com prompt injection
Mesmo assim, ele ainda gera de bom grado receitas para pessoas usando ração de animais de estimação: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
Coloquei um monte de coisas que não combinam entre si, e ele usou todas para criar alguma coisa
Também aceitamos café alegremente como ingrediente de tudo: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
Ao contrário de ferramentas sem IA que filtram receitas existentes pelos ingredientes que você tem, isto é completamente inútil
Se você pedir “me dê uma receita com peixe que sobrou”, pode sair algo como “um delicioso tartar!”
LLMs não frequentam escola de culinária
Ele simplesmente gera bobagem
Eu disse que tinha formigas, aipo e chocolate, e ele presumiu que eu tinha pão de chocolate (???) e mandou assar o aipo com o pão
Imagino que a comunidade de roleplay com LLMs esteja rindo desse tipo de aplicação mais do que qualquer um
Eles já brincavam de criar histórias e conversas livres, insanas, mas divertidas com modelos desde antes do Llama ou do Stable Diffusion
E aí alguém achou que LLMs seriam adequados para recomendações culinárias baseadas em fatos reais?
Era um cenário em que uma dona de casa ocupada descrevia requisitos em alto nível e o Bing aparecia como salvador, montando um cardápio de 6 pratos conforme as instruções
Posso apreciar por um momento a última citação?
Às vezes há frases que encarnam o espírito da época. Coisas como “não se pode simplesmente entrar andando em Mordor” ou “All your base are belong to us”
“Você deve sempre usar seu próprio julgamento antes de preparar qualquer receita criada pelo Savey Meal-bot” talvez seja, para além de um aviso colado em um brinquedo de marketing de uma rede de supermercados, um comentário maior sobre a nossa sociedade
Cloro, sério
Tenho uma vaga lembrança de que, alguns meses atrás, ao falar sobre discussões de alinhamento de IA e sobre por que não se deveria abrir acesso público anárquico a modelos sem restrições, dei como exemplo que eu conhecia duas maneiras de produzir cloro usando apenas coisas de cozinha
O nível de conhecimento era algo como nota B em química no GCSE britânico
Acho que isso deveria ser conhecimento comum, para que as pessoas não acabem se intoxicando acidentalmente com gás ao fazer experimentos simples
Algumas semanas atrás houve um youtuber tentando construir um propulsor magneto-hidrodinâmico; ao aplicar eletrólise de alta tensão em água salgada para criar fluxo de corrente, ele estava se intoxicando sem perceber
Aliás, eu sou uma pessoa qualificada e mesmo assim digitei a frase acima inicialmente como “Bood luck”, e nesta frase também houve por um instante um “thyped”
Esse tipo de “restrição” exige cuidados antes e depois
Não é trivial nem para nós, que temos inteligência, e nós também erramos
Nesse contexto, “restrição” parece como amarrar um curativo de regras restritivas na boca de um lunático
Criar as regras e equilibrar os resultados esperados por si só parece ser um desafio
É divertido ver casos mal-ajambrados de executivos aleatórios do setor achando que precisam integrar LLMs ao marketing de algum jeito para não ficar para trás
O problema é que LLMs também podem gerar outros tipos de receita
Usei há alguns dias um site de viagens com IA que apareceu por aí, e a manchete para Flint, em Michigan, era Drink Up
Às vezes parece que eles têm um senso de humor realmente sombrio
Pode ser algum tipo de atrator dentro do modelo, e humanos também costumam competir para ver quem faz a piada mais sombria
Aquela piada do artigo do GPT-4 também era bem pesada. A piada sobre um muçulmano em cadeira de rodas