Resumo de IA da ESPN não menciona Alex Morgan em sua última partida profissional

• O resumo de jogo gerado por IA da ESPN deixou de fora o contexto central de que era a partida de aposentadoria de Alex Morgan, mostrando que resumos automáticos podem perder uma história importante para os leitores mesmo quando acertam o resultado do jogo
• O San Diego Wave perdeu por 4 a 1 para o North Carolina Courage, e Morgan jogou 15 minutos, cobrou um pênalti e depois agradeceu ao público e se despediu
• O resumo da ESPN Generative AI Services foi publicado no site e no app às 20h52, horário do leste dos EUA, e, ao longo de 215 palavras, tratou dos gols e do andamento da partida, mas não mencionou Morgan nenhuma vez
• A ESPN afirmou que cada resumo de IA passa por revisão de um editor humano, mas não está claro se essa omissão passou despercebida no processo de revisão ou se foi deixada de fora por julgamento editorial
• Mesmo que uma matéria separada tenha coberto a última partida de Morgan, resumos de IA oferecidos a fãs de esportes com pouca cobertura precisam ter também capacidade de selecionar contexto para conquistar confiança

---

A cena central da partida que o resumo de IA deixou passar

• Alex Morgan, jogadora emblemática do futebol dos EUA, disputou no domingo sua última partida profissional pelo San Diego Wave, e o time perdeu por 4 a 1 para o North Carolina Courage
• Durante o jogo, Morgan tirou as chuteiras no meio-campo e acenou em lágrimas para a torcida no Snapdragon Stadium
  • A torcida gritou o nome de Morgan, e as jogadoras a cercaram e aplaudiram
  • Morgan jogou 15 minutos e cobrou um pênalti na partida
  • Depois do jogo, agradeceu à torcida pelo apoio e se despediu
• A partida foi transmitida simultaneamente por várias redes e serviços de streaming

A omissão no resumo da ESPN Generative AI Services

• A ESPN Generative AI Services começou naquela semana a oferecer resumos de jogos da NWSL e da Premier Lacrosse League
• O resumo em questão foi publicado no site e no app da ESPN às 20h52, horário do leste dos EUA
• O resumo organizou de forma padrão o resultado, as artilheiras e o fluxo da partida, mas não mencionou Morgan em nenhuma das 215 palavras
  • Também deixou de fora o fato de que era a última partida profissional de Morgan, vencedora de duas World Cups e de uma medalha de ouro olímpica
  • O resumo incluía a frase de que “[Kennedy] Wesley, do San Diego, foi uma jogadora de destaque, contribuindo tanto na defesa quanto no ataque”

As perguntas deixadas pela revisão de editores humanos

• No anúncio do serviço, a ESPN afirmou que cada resumo gerado por IA é checado por um editor humano quanto à qualidade e à precisão
• O motivo da ausência de Morgan não está claro
  • É possível que o editor humano não tenha percebido a omissão de Morgan
  • Também permanece a possibilidade de que tenha julgado que o contexto sobre Morgan não merecia ser mencionado
• Mesmo que os fatos contidos no resumo fossem precisos, deixar de fora Morgan e a importância daquela noite se tornou um exemplo de falha em transmitir o contexto completo da partida

Matéria separada e correção tardia

• A ESPN publicou uma matéria separada, escrita por Jeff Kassouf e centrada em Morgan
• A matéria abordava a noite final emocionante de Morgan, mas ficava no menu lateral do resumo gerado por IA e podia ser facilmente ignorada
• A ESPN atualizou o resumo da partida em 9 de setembro, segunda-feira, às 8h59, horário do leste dos EUA, acrescentando uma menção a Alex Morgan

Os limites dos resumos de IA em esportes com pouca cobertura

• A ESPN afirmou que os resumos gerados por IA têm como objetivo reforçar a cobertura de esportes pouco atendidos e oferecer aos fãs conteúdo que antes não era disponibilizado
• Um resumo de jogo que perde contexto importante mostra que apenas listar fatos não é suficiente
• Um redator humano consegue enxergar não só o resultado do jogo, mas também momentos importantes para atletas, ligas e torcedores; este resumo de IA não conseguiu cumprir esse papel

[GN⁺]

Comentários do Hacker News

• É bem engraçado usar isso como um caso para criticar conteúdo gerado por IA. Empresas de conteúdo esportivo na web já vinham produzindo conteúdo de artigos automaticamente há pelo menos 10 anos, muito antes de LLMs ficarem famosos.
  Em geral era por causa do ranqueamento de busca, porque quanto mais conteúdo aparentemente relevante você tivesse, melhor para a otimização para mecanismos de busca.
  É bem provável que esse tipo de coisa já tenha acontecido várias vezes antes da IA, só que não foi notado ou não recebeu muita atenção. Este caso parece mais que a ESPN perdeu o senso de contexto e não garantiu que um redator atualizasse manualmente aquela matéria específica. A ESPN há tempos é conhecida por preferir quantidade a qualidade.
  Fonte: já trabalhei como desenvolvedor na área técnica de uma empresa que cria esse tipo de conteúdo.

  • Ainda assim, neste caso a IA não tornou nada melhor.
    O simples fato de esse conteúdo genérico salpicado de termos esportivos ser lucrativo já é bem deprimente.
  • Então você está dizendo que a IA é tão ruim quanto o método anterior, mas exige mais dados e maior consumo de energia?
  • Pelo trecho sobre “garantir que um dos redatores atualizasse manualmente esta matéria específica”, parece que esse sistema nunca esteve realmente bem estabelecido antes e, pelo resultado desta matéria, claramente ainda não está.
    Dá para perceber que muitas matérias esportivas são basicamente preencher lacunas. Por isso eles publicam imediatamente a matéria da AP, e depois o repórter responsável de fato publica uma matéria separada naquela noite ou na manhã seguinte.
  • O declínio da ESPN começou muito antes dos LLMs, e o uso de IA só está ficando mais escancarado e acelerando essa espiral descendente.
  • Não sei que web você andou vendo nos últimos mais de 5 anos. Não é só “conteúdo” esportivo; conteúdo de todo tipo está preso em páginas de otimização para mecanismos de busca de baixa qualidade.
    Sendo gerado automaticamente ou não, é igualmente inútil, e os LLMs só tornam isso mais barato.

• Essa partida foi transmitida pela ESPN tanto na ESPN2 quanto na ESPN+. Então é bem provável que eles estivessem pagando a dois comentaristas especializados para acrescentar contexto e explicar os momentos importantes antes, durante e depois do jogo.
  Eles não disponibilizam isso ao bot de escrita como uma transcrição das legendas? Como a narração já está sendo processada como legenda em tempo real, parece uma melhoria realmente fácil.

  • Fiquei curioso com isso e testei eu mesmo. Transcrevi a partida com whisper-small.en e depois pedi ao ChatGPT, com um prompt neutro, para resumir.
    “A seguir está a transcrição de uma partida de futebol. Escreva uma matéria de 200 palavras sobre esta partida, no estilo de um jornalista esportivo profissional experiente.”
    O resumo começou com: “Em sua última partida profissional, Alex Morgan fez uma atuação marcada por emoção e resiliência, mas o San Diego Wave perdeu por 3 a 1 para o North Carolina Courage. Disputado no Snapdragon Stadium, em San Diego, o jogo não foi apenas uma disputa, mas uma homenagem a uma das figuras mais icônicas do futebol.”
    O placar estava errado. O restante está aqui: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
  • Esportes têm muitos dados estruturados, e, especialmente para uma marca como a ESPN, o padrão esperado para descrevê-los corretamente também é alto.
    Se você coloca horas de transcrição em um LLM, há risco de alucinação por causa de coisas que os comentaristas disseram empolgados sobre chances de gol ou eventos que acabaram não acontecendo.
    Por outro lado, tarefas simples como “transforme a lista de gols, horários, autores dos gols, jogadores que deram assistência etc. em frases” podem ser feitas por algoritmos determinísticos sem LLM, e talvez tenha sido o que aconteceu aqui. Alguns problemas gramaticais do texto original parecem mais uma combinação ruim de regras de substituição pré-LLM.
    Dá para criar um sistema que verifique repetidamente a primeira saída de um LLM que resumiu uma transcrição longa e confirme a precisão comparando com os dados estruturados já conhecidos. Também daria para obter conteúdo mais rico e uma taxa de erro aceitável, e engenheiros de machine learning de nível mundial poderiam criar um protótipo em um hackathon.
    Mas isso não é nem um pouco fácil para uma organização grande e avessa a riscos. Porque é difícil vencer a lógica de “o que temos agora é imperfeito, mas pelo menos não erra os fatos”.
  • Já prestei consultoria para alguns lugares que se veem como empresas de “mídia/jornalismo”, e algo que sempre me surpreendeu foi que a equipe de tecnologia costuma ficar separada da equipe de conteúdo e, muitas vezes, tem pouquíssimo acesso à mídia em questão.
    É bem diferente do modelo de “acesso a tudo” que se esperaria em uma empresa de tecnologia, ou do bom senso comum.
    Não faço a menor ideia de como a ESPN trabalha; estou apenas inferindo com base no que vi em outros lugares.
  • Também pensei a mesma coisa. Parece que ainda está no começo.

• Se a informação de que “este é o último jogo de Alex Morgan” não estava em nenhum lugar da entrada ou do prompt, como exatamente o resumo por IA poderia ter colocado isso na matéria sobre o jogo?
  Mesmo se tivessem dado a algum estagiário adolescente só uma tabela com os autores dos gols e os horários dos gols, ele teria escrito uma matéria parecida. Mas isso não serve de desculpa para veículos de imprensa e sites esportivos usarem IA generativa para tudo, e dá para entender por que as pessoas estão irritadas com a ESPN

  • Se essa informação não estava lá, ela não poderia ser criada, e esse é o problema. Um dos grandes argumentos de venda da IA generativa é tirar pessoas do processo de escrita; se alguém precisa de fato assistir ao jogo e descrever no prompt o que aconteceu, não sei qual é o sentido dessa tecnologia
    É assim que é a aplicação de IA generativa: usar entrada de baixa qualidade para criar algo que parece uma matéria. Este é o futuro brilhante que a OpenAI nos trouxe
  • O ponto da crítica não é tanto “o quanto a IA é burra”, mas sim que este é um exemplo de como conteúdo de IA fica insuficiente, mesmo que, como a ESPN afirma, tenha havido revisão humana
  • Isso parece mais um problema de como usar melhor a tecnologia do que uma limitação intrínseca da IA
    Em vez de simplesmente colocar os eventos do jogo em um LLM e pedir um resumo, há um caminho claro de melhoria: incluir no prompt resumos dos 10 artigos recentes relacionados aos jogadores, técnicos etc. envolvidos na partida, talvez também resumos dos 10 principais artigos históricos
    Depois, pode-se pedir para resumir o jogo, usando as outras informações como referência para melhorar a qualidade da matéria. Isso não parece exatamente algo que um LLM conseguiria fazer bem?
  • Quem fosse ler essa matéria já sabia muito bem que era o último jogo de Alex Morgan. Se a ESPN, que tem ampla influência na mídia esportiva, não consegue captar isso e refletir na matéria, não sei por que uma editora usaria o serviço de resumos da ESPN em vez de qualquer startup da Y Combinator
  • Para incluir esse tipo de informação no prompt, seria preciso construir algum tipo de sistema de geração aumentada por recuperação. Dá para fazer de forma semiautomática, mas só se dedicarem mais esforço ao sistema

• A ESPN enfatizou que “cada resumo gerado por IA é revisado por um editor humano para garantir qualidade e precisão”, mas é difícil acreditar nisso
  Como o objetivo central de fazer a IA escrever matérias é reduzir o número de pessoas que precisam ser pagas, pagar para que profissionais treinados revisem cuidadosamente todas as matérias provavelmente está fora das opções
  Eles podem fazer concessões reduzindo o rigor da revisão, diminuindo a especialização dos editores ou não colocando uma pessoa em todas as matérias, mas não vão pagar para que um editor profissional faça o trabalho direito. Disso eu tenho certeza

  • Acho que essa lógica não fecha muito bem. Usar matérias geradas pode economizar muito dinheiro, mas, se o conteúdo não for preciso, perde-se a confiança dos anunciantes, que são os clientes
    Mesmo mantendo só 1 editor para cada 10 repórteres substituídos, ainda seria uma grande redução de custos
    Talvez daqui a algumas gerações os editores também sejam substituídos, mas acho que ainda não chegamos lá

• A ESPN tirou pessoas da apuração, e a IA tirou pessoas do conteúdo da apuração
  No anúncio do serviço, a ESPN enfatizou que “cada resumo gerado por IA é revisado por um editor humano para garantir qualidade e precisão”. Não está claro se o editor humano não percebeu a ausência de Morgan ou se decidiu que ela não valia menção
  Nos últimos 100 anos, culpar o estagiário tem sido um ótimo bode expiatório

  • Minha interpretação é parecida. Na prática, soa como “um adolescente na Índia passa os olhos rapidamente por 1.000 matérias geradas por IA por dia procurando apenas linguagem ofensiva ou algo que possa dar processo, e é só isso”

• Eu realmente detesto os resumos de partidas por IA da WTT (World Table Tennis)
  Os highlights por IA cortam no meio de um rally e pulam pontos inteiros, ou até sets inteiros. Eles também não refletem acontecimentos importantes entre os pontos e às vezes cortam os comentários empolgados ou a comemoração depois do ponto, ou até o aperto de mãos no fim da partida

  • Odeio tudo que é gerado por IA. Existe algo como vale da estranheza para textos?

• Como esses resumos por IA são gerados? Fico curioso se eles colocam o arquivo de vídeo do jogo inteiro e a IA devolve um resumo, ou se inserem um registro de pontuação escrito por humanos com timestamps dos gols e a IA acrescenta frases para transformar aquilo em uma matéria

  • Antigamente, antes da IA, quando se fazia isso, todas as informações do jogo estavam em uma API, e elas eram preenchidas em um template
    Hoje, provavelmente bastaria inserir as chamadas brutas da API e usar um prompt como “escreva uma matéria de resumo do jogo usando estes dados” para obter um resultado. Claro, suponho que o prompt seja mais caprichado do que isso. Ou talvez não, já que é a ESPN
    Mas não me lembro de retiring_players fazer parte da resposta da API
    Além disso, os resumos lance a lance são documentados de forma extremamente detalhada. É surpreendente. Em esportes populares como Gridiron Football ou Basketball, às vezes há até a posição dos jogadores por segundo. Esses dados vêm de feeds como SportsRadar
    Provavelmente eles não colocariam dados tão minuciosos no prompt, mas há informações de resumo bem decentes, como quem acertou quantas bolas de 3 pontos e de onde arremessou
  • Se eu fosse construir esse protótipo, começaria usando como entrada apenas um registro lance a lance em texto semiestruturado
    Incluir elenco, lesões e informações de agenda, junto com um prompt bem básico, já teria grande chance de melhorar bastante
    Esses dados hoje existem para a maioria dos jogos ao vivo por meio de vários serviços web. A própria ESPN deve ter recursos de sobra para obter essas informações
  • Há algumas empresas que fornecem dados esportivos em tempo real via API ou oferecem resumos pós-jogo, então é bem provável que usem isso
  • Usam o box score e eventos lance a lance
  • A distância entre as expectativas e a realidade da “IA generativa” já ficou grande demais para ignorar
    Se um sistema de bilhões de dólares quebra por causa de “erro humano”, talvez suas capacidades tenham sido muito exageradas. Se ele precisa de consultas cuidadosamente elaboradas, a tal “engenharia de prompt”, dados 100% livres de erros, energia elétrica absurda e ainda um processo em que humanos revisam novamente a saída, não sei o que ganhamos
    Não está na hora de admitir que esta fase da IA é uma bolha?

• Esses sites são cheios de rastreadores e anúncios e, em geral, apenas esticam enormemente matérias de esforço extremamente baixo sobre assuntos sem grande relevância