Breve análise do Irineu, a IA que resume textos do jornal “O Globo”

20

O jornal O Globo lançou o Irineu, um projeto para injetar inteligência artificial no periódico carioca. A primeira ferramenta é “um botão nas matérias do site do jornal que oferece aos leitores um resumo curto do texto”.

Não resisti ao exercício simultâneo de dois papéis que detesto (adoro) fazer: ombudsman de jornal alheio e porta-voz do ceticismo com tecnologias fajutas que prometem mais do que entregam.

A ferramenta de resumo do Irineu/O Globo aparece antes do texto das matérias e precisa de um clique em “Leia aqui” para ser exibida. O resumo tem seu próprio título e um parágrafo:

Resumo do Irineu: “Projeto Irineu: IA para resumo de reportagens no O GLOBO. O GLOBO lança o projeto Irineu, de inteligência artificial, com ferramenta de resumo de reportagens. Inovação para leitores e profissionais do jornal, com foco na qualidade do conteúdo jornalístico.”
Imagem: O Globo/Reprodução.

Peguei 12 das matérias de capa do jornal na web na manhã desta quinta (20) e fiz um exercício: comparei, objetiva e subjetivamente, o combo título+linha fina com o resumo gerado pelo Irineu. (Parece que estou falando de uma pessoa.)

O que mais me chamou a atenção foi a pobreza dos resumos artificiais. Nesta notícia, a IA dizia que “Flamengo está insatisfeito com a Caixa e decide tratar do terreno do estádio diretamente com a Prefeitura” Qual terreno? A informação está no lide — “terreno na região do Gasômetro”, mas foi ignorada pela IA. (Justiça seja feita, título e linha fina também não especificam o terreno.)

Em alguns casos, o resumo da IA não vai muito além do título e linha fina, o que o torna redundante. Veja este exemplo:

PF realiza mais uma fase da Operação Lesa Pátria

Estão sendo cumpridos 27 mandados judiciais nos estados de Goiás, Mato Grosso do Sul e Santa Catarina

E o resumo do Irineu:

Operação Lesa Pátria: 27 mandados em três estados.

A Polícia Federal realiza mais uma fase da Operação Lesa Pátria, com 27 mandados judiciais em três estados, investigando financiadores de atos antidemocráticos. Prejuízo estimado em R$40 milhões e diversos crimes sendo apurados. A operação é permanente e já prendeu 48 pessoas em todo o país.

Outro, começando pelo título e linha fina:

Copa América começa hoje com Argentina como favorita e outras três seleções candidatas ao título

Além dos campeões do mundo, seleção brasileira precisará superar Uruguai e Colômbia, que chegam aos EUA em grande fase

E o resumo da IA:

Copa América: Argentina, Brasil, Colômbia, Uruguai e Venezuela em destaque

A Copa América começa com Argentina, Brasil, Colômbia e Uruguai como favoritos ao título. Messi lidera a Argentina, enquanto Colômbia e Uruguai mostram força. Brasil busca superar pressão e conquistar o torneio. Venezuela pode surpreender.

Na matéria da morte do cantor Chrystian havia um erro crasso. No título do seu resumo, a IA informava que ele faleceu “aos 60 [anos]”. Chrystian tinha 67 anos. O texto da matéria informa que o cantor tinha 60 anos de carreira — algo que a própria IA repetia no parágrafo, onde informava que o cantor “dedicou 60 anos à música sertaneja”.

Não sei se foi “alucinação”, erro operacional ou interferência de mãos de carne e osso, mas na matéria “Chacina no interior do Ceará deixa sete mortos e governador anuncia reforço na segurança”, o resumo do Irineu era:

Limite da liberdade de expressão no YouTube

Decisão judicial suspende vídeos de conteúdo policial no YouTube que incitam crimes e disseminam discurso de ódio. Debate sobre limites da liberdade de expressão é ampliado. Polêmica envolve canais como Copcast, Fala Glauber, Café com a Polícia e Danilsosnider.

É o primeiro uso de IA pel’O Globo, então cabe dar um desconto. Além disso, de tudo que a IA generativa pode fazer, resumir (mal) coisas é das mais inofensivas.

E… inócuas, talvez? Consigo imaginar algum executivo sugerindo isso dentro da redação, os olhos brilhando, ele pensando “estamos no futuro!”, enquanto repórteres e editores pensam, do seu lado, “ah não, lá vem…”

Os títulos e linhas finas já servem de “resumo”, e com textos melhores e mais concisos. Na análise objetiva, os resumos da IA analisados (aqui tem o *.csv) foram, em média, 55% mais longos que título e linha fina, 308 caracteres contra 206.

Se tem algo que joga contra os títulos servirem de “resumo” é o que chamam no meio de “curiosity gap”, ou seja, deixar de fora uma informação importante a fim de estimular a leitura da matéria (ou, numa análise mais cínica, o clique).

A parte que mais me intrigou neste episódio, porém, nada tem a ver com inteligência artificial, mas diz muito da postura das diretorias de empresas de mídia brasileiras: o anúncio do Irineu saiu atrás do paywall.

A newsletter do Manual. Gratuita. Cancele quando quiser:

Quais edições extras deseja receber?

Siga no Bluesky, Mastodon e Telegram. Inscreva-se nas notificações push e no Feed RSS.

20 comentários

  2. Enquanto o NYTimes está processando a Open AI, Google, etc. o Globo está basicamente pagando (tanto em custos de API quanto em horas para implementação) para uma implementação que ninguém pediu. Eles deveriam estar gastando recursos pra descobrir se os textos deles foram usados em algum modelo e processar enquanto pressionam por algum licenciamento. Os jornalões já perderam a guerra com as redes sociais, se tentarem ficar amigos das empresas de AI vão ser esmagados mais uma vez.

  3. O que me deixa mais ____________ (Confusa? Embasbacada? Irritada? Perplexa? Todas as alternativas anteriores?) é que a função do Irineu supostamente é fazer aquilo que todo jornalista deveria estar fazendo direito: o lide.

  4. É uma tendência tecnológica que ñ temos mais como fugir. Para muitos, o resumo é algo útil, automatizar vai sempre vim com um pouco de “redução de custos”, que pra mim é a principal ideia desses portais de notícias.

  5. Quanto será que O Globo gastou para refazer o lide mal feito?

  6. Por esta explanação e comentários abaixo, já posso perguntar ao Ghedin se “você gosta do Irineu?”, ao que provavelmente ele responderá “Não”.
    Pois bem, nem tu e nem eu!
    Ah Irineu.

    1. Hahahah na verdade eu diria que o nome é perfeito e representa bem a situação quando buscamos a resposta de algo que não sabemos com uma IA generativa.

      Antes de ler a matéria eu realmente achei que era uma referência ao meme kkkk.

      https://youtu.be/54a3hL2iJrU?feature=shared

  8. Peguei o conteúdo da notícia sobre o falecimento do Chrystian (https://oglobo.globo.com/cultura/musica/noticia/2024/06/20/morre-o-cantor-chrystian.ghtml) e pedi pro ChatGPT 4o resumir (prompt: ‘resuma essa notícia’). Eis o resultado:

    O cantor sertanejo Chrystian, conhecido pela dupla Chrystian & Ralf, faleceu na noite de quarta-feira após ser internado no Hospital Samaritano, em São Paulo. A família confirmou o falecimento, lamentando a perda do “querido esposo, pai e artista”. Chrystian passou mal e precisou de “repouso imediato e tratamento especializado”, mas a causa não foi divulgada. Ele dedicou 60 anos à música sertaneja, acumulando sucesso e reconhecimento com seu irmão Ralf. A dupla começou em 1983, separou-se em 2000, reuniu-se em 2001, e separou-se definitivamente em 2021. Juntos, venderam mais de 15 milhões de álbuns. Em nota, a família agradeceu o apoio dos fãs e ressaltou que Chrystian viverá para sempre através de sua música.

    Quando perguntei com que idade ele morreu, o ChatGPT respondeu corretamente:

    A notícia não menciona explicitamente a idade de Chrystian no momento de sua morte. Para calcular a idade, precisaríamos de sua data de nascimento. Se você puder fornecer essa informação, posso calcular a idade para você.

    Fiz o mesmo com relação à notícia ‘PF faz buscas contra suspeitos de envolvimento em atos do 8/1 em três estados’ (https://oglobo.globo.com/politica/noticia/2024/06/20/pf-realiza-mais-uma-fase-da-operacao-lesa-patria.ghtml). O resumo:

    A Polícia Federal (PF) está realizando a 28ª fase da Operação Lesa Pátria, com o objetivo de identificar e prender os responsáveis por financiar e fomentar os atos antidemocráticos de 8 de janeiro de 2023, quando as sedes do Palácio do Planalto, Congresso Nacional e Supremo Tribunal Federal foram invadidas e vandalizadas. Estão sendo cumpridos 27 mandados judiciais em Goiás, Mato Grosso do Sul e Santa Catarina, incluindo 15 de busca e apreensão e 12 de busca pessoal, além da indisponibilidade de bens dos investigados. Entre os alvos estão empresários que financiaram os atos e bloquearam estradas, com apreensão de armas e munições. Os danos ao patrimônio público são estimados em R$ 40 milhões. A PF também está trabalhando em cooperação internacional para localizar foragidos que fugiram para países vizinhos.

    E também com a notícia da chacina no interior do Ceará (https://oglobo.globo.com/brasil/noticia/2024/06/20/chacina-em-praca-do-interior-do-ceara-deixa-sete-mortos-e-dois-feridos.ghtml). Eis o (longo) resumo:

    Um ataque em uma praça no centro de Viçosa do Ceará (CE) na madrugada de quinta-feira (20) resultou na morte de sete pessoas e deixou duas feridas. Os executores chegaram de carro à Praça Clóvis Beviláqua por volta das 3h e atacaram um grupo que estava comemorando no local. As vítimas, incluindo homens e mulheres, foram enfileiradas com as mãos entrelaçadas atrás da cabeça antes de serem mortas. As imagens das câmeras de segurança mostram ao menos quatro pessoas nessa posição.

    O governador do Ceará, Elmano de Freitas, prometeu reforçar a segurança na região e prender os responsáveis. A Polícia Civil iniciou a investigação do caso, com o apoio do secretário de Segurança do Ceará, Roberto Sá, e outras autoridades. Equipes das Forças de Segurança do Ceará, Polícia Militar, Polícia Civil e setores de inteligência foram enviadas para a área. A Perícia Forense do Estado do Ceará (Pefoce) também está envolvida nas investigações.

    Relatos da TV Ibiapaba indicam que as vítimas estavam bebendo e comendo quando homens armados chegaram em vários carros, renderam-nas e mataram cinco pessoas em frente à Igreja da Matriz, enquanto outros dois corpos foram encontrados nas proximidades, sugerindo uma tentativa de fuga. As vítimas são três mulheres e quatro homens.

    Este é o segundo massacre em Viçosa do Ceará desde 2021, quando quatro pessoas foram assassinadas em uma casa. Expedito Erivan Melo da Silva, conhecido como Kiko, foi preso e apontado como chefe de um grupo criminoso com atuação em Tianguá e suspeito de envolvimento na chacina.

    Um detalhe: eu propositalmente removi as chamadas pras outras notícias que aparecem no meio do texto. Uma dessas chamadas era: ‘Agressividade descontrolada’: Justiça derruba vídeos que exaltam violência policial no YouTube. Isso certamente foi a causa da suposta alucinação a que você se refere. O Globo não teve a sacada de ignorar essas chamadas, mas imagino que vá corrigir isso em algum momento.

    Cabe lembrar que o Irineu usa por baixo dos panos a API do ChatGPT (https://oglobo.globo.com/politica/noticia/2024/06/18/o-globo-lanca-projeto-irineu-de-uso-de-inteligencia-artificial-primeira-ferramenta-resume-reportagens-do-site-do-jornal.ghtml), então os resultados devem ser decentes uma vez que eles acertem esses pequenos detalhes, incluindo o prompt. Embora centralizar tecnologias não seja o ideal, nesse caso pelo menos O Globo não está tentando reinventar uma roda pra lá de complicada, não é mesmo?

    Não vejo problema algum no conceito de resumir notícias. Isso já era feito nos jornais de papel quando havia chamadas na primeira página. Nem todo mundo tem tempo e interesse de ler um jornal de cabo a rabo, então muitas vezes pode ser útil ter uma noção do que anda rolando sobre alguns tópicos menos interessantes.

    Não é um fenômeno novo que temos cada vez mais informação e cada vez menos tempo de dar conta. O uso de AI é apenas a tecnologia atual pra tentar mastigar isso pra gente.

    1. Bom exercício! Seria legal ter limitado a quantidade de caracteres no enunciado/pedido à IA, para equiparar os resultados ao espaço limitado do Irineu.

      Embora centralizar tecnologias não seja o ideal, nesse caso pelo menos O Globo não está tentando reinventar uma roda pra lá de complicada, não é mesmo?

      Acho que nenhum jornal ou empresa que não seja da área desenvolve toda a stack em aplicações de IA. (Nunca vi, pelo menos.) Geral usa a API da OpenAI.

      1. Certo. Infelizmente esgotou meu uso do ChatGPT 4o, então segue o resultado com a versão 3.5 (prompt: ‘resuma essa notícia em no máximo 300 caracteres’):

        Chrystian:

        Chrystian, famoso pela dupla com Ralf, faleceu após internação por mal-estar. Sua família lamenta a perda do cantor que dedicou 60 anos à música sertaneja, marcando gerações com seu talento e carisma.

        Busca PF:

        A PF realiza buscas em GO, MS e SC em nova fase da Operação Lesa Pátria, investigando financiadores dos atos antidemocráticos de 8/1/2023, que causaram danos de R$40 mi ao patrimônio público. Alvos são empresários suspeitos de associação criminosa e outros crimes graves.

        Chacina Ceará:

        Sete pessoas foram mortas durante um ataque em Viçosa do Ceará, enquanto celebravam na madrugada. O governador prometeu reforçar a segurança na região e identificar os responsáveis pelo crime. Imagens mostram as vítimas alinhadas antes de serem executadas.

  9. Uma vez, em uma crônica, o Roberto Da Matta escreveu que a gente só entende a manchete depois que lê o texto. Pelo Irineu, vamos ficar no meio do caminho mesmo.

    Ampliando a chatice: para que um resumidor destes? É o novo 2x do áudio aplicado no jornal? Uma máquina de criar ruídos e diminuir a compreensão? Se resumirmos um livro em uma página, o texto terá relação com a obra, ou será algo novo?

    1. Concordo com o Ghedin e contigo de que parece não haver muita utilidade no Irineu.
      Mas, não sei porque, li a matéria o tempo todo vendo isso como um teste para que o Irineu comece a escrever matérias de fato.
      UOL e G1, por exemplo, já adotaram as matérias resumidas em tópicos há tempos. Acho que não por IA (ainda).
      Mas vejo como questão de tempo vários portais migrarem para essas “soluções”.

      1. E reforçando o texto do Ghedin, escrevendo e lendo o comentário, Irineu realmente parece uma pessoa. Nisso, acertaram. 🤦‍♂️🤪

      2. O G1 já tem pelo menos uma iniciativa nesse sentido. Nas eleições municipais, eles publicam textos gerados automaticamente com os resultados de cada município brasileiro. Não parece exatamente um texto de IA, mas sim, um template que é preenchido com as informações específicas de cada município – mas já é uma iniciativa nesse caminho de robotizar o texto jornalístico.

        1. Esse tipo de automação é bem comum e já tem algum tempo. Qualquer conteúdo com dados estruturados é passível dessa automação — além de eleições, já vi iniciativas envolvendo resultados esportivos de ligas/campeonatos locais e balanços de empresas de capital aberto.

    2. Eu acredito que seja apenas um chamariz, Léo B, pois o jornal quer a sua atenção. Se a matéria não obtém o seu interesse, você passa para a próxima notícia ou muda de site. Eu quero ver como evoluirá levando em consideração as manchetes click-bait criadas pelos próprios veículos de imprensa.

      A idea do Ivan também parece bastante pausível no longo prazo.

      1. Pode ser sim, Paulo. A ideia do Ivan é plausível, mas penso que seja de difícil execução. Pois, para escrever uma matéria é preciso checar tantas informações, que não vejo como uma máquina pode realizar isso. Se ainda não chegaram a uma conclusão sobre a idade do cantor, como irão confirmar datas, pessoas, checar documentos, quem fez o que e onde, falar com terceiros e tantas coisas que um jornalista faz?

        O que acontece hoje é uma recombinação de coisas e não um texto novo.

Escolhas do editor

Posts aleatórios