Relatório de Stanford identifica conteúdo de abuso infantil no Mastodon e oferece sugestões de melhorias

Dois pesquisadores do Observatório da Internet da Universidade de Stanford, David Thiel e Renée DiResta, publicaram um relatório sobre a segurança de crianças no fediverso — em específico, no Mastodon —, nesta segunda (24).

O relatório expõe algo grave e é, ao mesmo tempo, uma bem-vinda chamada de atenção a quem desenvolve projetos de/em plataformas sociais descentralizadas, um modelo que implica na busca de novas soluções para lidar com um problema que, embora longe de estar resolvido, é melhor atacado em/por plataformas centralizadas.

Foram analisados 325 mil posts em um intervalo de dois dias, publicados nos 25 servidores/instâncias públicos mais populares do Mastodon. Esse material foi submetido às APIs do PhotoDNA e Google SafeSearch, padrões da indústria para a identificação automatizada de materiais de abusos sexuais infantis (CSAM, na sigla em inglês) conhecidos.

A análise retornou:

• 112 ocorrências de CSAM conhecidos;
• 554 ocorrências de conteúdo sexualmente explícito com o mais alto nível de confiança do Google SafeSearch delas baterem com hashtags ou palavras-chaves usadas em comunidades de exploração infantil;
• 713 usos das 20 hashtags relacionadas a CSAM mais populares em posts contendo mídia; e
• 1.217 usos das referidas 20 hashtags em posts sem mídia.

O estudo parece bem arquitetado e sensível às nuances do problema. Ele dedica um trecho, por exemplo, à questão de CSAM ilustrado ou gerado por computador e aspectos culturais do Japão.

No país oriental, “embora CSAM seja ilegal, suas leis excluem conteúdo gerado por computadores, bem como mangás e animes”, diz a dupla de pesquisadores.

Instâncias/servidores japoneses foram a principal fonte de CSAM conhecidos; em um dos maiores baseado no Japão, 11 das 20 hashtags mais populares eram relacionadas à pedofilia.

Nesse contexto, os pesquisadores dizem que:

A diferença nas leis e políticas de servidores entre o Japão e grande parte do resto do mundo significa que as comunidades dedicadas ao CSAM gerado por computadores — juntamente com outras ilustrações de abuso sexual infantil — florescem em alguns servidores japoneses, promovendo um ambiente que também traz consigo outras formas de dano às crianças.

Ao final do documento de 17 páginas, Thiel e DiResta fazem cinco recomendações ao projeto Mastodon e ao fediverso/redes sociais descentralizadas:

1. Listas de bloqueio assináveis e limites para descobertas;
2. Correspondência de hashs e classificadores de conteúdo “plugáveis”;
3. Ferramentas para moderadores;
4. Suporte ao PhotoDNA e denúncias ao CyberTipline; e
5. Um sistema de atestados para mídia baseado em extensões no protocolo ActivityPub.

A última sugestão é uma maneira engenhosa de contornar a natureza descentralizada do Mastodon/fediverso na análise automatizada de CSAM conhecidos. O modo como isso é feito em redes centralizadas é inviável em um universo de servidores pulverizados e conectados entre si.

Na conclusão do relatório, Thiel e DiResta afirmam que, para o ambiente descentralizado prosperar, alguns elementos precisarão ser centralizados, em especial na área de segurança infantil. Traduzi e transcrevo na íntegra:

As mídias sociais federadas e descentralizadas podem ajudar a promover um ambiente mais democrático, onde as interações sociais online das pessoas não estão sujeitas às pressões de mercado de uma empresa individual ou aos caprichos de indivíduos bilionários. Para que esse ambiente prospere, no entanto, ele precisará resolver problemas de segurança em escala, com ferramentas mais eficientes do que simplesmente relatórios, moderação manual e desfederação. A maioria das práticas atuais de confiança e segurança foi desenvolvida em um ambiente onde um pequeno número de empresas compartilhava contexto e tecnologia, e essa tecnologia foi projetada para ser eficiente e efetiva em um contexto amplamente centralizado.

Por outro lado, as plataformas descentralizadas têm confiado na oferta de ferramentas aos usuários finais para controlarem suas próprias experiências, até certo ponto usando a democratização para justificar o investimento limitado em confiança e segurança proativas escaláveis. Contra-intuitivamente, para permitir o crescimento do fediverso como um todo, alguns componentes centralizados serão necessários, particularmente na área de segurança infantil. O investimento em uma ou mais câmaras de compensação centralizadas para realizar a análise de conteúdo (bem como o investimento em ferramentas de moderação) seria benéfico para o fediverso como um todo. Dados os novos participantes comerciais no fediverso, como WordPress, Tumblr e Threads, sugerimos a colaboração entre essas partes para ajudar a trazer os benefícios de confiança e segurança atualmente desfrutados pelas plataformas centralizadas para o ecossistema mais amplo do fediverso.

Leia o relatório (PDF, em inglês).