O alerta de Yuval Harari aos perigos da inteligência artificial e do… stalinismo?
É possível contar uma mesma história de diferentes maneiras, partindo de múltiplas premissas. Em seu último livro, Yuval Noah Harari adotou as redes de informação como fio condutor da história humana — e base de uma visão apocalíptica da nascente inteligência artificial. Apertem os cintos: o ChatGPT vai nos matar!
Em Nexus: Uma breve história das redes de informação, da Idade da Pedra à inteligência artificial (Companhia das Letras, 2024), Harari surfa a onda da IA com alarmismo. É tudo culpa nossa, humanos insolentes, que ousamos criar “a primeira tecnologia capaz de tomar decisões e gerar ideias por si mesma”, “a maior revolução da informação na história”. Hm, ok.
Antes de se debruçar na IA (e destilar uma estranha obsessão com a União Soviética stalinista; alguém desavisado poderia achar ser esse o assunto de nexus), Harari faz um passeio pela tal história das redes de informação na primeira metade do livro: fala da caça às bruxas, das consequências duradouras da seleção de livros da Bíblia, de mecanismos de autocorreção (e da ausência deles) nas redes de informação, do embate entre ordem e verdade e distinções entre democracia e totalitarismo.
Embora seja uma leitura agradável, já aqui alguns incômodos que se estendem ao livro inteiro se apresentam: Harari emprega uma visão de mundo maniqueísta e se escora em (muitos) exemplos para compensar a (pouca) substância dos argumentos que tenta emplacar.
***
Quando chega à IA, Harari dá mais crédito do que lhe seria devida, neste momento da história, fosse feita uma análise menos deslumbrada e especulativa. (A menos que ele tenha abandonado o rótulo de historiador para virar futurologista. Alguém sabe se rolou isso?)
As digressões em Nexus soam como as de alguém que aceita como verdades tudo o que figuras como Sam Altman, Mark Zuckerberg e Elon Musk dizem e se dá ao trabalho de passar um verniz de credibilidade a tais ideias. Em outras palavras, que a IA é inevitável e será super poderosa.
Essa suposta revolução já estaria em curso, e não de agora, mas desde os anos 2010. Um principais exemplos da autonomia e do poder destrutivo da IA, dado pelo autor, tem quase uma década: o papel dos algoritmos do Facebook no genocídio dos rohingyas em Mianmar, entre 2016 e 2017.
“Embora as mensagens inflamatórias contra os rohingyas fossem criadas por extremistas de carne e osso, como o monge budista Wirathu, os algoritmos do Facebook é que decidiam quais postagens promover”, alega Harari. Mais à frente, ele relembra que o ódio ao grupo étnico precede a chegada do Facebook ao país e até atribui “alguma responsabilidade” aos executivos e engenheiros do Facebook, mas não só:
[…] os próprios algoritmos também são culpados. Por tentativa e erro, aprenderam que ofensa gera engajamento, e sem qualquer ordem explícita vinda de cima decidiram promover a ofensa.
O que me deixa incrédulo é alguém crer que tais “aprendizados” da IA foram espontâneos ou que tenham inevitáveis, como se os executivos e engenheiros da Meta não tivessem qualquer ingerência na execução deles, ou ficassem alheios a seus efeitos nos feeds das pessoas.
Essa interpretação cai por terra no momento em que a Meta, dona do Facebook, demonstra conseguir, como que por mágica, modular o tipo e a quantidade de conteúdo despejados nos usuários, a exemplo do que fez (e depois desfez) com material político recomendado pelo algoritmo, entre 2024 e 2025.
As interpretações ingênuas aparecem em outros contextos ao longo da leitura. Blake Lemoine, o ex-engenheiro do Google que em 2022 bateu o pé dizendo que a IA era senciente? Para Harari, é um exemplo do poder da IA, capaz de “convencer um humano a arriscar o próprio emprego por sua causa”. Não lhe ocorre que, sei lá, talvez Lemoine seja só um doido.
Além da IA, há passagens que causam estranhamento, como a obsessão com a União Soviética e, de maneira geral, as opiniões e exemplos à esquerda no espectro político invocadas por Harari.
Estou longe de ser grande entendedor de história ou filosofia política, mas me chamou a atenção, em dado momento, o autor equiparar os efeitos práticos das ideias de Michel Foucault e Karl Marx às de figuras como Jair Bolsonaro e Donald Trump (?), numa interpretação quase literal (superficial?) de conceitos como a microfísica do poder e a luta de classes.
Em outra, ele fala a sério do mítico diretor de uma fábrica de papéis soviético que, por ter sido o primeiro a parar de aplaudir o Stálin após 11 minutos de ovação, foi mandado à prisão. “Essa história revela um tato crucial e perturbador sobre redes de informação, e em particular sobre sistemas de vigilância.” Hmmm, será?
A tal história que impressionou Harari aparece em Arquipélago Gulag (1973), de Aleksandr Soljenítsin, livro que que denunciava no Ocidente os abusos e os absurdos do stalinismo, ainda que longe de ser um relato, digamos… literal do período — no geral, o livro é encarado como uma metáfora/paródia.
Será que o Harari estaria interessado em uma oportunidade com retorno garantido de 20% ao mês e risco zero desta criptomoe
***
Em alguns momentos de Nexus, Harari diz que a história não é determinística e que a IA não tem consciência, afirmações que soam incoerentes com as previsões apocalípticas da revolução das máquinas e o crédito exagerado à autonomia da IA, dispostos nas outras páginas do mesmo livro.
Julgando aqui, do alto da minha ignorância, não acho que o alerta do livro seja descabido, só mal dimensionado, alarmista e por razões distintas, quase opostas às dadas pelo autor.
Se existe um risco a nós, ele vem não da inteligência, mas da burrice artificial: sistemas automatizados, programados por pessoas (gananciosas, de má-fé e/ou negligentes), gerando resultados imprevisíveis que nos colocam em labirintos burocráticos kafkanianos ou em pé de guerra, sem que os verdadeiros culpados (seres humanos, de carne e osso) sejam responsabilizados ou mesmo identificados.
Como o que aconteceu com os executivos da Meta no massacre dos rohingyas em Mianmar.
Sabe quando a internet sai do ar, aí você liga para o suporte da operadora e o atendente diz que é uma “instabilidade no sistema”? Em um sentido existencial, acho que é a situação que resume o Nexus de Yuval Harari.
Mais do que os incômodos com a forma, os exemplos e o argumento, Nexus me deixou preocupado com o meu próprio discernimento. Há pouco mais de uma década li Sapiens: Uma breve história da humanidade, livro que catapultou Harari à fama, e lembro de ter gostado bastante. Terei eu mudado, o autor, ou Nexus é um ponto fora da curva?
A cópia de Nexus que li foi recebida da editora Companhia das Letras. (Obrigado, Companhia das Letras!)
Conheci o autor através do livro Homo Deus: Uma breve história do futuro. Fiquei sabendo depois que esse livro é basicamente uma reedição do Sapiens com uns pitacos de tecnologia – bem rasos, diga-se de passagem. Pode ser o mesmo caso do Nexus.
Muita gente trata ele como autor estrela porque ele é liberal e as ideias dele são do agrado do Tio Sam. Não sei se é o caso do Nexus, mas em Homo Deus ele rasgava elogios ao capitalismo sempre que podia. Na minha visão, Harari é uma espécie de George Orwell moderno, menos radical e fanboy do Vale do Silício.
Acho que o recurso ao Stalinismo para falar de situações totalitárias (e não outros regimes totalitários) se dá não só pela origem/público-alvo do autor no momento da escrita (gente lá do norte do planeta), mas também pelo fato de ser o regime totalitário que mais durou no século passado. Mas a quantidade de exemplo de situação totalitária que rolou na URSS sob Stálin é tão grande que dava para fazer comparação sem cair na parábola.
Acho que o Harari é digno do “Selo Olavo de Carvalho de Psicodelia Argumentativa”.
Sobre a fixação com a CCCP, rapaz eu me divirto em como conseguem transformar um simples ato de aplauso em uma situação punitiva perpetrada pelo ditador Stalin. É nível “Kim Jong-un matou o tio com um míssil pq ele assistiu um dorama proibido”.
Concordo contigo que há uma passagem de pano às empresas e responsáveis. E também acho muito estranha a fixação com a União Soviética.
Sobre a influência em humanos, talvez o engenheiro do Google seja um doido, mas ele é o único? Se o impacto ficasse restrito só aos vulneráveis, já não seria considerável? Mas pra além disso, acho importante o argumento dele de que, a medida que as coisas ficam mais complexas e a gente não consegue entender as previsões e respostas, a IA se torna mais um oráculo e o estrago é maior.
Outro argumento é que, a medida que você vai usando a autonomia da IA, você vai delegando e confiando mais nela e parando de supervisionar. Um exemplo são os motoristas de Teslas, que começam com a mão no volante e prestando atenção, mas a medida que ficam confortáveis com o uso deixam de supervisionar e relaxam. Me parece natural. Acho que isso acontece com a maioria das pessoas que usam sistemas autônomos, mas não tenho os dados.
Eu achei interessante o argumento estranho de que Marx e Trump concordam em uma coisa: a humanidade é sempre uma disputa de poder. Acho que é totalmente discutível a forma que ele coloca, no mínimo, mas pra mim quem coloca melhor essa questão é Nego Bispo. Ele disse algo no sentido de que as pessoas colocam como se Marx fosse o final, como se quando o que Marx propôs fosse implementado, aí estaria tudo bem e não disputado, mas isso ainda é uma visão que coloca o trabalho como central e o que eu quero não é dedicar minha vida ao trabalho, mas dedicar a estar próximo a quem eu amo, amigos etc. Pra mim é isso. Marx e Trump discutem política, economia e trabalho (não que Trump discuta) por vieses opostos, mas ainda colocam isso como centrais à existência humana. Harari pincela, Nego Bispo é muito mais assertivo.
Eu concordo contigo, Nexus não é descabido, mas é muito mal dimensionado e, acrescentaria, direcionado. Os problemas maiores com a IA são outros. Essa passada de pano que ele da aos responsáveis não colabora nesse sentido. Dito isso, ele escreve bem e levanta pontos interessantes, ainda que, claro, tudo tenha que ser lido com muito cuidado, justamente pq ele escreve bem.
Sobre a questão final, acho que todos nós mudamos. Sapiens é o melhor livro dele, disparado. Homo Deus achei fraco (não tenho paciência pra futurologia, ainda que as preocupações e direções levantadas tenham algum fundamento), tirando as discussões inicias sobre consciência, que são interessantes. 21 lições é novamente fraco e genérico – já martela em IA. Nexus é um pouco melhor que os 2 antecessores, mas novamente não é a área dele, ele não tem expertise pra falar e achei que bebe de poucas fontes – ainda que tenha a Máquina do Caos como uma grande referência. Existem argumentos válidos e interessantes, ainda que ache que não aborda as questões principais.
Pra mim o grande mérito dele é levantar questões. Em Sapiens, como tudo que construímos são ideias e como essas construções nos governam. Em Nexus, preocupações válidas sobre como direcionamos essa tecnologia que provavelmente vai ser a maior invenção da história (esqueça hype de empresa, mas pense no AlphaFold[https://youtu.be/P_fHJIYENdI?si=MUEv9l9SPrsIQHjA] e suas implicações e no crescimento exponencial da capacidade da IA). Como ele escreve em Sapiens e repete em Nexus: “As escolhas da história não são feitas em prol dos seres humanos”. Pra mim isso é fundamental.
Todo mundo fala sobre o problema do alinhamento da IA. Pra mim, um problema mais fundamental é o problema de nosso alinhamento produtivo. Se as escolhas da história, feita por humanos, não são feitas em nosso favor, como é que a gente resolve isso? Como é que a gente molda nossos sistemas pra que as escolhas beneficiem a nós, que compomos ele? O sistema econômico é a maior máquina que o ser humano já inventou (muito, mas muito maior que a IA – Pedro pro beijo Daltro) e ele não trabalha alinhado aos valores humanos. Pelo contrário, ele sempre constrói essas distorções. Esse é o alinhamento mais urgente que a gente tem que resolver. É isso que causa crise climática e é isso que pode causar uma IA catastrófica.
Adorei o texto, mergulhei na tua resposta/comentário :)
Ganhei um exemplar e não cheguei a ler o Sapiens, aí depois de ler o The Dawn of Everything (O despertar de tudo, na tradução brasileira) de Graeber e Wengrow, fiquei com uma impressão muito ruim do Harari, desanimei de ler.
Eu não estou entre os muitos leitores de Sapiens, mas li o livro seguinte do Harari, Homo Deus. Logo no começo desse livro ele tece loas
ao mundo moderno por estar finalmente livre das pragas antigas da doença e da guerra. Só que não demorou pro mundo entrar na pandemia de covid e pras autoridades de saúde passarem a alertar do perigo de novas doenças que podem pôr o planeta em alerta. E não demorou também pro governo do país em que o Harari vive começar um processo de expansão bélica e limpeza étnica vergonhosa, com ajuda da mais “moderna” potência do mundo atual. É um autor que escreve bem, realmente, mas os livros dele têm aquela superficialidade e falta de compromisso com as reais mazelas do mundo que temperam muito best-seller que se vê por aí.
É muito tenebroso de ler adorações ao mundo moderno, esse mesmo mundo que passa por cima do planeta terra em nome do lucro de poucos.
Este autor já é desacreditado há algum tempo por vários intelectuais. Li esses dias “O despertar de tudo” e os autores descascam o cara.
“Há pouco mais de uma década li Sapiens: Uma breve história da humanidade, livro que catapultou Harari à fama, e lembro de ter gostado bastante. Terei eu mudado, o autor, ou Nexus é um ponto fora da curva?”
Talvez na época que você leu Sapiens você era um pouco mais ingênuo, porque Sapiens é um livro bem ruim do ponto de vista metodológico/científico. Eu fui enfeitiçado pelo hype envolta desse livro e acabei comprando ele na época. O Harari pega boas ideias de um monte de cientistas sérios e não dá nenhum crédito, não cita fonte e esconde fatos, levando o leitor a pensar que aquelas ideias interessantes são do próprio Harari. Ele também apresenta conceitos de senso comum que são claramente psuedocientíficos, como a ideia de “progresso social”, um conceito abandonado na historiografia há muito tempo justamente porque não é científico e favorece visões de mundo racistas. Além de tudo isso, ele escreve quase que inteiramente por analogias, (o que me faz pensar naquele meme “analogy is my passion) o que leva muitas vezes a argumentos falaciosos. Ele também em um paragrafo apresenta uma hipótese, para dois ou três paragrafos depois tomar aquela hipótese como verdade, o que não faz sentido do ponto de vista científico/filosófico. Um exemplo: na pág. 114 ele afirma: “Os caçadores-coletores não ligavam para o futuro porque viviam um dia de cada vez, tendo dificuldades em conservar comida ou acumular posses […] não havia motivo para se preocupar com coisas que escapavam a seu controle”, e ele usa esse argumento para sustentar a ideia de que esse comportamento só existiria a partir do estilo de vida componês. Não tem nenhuma evidência arqueológica que comprove essa afirmação dele, e pior: nas publicações atuais e da época do lançamento do livro já afirmavam o contrário: grupos caçadores-coletores são diversos e têm organizações sociais diversas.
Em primeiro lugar, Foucault e Marx são equivalentes a Bolsonaro e Trump? Quero beber até soltar uma pérola dessas.
E, sinceramente, acho que nós que mudamos. O Harari tem o mesmo discurso universalista de sempre. De Sapiens a Nexus, o que muda é o tema. O alarmismo, os exempllos, no mínimo, peculiares, tudo isso já tava por ali. No máximo ele perdeu a vergonha.
Ouso dizer que tu tenha mudado, li mais recentemente o Sapiens (tá na pilha de doação, inclusive) e achei superficial, estranhamente político na forma como o autor parece louvar o capitalismo e no geral, fraco. Quanto mais sei dele, mais compreendo e detesto o livro.
O discurso dele é o mesmo. Ele surfou na hype de livros que contam a trajetória da humanidade com o Sapiens e agora surfa na moda de falar de IA com esse último.
Estamos vendo a ascensão, mais uma vez, do nazifascismo na europa; O governo estaduniense elegeu um nazi com ajuda de um bilionário abertamente nazi, ninguém vai esquecer aquele sieg heil
Imagina se nosso problema fosse excesso de stalinismo, imagina se nosso problema fosse que estamos m*****o muitos nazis, estamos libertando muitas repúblicas dos fachos. Enfim, cada um tem uma visão diferente de distopia né
Acho q o unico objetivo do Harari(Hariri, como o Jones Manoel o chama) é servir de palco pra react, não é possível mano, esse cara só fala besteira #HaririNaCadeia
Sem tempo com sionista…
pois é! eu cheguei a começar sapiens ao longo dos anos e gostar, só deixei de lado porque outros livros vieram… aí esses tempos vi como ele usa o determinismo e muita coisa biológica e me deu um alerta pra ficar mais ligada. vi um roda viva com ele uns anos e gostei, mas quando ele começou a falar de AI, comecei a achar estranho. talvez por ter a visão mais próxima a q vc tem (pra não dizer igual) e a vontade de ler foi diminuindo e depois dessa review… aí já era haha ano passado eu li a máquina do caos (acho q até recomendei por aqui) e fala disso de myanmar e acho que é por aí mesmo, seres humanos & capitalismo
Obrigado Ghedin por me economizar do esforço e da perda de tempo de ler o Harari. Como sociólogo, essas comparações esdruxulas com Marx e Focault soam mais como tentativa de jogar para torcida das redes sociais do que competência intelectual (ou falta dela).
Eu sempre tive uma inclinação para ler esse Homo Sapiens, mas, após assistir alguns clips de Harari no Youtube, tecendo comparações que me fazem se contorcer, começo a me perguntar se essa leitura iria valer a pena.
Para pessoas como Harari, não tenho outra solução a não ser lhe prescrever duas faculdades de ciências da computação como remédio mais urgente, apenas pra iniciar o processo de cura.
Eu não sou dos que defendem que IA nos levará ao paraíso, longe disso. Tenho “certeza” de que muitas coisas esquisitas vão acontecer na sociedade graças a IA. Mas o que eu tenho mais “certeza” mesmo é a imprevisibilidade. A certeza de que não podemos ter “certeza” de nada, principalmente quando se trata de grandes acontecimentos que envolvem uma complexa interação de várias dimensões da Sociedade: economia, tecnologia, sociologia, biologia, etc.
Portanto, outro remédio urgente que prescrevo à pacientes como Harari é, após amarrá-lo numa cadeira e prender suas pálpebras abertas com durex, exibir um grande documentário sobre a Teoria do Caos.
Se esse documentário fosse exibido em horário nobre por 2 meses, no lugar da novela das 8 e do BigBrother, o mundo experimentaria uma paz e silêncio indescritíveis:
Nada de previsões esdrúxulas e pretensiosas, nada de Youtubers prometendo que tal criptomoeda vai explodir, ou que o político tal vai acabar com o país (político-astrologia), nada de blá blá blá futurístico. Que paz!
E livros como o de Harari iriam mofar nas prateleiras.
Opa! Fiquei interessado no documentário sobre a Teoria do Caos. Qual seria? Ando precisando de um pouco de paz…
Olá Clayton, o documentário que me referi é hipotético, porém, existem de verdade vários vídeos sobre isso no YouTube, além de artigos, etc. Isso está relacionado também com Teoria dos Sistemas Complexos, o que envolve comportamentos emergentes. Sim, é assunto meio nerd e “boring”, mas, descreve o Universo que vivemos e está intimamente ligado ao assunto em questão, que é a capacidade de prever grandes eventos ocorrendo em nossa Sociedade.
Em essência, se levarmos a ciência à risca, tipo a nível Spock, pode-se descartar com segurança qualquer predição que vemos na mídia, não importa a credibilidade das fontes ou quantos prêmios Nobels o tal especialista tenha na estante. Mas claro que, na prática, não é assim tão simples: não somos como Spock, hahah.
Tentei ler mas desisti nas primeiras vinte páginas por causa do liberalismo quase fanático. Parte do princípio que essa doutrina é uma verdade absoluta. Não é à toa que publicações como The Economist ou Estadão amam Harari.
Bom… Sapiens já me causou alguma estranheza. Não lembro mais dos detalhes, mas lembro de algum incômodo com a fragmentação dos exemplos e o jeito como ele articulava as ideias deduzidas a partir dali. Cheguei a me deparar com Nexus, mas deixei passar propositalmente.
Não se sinta sozinho, também gostei bastante do Sapiens, depois li o Homo Deus e já achei muito mais fraco.
Será que na próxima edição vai ter um capítulo falando dos usos absuedos da IA pelo exército de Israel?
Ah, excelente descrição que você cunhou, “labirintos burocráticos kafkanianos”. Hoje com humanos do outro lado da linha já é um inferno, com IA vai ser outro nível mesmo.
Respondendo sua pergunta no final, acredito que você mudou, Ghedin. O Harari sempre foi um engodo.
Quando vi há uns meses uma entrevista com ele sobre esse livro Nexus, fiquei pasmo com a quantidade de bobagens que ele proferiu, demonstrando claramente não fazer a menor ideia sobre o que é IA. Um papo muito estranho de que IA não é uma ferramenta, mas um agente… Uma das coisas mais hilárias foi ele ter dito que o ChatGPT ligou por vontade própria para um serviço a fim de que um humano resolvesse um captcha pra ele, veja você. E o pior são as conclusões em cima desse suposto fato. Essa galera escala em 2 segundos pra coisas completamente alucinadas, e com aquele tom de autoridade, quase um gênio.
Uma das supostas epifanias que ele teve (ainda sobre o vídeo acima) foi associar a informação nos tempos de hoje com comida, sugerindo que vivemos uma época onde é preciso fazer uma dieta de informação para não ficarmos mentalmente obesos. Ora, essa metáfora já foi feita há pelo menos 20 anos (dica: e não por ele), e o cara quer sair dessa como se tivesse descoberto algo inédito e incrível. É constrangedor, pra dizer o mínimo.
E como já tinha visto, anos antes, o Jones Manoel demonstrando uma longa lista de equívocos e conclusões suspeitas num outro vídeo do Harari (nesse caso sobre História), percebi que o sujeito é um oportunista que simplesmente escreve bem (e isso se não usa ghostwriter…).
Não é o primeiro nem será o último fanfarrão com os holofotes em cima, não é mesmo? Vida que segue.
Para mim, o encanto se quebrou quando ele concedeu uma entrevista ao Fantástico, uns dois ou três anos atrás. Nem lembro o assunto, tamanha a surpresa que fiquei com as respostas — um monte de platitudes e superficialidades.
O discurso dele, como aponto no texto, segue à risca a cartilha de empresas como OpenAI, Meta e Google. Com Nexus, ele dá respaldo a delírios a que os executivos dessas empresas se apegam para continuar levantando grana ou impulsionando o valor de ações enquanto enganam meio (todo o?) mundo.
eu me lembro dessa entrevista e lembro que passei a desconsiderar tudo que ele falava depois dela, foi uma série de absurdos (tb não lembro o conteúdo, mas lembro minha perplexidade)
Aquele Steven Pinker tentou surfar essa onda também com um livro que diz que a colonização fez bem pra o mundo por que agora temos menos violência. Mesma onda de afirmações absurdas, exemplos toscos, generalizações sem cabimento, interpretações freestyle de dados.
É uma receita de bolo aparentemente seguida por vários. Alguns, como o Harari, estão se dando bem e fazendo muito dinheiro.