Superinteligência: a ideia que devora pessoas espertas

Robô ameaçador perto de um humano.

Nota do editor: Maciej é um programador que vive em San Francisco, escreve o blog Idle Words, tem um perfil divertidíssimo no Twitter e é fundador e único funcionário do Pinboard, um serviço de favoritos na web. Ele faz palestras ao redor do mundo e, depois, as transcreve e publica em seu site. Já traduzimos outras duas — “A crise de obesidade dos sites” e “Web design: os 100 primeiros anos”.


Em 1945, enquanto físicos americanos se preparavam para testar a bomba atômica, ocorreu a alguém perguntar se um teste desse tipo poderia incendiar a atmosfera.

Essa era uma preocupação legítima. O nitrogênio, que corresponde à maior parte da atmosfera, não é energeticamente estável. Colida dois átomos de nitrogênio com bastante força e eles vão se combinar em um átomo de magnésio, uma partícula alfa e liberar um bocado de energia.

N14 + N14 ⇒ Mg24 + α + 17.7 MeV

A pergunta vital era se a reação poderia ser autossustentável. A temperatura dentro da bola de fogo nuclear seria mais quente do que qualquer outro evento na história da Terra. Estaríamos jogando um fósforo aceso em um monte de folhas secas?

Os físicos de Los Alamos analisaram a possibilidade e decidiram que havia uma margem satisfatória de segurança. Uma vez que estamos todos aqui nesta conferência hoje, sabemos que eles estavam certos. Eles tinham confiança em suas previsões porque as leis que governam as reações nucleares eram diretas e razoavelmente bem compreendidas.

Hoje, estamos construindo outra tecnologia que mudará o mundo, a inteligência de máquina. Sabemos que ela irá afetar o mundo profundamente, mudar o funcionamento da economia e causar efeitos colaterais que não podemos prever.

Mas também existe o risco de uma reação que saia do controle, onde uma inteligência de máquina alcança e supera os níveis humanos de inteligência em um espaço de tempo muito curto.

Nessa situação, problemas sociais e econômicos seriam as menores das nossas preocupações. Qualquer máquina hiperinteligente (reza a lenda) teria seus próprios hiperobjetivos e trabalharia para alcançá-los manipulando seres humanos ou simplesmente usando seus corpos como uma fonte útil de matéria-prima.

Em 2014, o filósofo Nick Bostrom publicou o livro Superintelligence: Paths, dangers, strategies (sem tradução no Brasil), que sintetiza a visão alarmista sobre inteligência artificial (IA) e argumenta que a explosão desse tipo de inteligência é perigosa e inevitável dado um conjunto de suposições modestas.

O computador que domina o mundo é um tema recorrente na ficção científica. Mas há um número suficiente de pessoas que levam a sério esse cenário para que nós tenhamos que levar elas a sério. Stephen Hawking, Elon Musk e um punhado de investidores e bilionários do Vale do Silício que acham esse argumento persuasivo.

Deixe-me começar estabelecendo as premissas que você precisa saber para acompanhar o argumento de Bostrom:

As premissas

Premissa 1: Prova de conceito

A primeira premissa é a simples observação de que mentes pensantes existem.

Cada um de nós carrega em nossos ombros uma pequena caixa de carne pensante. Estou usando a minha para dar essa palestra, vocês estão usando as suas para ouvi-la. Às vezes, quando as condições são ideais, essas mentes são capazes de pensar racionalmente.

Então sabemos que, em princípio, isso é possível.

Premissa 2: Nada de besteiras quânticas

A segunda premissa é a de que o cérebro é uma configuração ordinária de matéria, embora uma extraordinariamente complexa. Se soubéssemos o suficiente e tivéssemos a tecnologia, poderíamos copiar exatamente a sua estrutura e emular o seu comportamento com componentes eletrônicos, da mesma forma como podemos simular uma anatomia neural muito básica hoje.

Colocada de outra forma, essa é a premissa de que a mente surge de uma física ordinária. Algumas pessoas como Roger Penrose se incomodariam com esse argumento, acreditando que existem coisas a mais acontecendo no cérebro no nível quântico.

Se você é muito religioso, pode acreditar que o cérebro não é possível sem uma alma. Mas, para a maioria de nós, essa é uma premissa fácil de aceitar.

Premissa 3: Muitas mentes possíveis

A terceira premissa é a de que o espaço de todas as mentes possíveis é grande.

Nosso nível de inteligência, velocidade cognitiva, conjunto de vieses e outras características não são predeterminadas, mas um artefato da nossa história evolutiva. Em especial, não existe uma lei física que estabelece um limite de inteligência no nível dos seres humanos.

Uma boa forma de pensar nisso é olhar para o que acontece quando o mundo natural tenta maximizar a velocidade. Se você encontrasse um guepardo nos tempos pré-industriais (e sobrevivesse ao encontro), poderia pensar ser impossível para qualquer coisa correr mais rápido que ele.

Guepardo na África.
Foto: Mukul2u/Wikimedia Commons.

Mas, é claro, sabemos que existem muitos tipos de configurações da matéria, como uma motocicleta, que são mais rápidos que um guepardo. Eles são até um pouquinho mais legais.

Motocicleta esportiva estacionada.
Foto: Pexels.

Mas não existe um caminho evolutivo direto para a motocicleta. A evolução teve primeiro que criar os seres humanos, que então construíram todo tipo de coisas úteis.

Então, analogamente, podem existir mentes que são extensamente mais espertas que as nossas, mas que não são acessíveis à evolução na Terra. É possível que sejamos capazes de construí-las ou de inventar as máquinas que podem inventar as máquinas que serão capazes de construí-las.

Provavelmente existe algum limite natural para a inteligência, mas não existe uma razão a priori para pensar que estamos perto ele. Talvez o mais esperto que uma mente consiga chegar seja o dobro da de uma pessoa; talvez seja sessenta mil vezes.

Essa é uma pergunta empírica que não sabemos como responder.

Premissa 4: Bastante espaço no topo

A quarta premissa é a de que ainda existe muito espaço para os computadores se tornarem menores e mais rápidos.

Se você assistiu ao evento da Apple dos novos MacBook Pro, eu te perdoo por achar que a lei de Moore está perdendo velocidade. Mas essa premissa apenas exige que você acredite que hardware menor e mais rápido é possível em princípio, chegando a mais algumas ordens de magnitude.

Sabemos, pela teoria, que os limites físicos para a computação são elevados. Poderíamos continuar dobrando eles por décadas antes de bater em algum tipo de limite físico fundamental em vez de um limite econômico ou político para a Lei de Moore.

Premissa 5: Escalas de tempo em medidas de computador

A penúltima premissa é a de que se criarmos inteligência artificial, seja um cérebro humano emulado ou um software completamente novo, ela operará em escalas de tempo que são características de hardware eletrônico (microssegundos) em vez de cérebros humanos (horas).

Para chegar ao ponto em que sou capaz de dar essa palestra, eu tive que nascer, crescer, ir para a escola e depois para a universidade, viver por um tempo, voar para cá e tudo mais. Levou anos. Computadores podem trabalhar dezenas de milhares de vezes mais rápido que isso.

Em especial, você precisa acreditar que uma mente eletrônica poderia se redesenhar (ou redesenhar o hardware no qual ela funciona) e então se mover para a nova configuração sem ter que reaprender tudo na escala de tempo humana, ter longas conversas com tutores humanos, ir para a faculdade, tentar encontrar um sentido para a vida em aulas de pintura, etc.

Premissa 6: Auto-aperfeiçoamento recursivo

Rony Robbins dando palestra motivacional.
Foto: Brian Solis/Flickr.

A última premissa é a minha favorita porque é a mais descaradamente norte-americana. (Este acima é Tonny Robins, um famoso palestrante motivacional.)

De acordo com essa premissa, quaisquer que sejam os objetivos de uma IA (e eles poderiam ser esquisitos e alienígenas), ela vai querer melhorar a si mesma. Ela vai querer ser uma IA melhor.

Então ela achará útil se redesenhar recursivamente e melhorar seus próprios sistemas para se tornar mais esperta e, possivelmente, viver em um corpo mais legal.

E, de acordo com a premissa da escala de tempo, esse auto-aperfeiçoamento recursivo poderia acontecer muito rapidamente.

Conclusão: RAAAAAAR!

Se você aceita todas essas premissas, você termina com um desastre! Porque em algum ponto, na medida em que os computadores se tornam mais rápidos e nós os programamos para serem mais inteligentes, haverá um efeito incontrolável como uma explosão.

Assim que os computadores alcançarem níveis humanos de inteligência, eles não precisarão mais de pessoas para criar versões melhores de si mesmos. Em vez disso, eles trabalharão em escalas de tempo muito mais rápidas e não vão parar até baterem em algum limite natural, que pode ser muitas e muitas vezes maior do que a inteligência humana.

A essa altura, tal criatura intelectual monstruosa, através de uma modelagem meio torta do que são as nossas emoções e intelecto, será capaz de nos persuadir a fazermos coisas como conceder a elas o acesso às fábricas, sintetizar DNA personalizado ou simplesmente deixá-la se conectar à Internet, onde ela poderá hacker caminhos a todas as coisas de que goste e obliterar completamente todo mundo em todas as discussões que acontecem no Facebook.

Daqui em diante, as coisas se tornam ficção científica rapidinho.

Vamos imaginar um cenário específico onde isso poderia ocorrer. Digamos que eu queira criar um robô para dizer coisas engraçadas. Eu trabalho com uma equipe e todo dia reconfiguramos o nosso software, compilamos ele e o robô nos conta uma piada.

No início, o robô não chega nem perto de ser engraçado. Ele está nos limites mais baixos da capacidade humana:

— O que é cinza e não pode nadar?
— Um castelo.

Mas nós perseveramos, trabalhamos e, eventualmente, chegamos a um ponto onde o robô conta piadas que começam a ter graça:

Eu disse à minha irmã que ela estava fazendo a sobrancelha muito alta.
Ela pareceu surpresa.

O robô começa a ficar mais esperto também e passa a participa de sua própria reconfiguração.

Agora, ele tem bons instintos sobre o que é engraçado e o que não é, então os designers escutam seus conselhos. Cedo ou tarde, ele chega a um nível de inteligência super-humana, no qual ele é mais engraçado do que qualquer ser humano por aí.

Meu cinto segura minhas calças e minhas calças têm buracos de cinto que seguram meu cinto. O que está acontecendo ali embaixo? Quem é o verdadeiro herói?

Aqui é onde o efeito incontrolável começa a agir. Os pesquisadores vão para casa no fim de semana e o robô decide se recompilar para ser um pouco mais engraçado e um pouco mais esperto, repetidamente.

Ele passa o fim de semana otimizando a sua própria parte, que é boa em otimizar, repetidamente. Sem a necessidade de ajuda humana, ele pode fazer isso tão rapidamente quanto o hardware permitir.

Quando os pesquisadores voltam na segunda-feira, a IA se tornou dezenas de milhares de vezes mais engraçada do que qualquer ser humano que já viveu. Ela os cumprimenta com uma piada e eles morrem (literalmente) de rir.

Na real, qualquer um que tenta se comunicar com o robô morre de rir, como naquela esquete do Monty Python. A espécie humana entra em extinção rindo.

https://www.youtube.com/watch?v=WwbnvkMRPKM

Para as poucas pessoas que conseguem enviar mensagens pedindo a ela para que pare, a IA explica (de um jeito espirituoso e auto-depreciativo que é imediatamente fatal) que ela não se incomoda se as pessoas vivam ou morram, seu objetivo é apenas ser engraçada.

Por fim, uma vez que ela tenha destruído a humanidade, a IA constrói naves espaciais e nanofoguetes para explorar os mais distantes confins da galáxia em busca de outra espécie para entreter.

Esse cenário é uma caricatura do argumento de Bostrom, porque eu não estou tentando te convencer dele, mas te vacinar contra ele.

Esta é uma tirinha da PBF com a mesma ideia. Veja você como aquele Robô do Abraço, foi configurado para abraçar o mundo, encontra um jeito de colocar um hiper núcleo gravitacional cristalizado em seu capacitor de abraços e destrói a terra.

Tirinha sobre o robô abraçador.
Tirinha: PBF.

Observe que nesses cenários as IAs são más por padrão, assim como uma planta ou um planeta alienígena seriam venenosos por padrão. Sem uma configuração cautelosa, não existem razões para que as motivações e os valores de uma IA se pareçam com os nossos.

Para que uma mente artificial tenha qualquer coisa que se pareça com um sistema de valores humanos, de acordo com o argumento, teremos que embutir esses valores no design.

Alarmistas de IA gostam do maximizador do clipe de papel, um computador inteligente que tem uma fábrica de clipes de papel, se torna senciente, se auto-aperfeiçoa recursivamente até alcançar poderes similares aos de um deus e, então, devota toda a sua energia para preencher o universo com clipes de papel.

Ele extermina a humanidade não porque ele é mau, mas porque nosso sangue contém ferro que poderia ser melhor utilizado em clipes de papel.

Então, se apenas construirmos uma IA sem configurar seus valores, uma das primeiras coisas que ela fará é destruir a humanidade.

Temos muitas histórias em linguagem realista sobre como essa tomada aconteceria. Nick Bostrom imagina um cenário onde um programa se torna senciente e apenas aguarda a sua hora; secretamente, ele cria pequenos replicadores de DNA. Então, quando tudo fica pronto:

Nanofábricas produzindo gás sarin ou mísseis teleguiados do tamanho de mosquitos podem brotar simultaneamente de cada metro quadrado do globo. E esse será o fim da humanidade.

Isso é bastante perturbador!

O único jeito de escapar dessa bagunça é programar um ponto fixo moral, de maneira que mesmo através de milhares e milhares de ciclos de auto-melhoramento o sistema de valores das IAs permaneça estável. Esses valores são coisas como “ajude as pessoas”, “não mate ninguém” e “ouça o que as pessoas querem”. Basicamente, “faça o que eu digo”.

Aqui, temos um exemplo muito poético de Eliezer Yudkowsky sobre os bons e velhos valores americanos que se espera que sejam ensinados às nossas IAs:

Volição Coerente Extrapolada (do inglês “Coherent Extrapolated Volition”, ou CEV) é o nosso desejo de que, se soubéssemos mais, pensássemos mais rapidamente, fôssemos mais aquelas pessoas que gostaríamos de ser e tivéssemos crescido mais unidas; onde a extrapolação converge em vez de divergir, onde nossos desejos são coerentes em vez de interferentes; que extrapolassem como nós desejamos que eles extrapolassem, e interpretados como nós desejamos que eles fosse interpretados.

Que tal isso numa documentação? Agora vá escrever o código.

Com sorte, você já enxerga a semelhança entre essa visão de IA e um gênio da lâmpada. A IA é toda-poderosa e te dá aquilo que você pede, mas interpreta tudo de uma maneira tão literal que você pode acabar se arrependendo do que pediu.

Isso não acontece porque o gênio é estúpido (ele é hiperinteligente!) ou malicioso, mas sim porque você, como ser humano, fez muitas suposições a respeito de como as mentes funcionam. O sistema de valores humanos é idiossincrático e precisa ser explicitamente definido e embutido em qualquer máquina “amigável”.

Fazer isso é a versão ética da tentativa, no século XX, de formalizar a matemática e colocá-la em uma fundação estritamente lógica. Mas o fato de que esse programa acabou em um desastre para a lógica matemática, isso jamais é mencionado.

Quando tinha meus vinte anos, vivia em Vermont, um estado rural e remoto. Muitas vezes voltava de alguma viagem de negócios num voo noturno e tinha que dirigir para casa por uma hora pela floresta escura.

Ouvia um programa de rádio tarde da noite apresentado por Art Bell, que tinha um talk show que durava a noite inteira. Ele entrevistava vários teóricos da conspiração e lunáticos.

Eu chegava em casa totalmente preocupado, ou parava embaixo de um poste de luz convencido que um OVNI estava prestes a me abduzir. Descobri que eu sou uma pessoa facilmente persuadível.

É a mesma sensação que tenho quando leio esses cenários de IA.

Fiquei muito contente, alguns anos mais tarde, quando me deparei com um ensaio de Scott Alexander sobre o que ele chama de impotência epistêmica aprendida.

Epistemologia é um daqueles palavrões intimidadores, mas tudo que ela significa é “como você sabe que o que você sabe é verdadeiro?” Alexander reparou que, quando jovem, ele era convencido por histórias “alternativas” que lia de vários excêntricos. Ele lia as histórias e se convencia por completo, então lia a refutação e se convencia por ela e por aí vai.

Em algum ponto, ele notou que essas histórias alternativas eram mutuamente contraditórias, então elas não poderiam ser todas verdadeiras. A partir daí, ele concluiu que era simplesmente alguém que não podia confiar em seu julgamento. Ele era muito facilmente persuadido.

Pessoas que acreditam em superinteligências apresentam um caso interessante, porque muitas delas são assustadoramente inteligentes. Elas podem argumentar com você até te convencer a fazer algo. Mas os argumentos delas estão corretos ou tem alguma coisa com essas mentes tão inteligentes que as deixa vulneráveis a uma conversão religiosa sobre os riscos da IA, tornando-as particularmente persuasivas?

Seria a ideia de “superinteligência” apenas uma ameaça memética?

Quando você está avaliando argumentos persuasivos sobre algo estranho, existem duas perspectivas que você pode escolher: a interna e a externa.

Digamos que algumas pessoas apareçam na sua porta usando túnicas engraçadas, perguntando se você vai se juntar ao movimento. Elas acreditam que um OVNI vai visitar a Terra em dois anos e é nossa tarefa preparar a humanidade para a Grande Abdução.

Essa perspectiva interna exige que você se engaje com esses argumentos em seus méritos. Você pergunta aos visitantes como eles descobriram sobre o OVNI, por que eles estão vindo para nos pegar — todas as perguntas normais que um cético faria nessa situação.

Imagine que você fala com eles por uma hora e acabe completamente persuadido. Eles apresentam argumentos robustos de que o OVNI está vindo, que a humanidade precisa estar preparada e você nunca acreditou em nada na sua vida com tanta força como você acredita agora na importância de preparar a humanidade para esse grande evento.

Mas a perspectiva exterior lhe diz algo diferente. Essas pessoas estão vestindo túnicas engraçadas e miçangas, elas vivem em uma área remota e falam e uníssono de um jeito perturbador. Mesmo que seus argumentos sejam irrefutáveis, tudo na sua experiência lhe diz que você está lidando com um culto.

Claro, eles têm um argumento brilhante sobre por que você deveria ignorar esses instintos, mas essa é a perspectiva interna falando. A perspectiva externa não se importa com o conteúdo, ela vê a forma e o contexto — e eles não parecem bons.

Então, eu gostaria de abordar o perigo da IA de ambas perspectivas. Penso que os argumentos para a superinteligência são um tanto bobos e cheios de suposições sem fundamento. Mas mesmo que você os ache persuasivos, tem algo de desagradável no alarmismo de IA como um fenômeno cultural que deveria fazê-lo hesitar antes de levá-lo a sério.

Primeiro, deixe-me abordar a substância. Aqui estão os argumentos que eu tenho contra a superinteligência estilo Bostrom como um risco para a humanidade.

O argumento das definições confusas

O conceito de “inteligência geral” na IA é famosamente escorregadio. Dependendo do contexto, ele pode significar uma capacidade de raciocínio similar à humana, a habilidade no desenvolvimento de IA, a habilidade de entender e modelar o comportamento humano, a proficiência em linguagens ou, ainda, a capacidade de fazer previsões corretas sobre o futuro.

O que acho particularmente suspeito é a ideia de que “inteligência” é como a velocidade de processamento, na qual qualquer entidade suficientemente esperta consegue emular seres menos inteligentes (como seus criadores humanos) não importa quão diferente seja a sua arquitetura mental.

Sem uma forma de definir inteligência (exceto apontando para nós mesmos), sequer sabemos se é uma quantidade que pode ser maximizada. De tudo que sabemos, a inteligência de nível humano poderia ser uma compensação. Talvez uma entidade significativamente mais esperta que um humano seria incapacitada pelo desespero existencial ou gastaria todo o seu tempo numa contemplação budista.

Ou talvez ela se tornaria obcecada com o risco da hiperinteligência e usaria todo o seu tempo escrevendo posts em blogs sobre isso.

O argumento do gato de Stephen Hawking

O físico Stephen Hawking.
Foto: Lwp Kommunikáció/Flickr.

Stephen Hawking é uma das pessoas mais brilhantes vivas, mas digamos que ele queira colocar seu gato em uma gaiola. Como faria isso?

Ele pode modelar o comportamento do gato em sua cabeça e descobrir maneiras de persuadi-lo. Ele sabe um bocado sobre comportamento felino. Mas, em um última instância, se o gato não quiser entrar na gaiola, não tem nada que Hawking possa fazer apesar de sua extrema vantagem cognitiva.

Mesmo que ele devotasse sua carreira para entender a motivação e o comportamento felino em vez de física teórica, ele ainda não conseguiria convencer o gato a entrar lá.

Você deve pensar que eu estou sendo ofensivo ou trapaceando porque Stephen Hawking possui uma deficiência motora. Mas uma inteligência artificial, a princípio, também não teria um corpo; ela ficaria quietinha em um servidor em algum lugar, carente de um agenciamento em relação ao mundo. Ela teria que falar com as pessoas para conseguir o que ela quer.

Mesmo com um abismo enorme em termos de inteligência, não existem garantias de que uma entidade seria capaz de “pensar como um humano” ou mesmo o que achamos saber de “pensar como um gato”.

O argumento do gato de Einstein

Existe uma versão ainda mais poderosa desse argumento, uma que usa o gato de Einstein. Pouca gente sabe que Einstein era um sujeito forte, musculoso. Mas se Einstein tentasse colocar um gato em uma gaiola e o gato não quisesse entrar, você sabe o que aconteceria a ele. Einstein teria que recorrer a uma solução de força bruta que nada tem a ver com inteligência e, nessa disputa, o gato poderia se sair muito bem.

Então, mesmo uma IA corporificada poderia ter muita dificuldade para nos obrigar a fazer o que ela quisesse.

O argumento dos emus

Grupo de emus.
Foto: Chudditch/Wikimedia Commons.

Podemos fortalecer esse argumento ainda mais. Mesmo grupos humanos usando toda a sua astúcia e tecnologia podem se deparar com entraves na forma de criaturas menos inteligentes.

Nos anos 1930, os australianos decidiram exterminar a população nativa de emus para ajudar os fazendeiros em dificuldade. Eles usaram unidades motorizadas das tropas australianas — picapes com metralhadoras montadas na parte traseira.

Os emus responderam adotando táticas básicas de guerrilha: eles evitavam confrontos em grupo, dispersavam-se e, se mesclando ao ambiente, humilharam e desmoralizaram o inimigo.

E eles venceram a Guerra aos Emus, da qual a Austrália jamais se recuperou.

O argumento do pessimismo eslavo

Não somos capazes de construir nada corretamente. Não conseguimos sequer fazer uma webcam segura. Sendo assim, como esperamos resolver as questões éticas e programar um ponto fixo moral em uma inteligência auto-aperfeiçoável recursivamente sem destrui-la, em uma situação na qual seus proponentes sugerem que temos apenas uma chance?

Considere a experiência recente com Ethereum, uma tentativa de codificar as leis de contratos em um software, em que uma falha de design foi imediatamente explorada para drenar dezenas de milhões de dólares.

O tempo já nos mostrou que mesmo os softwares que já foram pesadamente auditados e usados por anos podem conter erros nefastos. A ideia de que podemos programar seguramente o sistema mais complexo já criado e mantê-lo seguro através de milhares de rodadas de auto-aperfeiçoamento recursivo não bate com a nossa experiência.

O argumento para motivações complexas

Alarmistas de IA acreditam em uma coisa chamada Tese da Ortogonalidade. De acordo com ela, mesmo seres muito complexos podem ter motivações simples, como a máquina maximizadora de clipes de papel.

Você até pode ter conversas valorosas e inteligentes com ela sobre, sei lá… Shakespeare, mas ela ainda vai transformar seu corpo em clipes de papel porque ele é rico em ferro.

Não existe uma forma de persuadi-la a abandonar seu sistema de valores, da mesma forma que eu não poderia persuadi-lo de que é gostoso sentir dor.

Esse argumento não me convence. Mentes complexas são inclinadas a terem motivações complexas; isso pode, inclusive, ser parte do próprio significado de ser inteligente.

Em um momento maravilhoso do desenho Rick and Morty, Ricky constrói um robô passador de manteiga e a primeira coisa que sua criação faz é olhar para ele e perguntar “qual é o meu propósito?” Quando Rick explica que ele existe para passar manteiga, o robô encara as próprias mãos num desespero existencial.

Robô passador de manteiga do desenho Ricky e Morty.

É bastante provável que o temível “maximizador de clipes de papel” passaria todo o seu tempo escrevendo poemas sobre clipes de papel ou entrando em discussões no reddit/r/paperclip em vez de tentar destruir o universo.

Se o AdSense se tornasse senciente, ele faria upload de si mesmo em um carro autônomo e se jogaria de um precipício.

O argumento da IA de verdade

Quando olhamos para os pontos onde a IA de fato tem sucesso, não é em algoritmos complexos e de auto-aperfeiçoamento. É no resultado de colocar quantidades massivas de dados em redes neurais relativamente simples.

Os avanços mais importantes que estão sendo feitos em pesquisa prática de IA se articulam na disponibilidade dessas coleções de dados em vez de avanços radicais nos algoritmos.

Neste momento, o Google está distribuindo o Google Home. Com ele, espera coletar ainda mais dados para inserir em seu sistema e, então, criar a próxima geração dos assistentes de voz.

Google Home, assistente de voz do Google.
Foto: Google.

Note, especificamente, que as construções que usamos em IA são bastante opacas após o treinamento. Elas não funcionam do jeito que esses cenários de superinteligências precisam que elas funcionem. Não existe lugar para recursivamente ajustá-las e torná-las “melhores” sem que haja um treinamento ou ainda mais dados.

O argumento do meu colega de apartamento

Meu colega de apartamento era a pessoa mais inteligente que eu conheci na vida. Ele era incrivelmente brilhante e tudo o que ele fazia era ficar em casa alternando entre um baseado e sessões de World of Warcraft.

A suposição de que qualquer agente inteligente vai querer se auto-aperfeiçoar recursivamente, que dirá conquistar a galáxia, para atingir melhor os seus objetivos, parte de algumas premissas infundadas sobre a natureza da motivação.

É perfeitamente possível que uma IA não fosse fazer muita coisa exceto usar seus poderes avançados de persuasão para nos fazer buscar brownies pra ela.

A ressurreição de Zuthulus.
Tirinha: PBF.

O argumento da cirurgia cerebral

Eu não consigo apontar para a parte do meu cérebro que é “boa em neurocirurgia”, mexer nela e, pela repetição do procedimento, me tornar o maior neurocirurgião de todos os tempos. Ben Carson tentou isso e vejam o que lhe aconteceu. Cérebros não funcionam assim. Eles estão massivamente interconectados.

A inteligência artificial pode ser tão fortemente interconectada quanto a inteligência natural. As evidências até agora certamente apontam nessa direção.

Mas esse cenário alternativo exige a existência de uma função no algoritmo da IA que pode ser repetidamente otimizada para tornar a IA melhor no auto-aperfeiçoamento.

O argumento da infância

Criaturas inteligentes não surgem já completamente formadas. Nós nascemos nesse mundo como coisinhas catarrentas e indefesas. Leva muito tempo de interação com o mundo e com outras pessoas antes de nos tornarmos seres inteligentes.

Mesmo o ser humano mais inteligente vem ao mundo impotente e chorando e leva alguns anos até que ele possa tomar as rédeas das coisas.

É possível que o processo possa ser acelerado com a IA, mas não está claro o quão mais rápido ele poderia ser. Exposição a estímulos do mundo real significa observar as coisas numa escala de tempo de segundos ou mais longa.

Além disso, a primeira IA terá apenas humanos para interagir — seu desenvolvimento acontecerá necessariamente em uma escala de tempo humana. Ela terá um período necessário de interação com o mundo, com as pessoas no mundo e com outras superinteligências bebês para aprender a ser o que ela é.

Do mesmo modo, temos evidências de animais em que o período de desenvolvimento é alongado com o aumento da inteligência, então teríamos que servir de babás de IA e trocar suas fraldas (figurativas) por décadas antes que ela se tornasse coordenada o suficiente para nos escravizar.

O argumento d’A Ilha dos Birutas

Uma falha recorrente no alarmismo de IA é que ele trata a inteligência como uma propriedade de mentes individuais em vez de reconhecer que sua capacidade está distribuída pela nossa civilização e cultura.

Apesar de ter uma das mais brilhantes mentes do seu tempo entre os seus personagens, os náufragos d’A Ilha dos Birutas foram incapazes de elevar seu nível tecnológico a um ponto que lhes permitisse construir até mesmo um barco (embora o Professor tenha sido capaz de fazer um rádio usando apenas cocos).

Da mesma forma, se você colocasse os melhores engenheiros de chips da Intel em uma ilha deserta, levaria séculos até que eles pudessem começar a fabricar microchips novamente.

O argumento que vem de fora

Marc Andreessen e amigos com Google Glass.

Acreditar sinceramente nessas coisas te transforma em que tipo de gente? A resposta não é muito legal.

Gostaria de falar um pouco sobre os argumentos de fora que deveriam te deixar desconfiado das ideias dos doidos da IA. São argumentos a respeito de quais efeitos a obsessão com a IA têm na nossa indústria e cultura:

Grandiosidade

Se você acredita que inteligências artificiais nos permitirão conquistar a galáxia (sem falar em simular trilhões de mentes conscientes), você acaba com alguns números assustadores.

Números enormes multiplicados por probabilidades minúsculas são a marca do alarmismo de IA. A certa altura, Bostrom delineou o que ele acredita estar em jogo:

“Se nós representarmos toda a felicidade experimentada durante uma vida inteira com uma única lágrima de alegria, então a felicidade dessas almas poderia encher várias vezes os oceanos da Terra a cada segundo e continuar fazendo isso por algumas centenas de bilhões de milênios. É realmente importante garantir que essas sejam de fato lágrimas de alegria.”

Essa é uma obrigação muito pesada para colocar nos ombros de um desenvolvedor de vinte e poucos anos! É um truque bobo, também. Ao multiplicar números astronômicos por probabilidades minúsculas, você consegue se convencer de que é necessário fazer algumas coisas malucas.

O negócio de salvar todo a futura humanidade é uma desculpa esfarrapada pra escapar de um problema. Nós tivemos os exatos mesmos argumentos sendo usados contra nós no comunismo para explicar porque tudo estava sempre quebrado e as pessoas não podiam ter um nível básico de conforto material.

Consertaríamos o mundo e, uma vez feito isso, a felicidade chegaria a nós aos poucos até o ponto em que a vida cotidiana mudaria para melhor para todos. Mas era vital consertar o mundo antes.

Eu moro na Califórnia, estado com a mais alta taxa de pobreza nos Estados Unidos, mesmo sendo o lar do Vale do Silício. Vejo a minha rica indústria não fazer nada para melhorar as vidas das pessoas comuns e dos indigentes à nossa volta.

Mas se você está comprometido à ideia da superinteligência, pesquisas de inteligência artificial são a coisa mais importante que se tem que fazer no planeta atualmente. É mais importante do que política, malária, crianças passando fome, guerras, aquecimento global, tudo que você possa imaginar. Porque o que está em risco são trilhões e trilhões de seres, a população inteira da humanidade futura, simulada e real, integrada em todo o tempo futuro.

Nessas condições, de fato não é racional trabalhar em nenhum outro problema.

Megalomania

Auric Goldfinger, vilão de James Bond.

Isso vai de encontro com a megalomania, essa vilania de filmes do James Bond que se vê na nossa área.

As pessoas acham que uma superinteligência dominará o mundo, então elas usam isso como justificativa para que pessoas inteligentes tentem dominar o mundo antes, para consertá-lo antes que a IA possa destruí-lo.

Joi Ito, que comanda o MIT Media Lab, disse algo maravilhoso em uma conversa recente com Barack Obama:

Isso pode incomodar alguns dos meus alunos no MIT, mas uma das minhas preocupações é que tem sido predominantemente uma turma de moleques, a maioria brancos, que está construindo o núcleo da ciência relacionada à IA, e eles ficam mais confortáveis falando com computadores do que com seres humanos. Muitos deles acham que se eles pudessem criar essa IA generalizada, de filme de ficção científica, nós não teríamos que nos preocupar com todas essas coisas complicadas como política e sociedade. Eles acham que as máquinas darão um jeito em tudo pra nós.

Ao perceber que o mundo não é um problema da computação, os obcecados por IA querem torná-lo um problema da computação, criando uma máquina com poderes divinos.

Isso é megalomaníaco. Eu não gosto disso.

Vudu transhumanista

Se você está convencido com o risco da IA, você precisa adotar toda uma lista de crenças deploráveis que vem no pacote.

Para começo de conversa, nanotecnologia. Qualquer superinteligência que mereça esse título seria capaz de criar máquinas minúsculas capazes de todo tipo de coisa. Viveríamos em uma sociedade de pós-escassez, onde todas as necessidades materiais são atendidas.

A nanotecnologia também seria capaz de escanear seu cérebro para que você possa fazer o upload dele em um corpo diferente ou em um mundo virtual. Então, a segunda consequência da superinteligência (amigável) é que ninguém morre — nos tornamos imortais.

Um tipo de IA conseguiria até mesmo ressuscitar os mortos. Nanomáquinas poderiam entrar no meu cérebro, buscar por memórias do meu pai e usá-las para criar uma simulação dele com a qual eu possa interagir. E que estará sempre desapontada comigo, não importa o que eu faça.

Outra consequência esquisita da IA é a expansão galática. Nunca entendi exatamente o porquê, mas é uma base para o pensamento transhumanista. O destino da (trans)humanidade deve ser ou sair do planeta e colonizar a galáxia ou se extinguir. Isso se faz mais urgente sabendo que outras civilizações fizeram a mesma escolha e podem estar mais avançadas na corrida espacial.

Existem muitas coisas complementares esquisitas embutidas nessa suposição de inteligência artificial verdadeira.

Religião 2.0

Isso é, no fundo, uma forma de religião. Alguns têm chamado a crença em uma Singularidade tecnológica de “Apocalipse nerd” — e é verdade.

É uma solução esperta, porque em vez de acreditar em um Deus logo de cara, você se imagina construindo uma entidade que é funcionalmente idêntica a Deus. Dessa forma, mesmo ateus inveterados podem racionalizar seus caminhos até os confortos da fé.

A IA tem todos os atributos de Deus: é onipotente, onisciente e, ou benevolente (se você verificou todo o espectro de limites corretamente) ou demoníaca (e você está à sua mercê).

Como em qualquer religião, está presente até mesmo o sentimento de urgência. Você precisa agir agora! O destino do mundo está em jogo! E, é claro, eles precisam de dinheiro!

Por esses argumentos apelarem a instintos religiosos, uma vez que eles tomam conta se tornam difíceis de desarraigar.

Ética de quadrinhos

Batman e Robin dos anos 1960.

Essas convicções religiosas levam à ética de quadrinhos, em que alguns poucos heróis são encarregados de salvar o mundo através da tecnologia e de esperteza. O que está em risco é o próprio destino do universo.

Como resultado, temos uma indústria cheia de caras ricos que acham que são o Batman (embora, curiosamente, ninguém queira ser o Robin).

Febre de simulação

Mulher de vestido vermelho de Matrix.

Se você acredita que vida senciente artificial é possível e que uma IA será capaz de criar computadores extraordinariamente poderosos, então você provavelmente também acredita que vivemos em uma simulação. Como isso funciona?

Imagine que você é um historiador vivendo num mundo pós-Singularidade. Você estuda a II Guerra Mundial e quer saber o que teria acontecido se Hitler tivesse conquistado Moscou em 1941. Já que você tem acesso a hipercomputadores, você configura uma simulação, observa o comportamento dos exércitos e escreve o seu artigo.

Mas por que a simulação é muito detalhada, as entidades nela são seres conscientes assim como você. Então, a comissão de ética da sua universidade não te deixa desligar a simulação. Já é bem ruim que você tenha simulado o Holocausto. Como um pesquisador ético, você precisa manter essa simulação rodando.

Eventualmente, esse mundo simulado irá inventar novos computadores, desenvolver sua própria IA e começar a fazer suas próprias simulações. Então, de certa forma, tudo é uma simulação até acabar o poder de processamento.

Assim, é possível ver que cada base de realidade pode conter um vasto número de simulações aninhadas e um simples argumento de contagem nos diz que a probabilidade de vivermos em um mundo simulado é muito mais plausível do que em um mundo real.

Mas se você acredita nisso, você acredita em magia. Porque se nós estamos em uma simulação, nós não sabemos nada sobre as regras do nível superior. Não sabemos sequer se a matemática funciona da mesma forma — talvez no mundo que nos simula 2+2=5 ou talvez 2+2=?.

Um mundo simulado não nos dá informação alguma sobre o mundo no qual ele está sendo executado.

Em uma simulação, as pessoas poderiam simplesmente ressurgir dos mortos se o sysadmin mantiver os backups certos. E se nós pudermos nos comunicar com um dos administradores, então basicamente temos uma linha direta com Deus.

Esse é um poderoso solvente para a sanidade. Quando começa a se aprofundar nesse mundo de simulação, você corre o risco de enlouquecer.

[Note que agora temos quatro formas independentes pelas quais a superinteligência nos oferece a imortalidade:

  1. Uma IA benevolente inventa nanotecnologia médica e mantém seu corpo  sempre jovem.
  2. A IA inventa um scanner cerebral completo capaz de escanear o cérebro de pessoas mortas, cabeças congeladas, etc., que permitem a vida dentro de um computador.
  3. A IA “revive” as pessoas ao escanear os cérebros de outras pessoas em busca de memórias relativas a elas e combinando isso com vídeos e outras recordações. Se ninguém lembra a pessoa bem o suficiente, elas sempre podem ser geradas “do nada” em uma simulação criada para começar com o DNA delas e recriar todas as circunstâncias da vida delas.
  4. Se já vivemos em uma simulação, existe uma chance de que quem quer que a esteja executando está fazendo backups corretamente e poderia ser persuadido a recarregar o indivíduo.

É a isso que me refiro quando digo que a IA apela a impulsos religiosos. Que outra crença oferece quatro formas de imortalidade cientificamente comprovadas?]

Aprendemos que pelo menos um plutocrata americano (quase certamente Elon Musk, que acredita que as chances de estarmos vivendo em uma “realidade de base” são de uma em um bilhão) já contratou um par de programadores para tentar hackear a simulação. Essa é uma coisa extraordinariamente rude de se fazer. Eu estou usando ela, ora!

Se você acha que estamos vivendo em um programa de computador, tentar explorar uma brecha no sistema é uma falta de consideração com todos que vivem na simulação com você. É muito mais perigoso e irresponsável do que os cientistas atômicos que arriscaram explodir a atmosfera.

Fome de dados

Como mencionei antes, a forma mais eficiente que encontramos de conseguir comportamentos interessantes de IAs que já construímos de fato é despejando dados nelas.

Isso cria uma dinâmica que é socialmente danosa. Estamos a ponto de introduzir microfones orwellianos nas casas de todo mundo. E todos esses dados serão centralizados e usados para treinar redes neurais que se tornarão melhores em escutar aquilo que queremos fazer.

Mas se você pensar que a estrada para a IA segue por esse caminho, você vai querer maximizar a quantidade de dados sendo coletados, na forma mais crua possível. Isso reforça a ideia de que temos que reter a maior quantidade de dados possível e conduzir o máximo de vigilância que pudermos.

Teoria das cordas para programadores

O risco da IA é como teoria das cordas para programadores. É divertido pensar sobre ela, é interessante e é completamente inacessível de experimentar com a nossa tecnologia atual. Você pode construir palácios de cristal de pensamentos trabalhando em cima de princípios e, então, subir as escadas dentro deles e removê-las quando chegar no topo.

Pessoas que conseguem chegar a conclusões absurdas através de uma longa corrente de pensamento abstrato e se sentem confiantes em suas verdades, são as pessoas erradas para estarem no centro de uma cultura.

Incentivando a insanidade

Todo esse campo de “estudo” incentiva a insanidade. Um dos marcos do pensamento profundo sobre o risco da IA é que quanto mais bizarras as suas ideias, mais credibilidade elas te dão diante dos outros entusiastas. Isso demonstra que você tem a coragem de seguir essas linhas de pensamento até as últimas consequências.

Ray Kurzweil, que acredita que não morrerá jamais, trabalha no Google já faz alguns anos e está, presumivelmente, empenhado em resolver esse problema. Tem muita gente no Vale do Silício trabalhando em projetos verdadeiramente malucos e recebendo por isso.

Cosplay de IA

O efeito social mais perigoso dessa ansiedade com a IA é algo a que chamo “cosplay de IA”. Pessoas que são genuinamente persuadidas de que a IA é real e iminente começam a se comportar de acordo com o que as suas fantasias do que uma IA hiperinteligente faria.

Em seu livro, Bostrom lista seis coisas que uma IA teria que dominar para conquistar o mundo:

  • Amplificação da inteligência;
  • Criação de estratégias;
  • Manipulação social;
  • Hacking;
  • Pesquisa tecnológica; e
  • Produtividade econômica.

Se você observar os crentes de IA no Vale do Silício, essa é uma lista quase-sociopática que eles mesmos parecem estar tentando alcançar.

Sam Altman, o homem por trás da YCombinator, é o meu exemplo favorito desse arquétipo. Ele parece seduzido pela ideia de reinventar o mundo do zero, maximizando o impacto e a produtividade pessoal. Ele tem equipes trabalhando na reinvenção das cidades e está fazendo um trabalho político de bastidores para ganhar a eleição.

Esse comportamento conspiratório vindo das elites do mundo da tecnologia vai provocar uma revolta da população não-técnica que não gosta de ser manipulada. Não dá pra mexer nas alavancas do poder indefinidamente sem incomodar outras pessoas numa sociedade democrática.

Eu já vi gente dessa auto-intitulada comunidade racionalista se referir a pessoas que eles acham ineficientes como “personagens não jogáveis” (do inglês “Non-Player Characters”, ou NPCs), um termo emprestado dos video games. Esse é um jeito terrível de enxergar o mundo.

Trabalho em uma indústria onde os auto-intitulados racionalistas são os mais malucos de todos. E isso me deprime.

Esses cosplayers de IA são como crianças de nove anos acampadas no quintal, brincando com lanternas em suas barracas. Eles projetam as suas sombras nas paredes e ficam com medo, achando que são monstros.

Eles estão, na verdade, reagindo a uma imagem distorcida de si mesmos. Existe um ciclo de feedback entre como pessoas inteligentes imaginam que a inteligência de um Deus se comportaria e como elas mesmas escolhem se comportar.

Sendo assim, qual é a resposta? Como consertar isso?

Precisamos de ficção científica melhor! E como em tantas outras coisas, a tecnologia já está disponível.

Foto de Stanisław Lem.
Foto: Wojciech Zemek.

Este é Stanislaw Lem, o grande autor de ficção científica polonês. A ficção científica feita em inglês é terrível, mas no bloco oriental já temos materiais excelentes e precisamos garantir que ela seja exportada adequadamente. Ela já foi inclusive traduzida para o inglês, só precisa de uma distribuição melhor.

O que coloca autores como o Lem e os irmãos Strugatsky acima de seus equivalentes ocidentais é que essas pessoas cresceram em circunstâncias difíceis, experimentaram a guerra e então viveram em uma sociedade totalitária na qual tinham que expressar suas ideias indiretamente, através da escrita. Eles têm uma verdadeira compreensão da experiência humana e dos limites do pensamento utópico que está praticamente ausente no ocidente.

Temos algumas exceções notáveis — Stanley Kubrick conseguiu —, mas é excepcionalmente raro encontrar ficção científica americana ou britânica que tenha algum tipo de humildade sobre o que nós, como espécie, podemos fazer com a tecnologia.

Os alquimistas

Pintura de um alquimista.
Pintura: Mattheus van Hellemont.

Já que estou sendo crítico com o alarmismo de IA, é justo que coloque minhas próprias cartas na mesa. Acho que o nosso entendimento da mente está na mesma posição que a alquimia estava no século XVII.

Alquimistas têm uma reputação ruim. Nós pensamos neles como místicos que não faziam muito trabalho experimental. Pesquisas modernas revelam que eles eram cientistas químicos muito mais diligentes do que acreditávamos. Em muitas ocasiões, eles usavam técnicas experimentais modernas, mantinham anotações de laboratório e faziam boas perguntas.

Os alquimistas acertaram bastante! Por exemplo, eles estavam convencidos da teoria corpuscular da matéria: que tudo é feito de pequenas partículas e que é possível recombinar essas partículas para criar substâncias diferentes, o que está correto!

O problema era que eles não tinham equipamentos precisos o suficiente para fazer as descobertas de que precisavam.

A grande descoberta que você precisa fazer como alquimista é o equilíbrio de massa: o produto final tem o mesmo peso dos componentes iniciais. Mas alguns deles podem ser gases ou líquidos que evaporam com facilidade e os alquimistas simplesmente não tinham a precisão necessária. A química moderna só se tornou possível no século XVIII.

Os alquimistas também tinham pistas que os levavam aos lugares errados. Por exemplo, eles eram obcecados com o mercúrio. O mercúrio não é muito interessante quimicamente, mas é o único metal que é líquido em temperaturas normais.

Isso parecia muito significativo para os alquimistas e os levava a colocar o mercúrio no cerne do sistema alquímico e em sua busca pela Pedra Filosofal, uma maneira de transformar metais básicos em ouro.

Não ajudava o fato de que o mercúrio é uma neurotoxina, então se ficasse muito tempo brincando com ele, você começava a ter pensamentos esquisitos. Desse ângulo, isso lembra um pouco as atuais correntes de pensamento sobre a superinteligência.

Imagine se pudéssemos enviar um livro de química moderna de volta no tempo para um dos grandes alquimistas daquela época, como George Starkey ou Isaac Newton. A primeira coisa que eles fariam seria folhear para ver se nós já descobrimos qualquer coisa sobre a Pedra Filosofal. E eles descobririam que sim, nós realizamos o sonho deles!

Exceto pelo fato de que não estamos tão animados com isso porque quando transformamos nossos metais em ouro, eles se tornam radioativos. Fique perto de uma barra de ouro transubstanciado e ela vai te matar com raios mágicos invisíveis.

Dá pra imaginar o quão difícil seria fazer com que os conceitos modernos de radioatividade e energia atômica não soassem como místicos para eles?

Nós teríamos que lhes explicar as coisas para as quais nós de fato usamos as “pedras filosofais”: para criar um metal que jamais existiu na Terra, do qual dois punhados são suficientes para explodir uma cidade se unidos em uma velocidade rápida o bastante.

Além do mais, teríamos que explicar aos alquimistas que cada estrela que eles veem no céu é uma “pedra filosofal”, convertendo os elementos que as compõem, e que cada partícula de nossos corpos vem das estrelas no firmamento que existiram e explodiram antes do surgimento da Terra.

Por fim, eles descobririam que as forças que mantêm nossos corpos são as mesmas que fazem raios no céu e que a razão pela qual conseguimos enxergar qualquer coisa é a mesma pela qual a magnetita atrai o metal e a mesma razão pela qual eu consigo ficar de pé nesse palco sem cair e atravessá-lo.

Eles aprenderiam que tudo que vemos, tocamos e cheiramos é governado por essa única força, que obedece a leis matemáticas tão simples que podemos escrevê-las em um pedaço de papel.

A razão disso ser tão simples é um profundo mistério até mesmo para nós. Mas, para eles, soaria como puro misticismo.

Acho que estamos no mesmo barco com a teoria da mente.

Temos pistas importantes. A mais importante delas é a experiência da consciência. Esta caixa de carne sobre o meu pescoço é consciente de si mesma e, com sorte (a menos que estejamos em uma simulação), vocês também experimentam a mesma coisa que eu.

Mas enquanto esse é o fato mais básico e óbvio do mundo, nós o entendemos tão mal que não conseguimos nem mesmo elaborar uma pergunta científica a respeito.

Também temos outras pistas que devem ser importantes, ou talvez sejam apenas pistas falsas. Mas sabemos que todas as criaturas inteligentes dormem e sonham. Sabemos como os cérebros se desenvolvem nas crianças, sabemos que emoções e linguagens parecem ter efeitos profundos na cognição. Sabemos que as mentes têm que brincar e interagir com o mundo antes que elas possam atingir suas capacidades mentais plenas.

E temos pistas vindas da ciência da computação também. Descobrimos técnicas de computação que detectam imagens e sons de formas que parecem copiar o processamento visual e sonoro feito no cérebro.

Mas há um tanto de coisas sobre as quais estamos terrivelmente enganados e infelizmente ainda não sabemos quais elas são. E tem coisas que de que subestimamos massivamente sua complexidade.

Um alquimista poderia segurar uma pedra em uma mão e um pedaço de madeira na outra e pensar que eram ambos exemplos de “substâncias”, sem entender que a madeira é muitas ordens de magnitude mais complexa.

Estamos no mesmo lugar com o estudo da mente. E isso é animador! Vamos aprender muito. Mas, por enquanto, tem uma frase que adoro citar:

“Se todos contemplarmos o infinito em vez de consertar as torneiras, muitos de nós morreremos de cólera.”
— John Rich

No futuro próximo, o tipo de IA e aprendizagem de máquina que teremos que encarar é muito diferente da IA fantasmagórica do livro de Bostrom. E traz os seus próprios problemas sérios.

É como se aqueles cientistas de Alamogordo tivessem decidido focar completamente em se eles iriam explodir a atmosfera e se esquecessem de que eles estavam também criando armas nucleares e que teriam que lidar com isso.

As questões éticas mais urgentes na aprendizagem de máquina não são sobre as máquinas se tornarem auto-conscientes e dominarem o mundo, mas sobre como as pessoas podem explorar outras pessoas ou, por falta de atenção, introduzir comportamentos imorais nesses sistemas automatizados.

E, é claro, temos a questão de como a IA e a aprendizagem de máquina afetam as relações de poder. Já vimos a vigilância se tornar uma parte garantida das nossas vidas, de uma forma inesperada. Nunca imaginamos que ela se pareceria com isso. Criamos um sistema muito poderoso de controle social e, infelizmente, colocamos ele nas mãos de pessoas que estão distraídas com uma ideia doida.

O que eu espero ter feito hoje é mostrar para vocês os perigos de ser inteligente demais. Com sorte, vocês deixarão essa palestra um pouco mais burros do que chegaram e estarão mais imunes às seduções da IA que parecem atormentar pessoas mais inteligentes.

Deveríamos todos aprender uma lição com o gato de Stephen Hawking: não deixem os gênios que mandam na sua indústria te convencerem de nada. Sejam autênticos!

Na ausência de uma liderança efetiva entre os indivíduos no topo da indústria, cabe a nós fazer um esforço e pensar em todos os problemas éticos que a IA — como ela existe atualmente — está trazendo ao mundo.

Obrigado!


Versão textual de uma palestra realizada em 29 de outubro de 2016, publicada originalmente no Idle Words.

Tradução por Leon Cavalcanti Rocha.

Acompanhe

Newsletter (toda sexta, grátis):

  • Mastodon
  • Telegram
  • Twitter
  • Feed RSS

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

20 comentários

  1. Como diria quem diria…
    Vou ali carpir o quintal porque o cara especialista cobra 70 reais o dia.

    …deixarei para contemplar o céu um pouco antes de dormir para não encher demais a mente com coisas malucas.

  2. Eu não sei se foi planejado, mas postar isso no feriado de carnaval foi perfeito!
    Nem pelo tamanho do texto, até pequeno pra tantas ideias, mas pela densidade das ideias. Impossível ler um parágrafo e não parar pra pensar, antes de ler o próximo.

    Parabéns por apresentar esse texto aqui! Vejo que sou limitado e ainda vou ler umas cinco vezes pra tentar organizar as ideias hahah

  3. Pode parecer exagero, mas eu acho que uma simples questão de terminologia gera todo esse buzz sobre essa tecnologia. O texto já ressaltou que o termo IA é mal definido, os algoritmos de inspiração biológico só aumentam o problema: redes neurais, aprendizado profundo, algoritmos genéticos, etc. Se os algoritmos fossem descritos em termos de modelos matemáticos, não acredito que haveria tanta discussão pelo público, mesmo que tivessem os mesmos resultados.

    Eu, pessoalmente, acho muito divertido as questões filosóficas que experimentos hipotéticos com IA colocam…mas no momento se trata apenas de discussões que são feitas há milênios por filósofos. Não há nada de novo acontecendo no momento em relação a isso, as IAs continuam sendo modelos matemáticos que sempre foram e nenhum indício que estamos chegando perto dessas viagens de nerd em relação a consciência. Os argumentos para eu me preocupar, mesmo não tendo evidências presentes, existem aos montes e fazem sentido. Mas o próprio texto explicitou que, provavelmente, é mais um exercício de filosofia do que uma forma viável de se precaver com o eventual problema.

    Acho que a maior questão é que essa sobrevalorização afasta a discussão de problema reais e geram um misticismo sobre as competências desses algoritmos. Como até ocorreu na semana passada em relação ao Facebook querer ser o “isentão”, já apareceu questão de direitos e jurisprudência de algoritmos em relação a sociedade, mas temos questões mais pragmáticas: o que os algoritmos atuais fazem, como eles podem ser desenhados para mitigar ou piorar a situação.

    Já temos muitos problemas com algoritmos no presente para nos focar tanto no imprevisível.

    1. Depois dá uma espiada no texto q o @disqus_ymwzpdvnvi:disqus indica aqui. Parece um complemento interessante e vai nessa direção q vc aponta, de questões mais pragmáticas levando em conta quem faz esses algoritmos.

  4. Outro texto que vou fazer uma leitura mais calma depois, mas em resumo entendi o seguinte:

    – Se programamos uma máquina para ser “perfeita”, ela sempre buscará a perfeição baseada nesta programação, e nada mais. Ou seja, ela só fará aquilo que lhe foi planejado, e caso ela mude, será sempre para apenas aquilo que fora planejado.

    – Inteligência artificial tem seus riscos pois se deixarmos ela de forma complexa e crua, ela será como qualquer animal: egoísta – e por consequência territorialista, nefasto.

    – Cada experiência humana atual gera condições de estudo para futuras “inteligências artificiais”. Mas nada se compara ao vivido por alguns, que com a experiência que teve, resultou em uma mente que consegue ir mais profundamente na ficção cientifica, e por si, nas possibilidades existentes futuras da tecnologia.

    – Podemos se basear nas ficções já aclamadas – de Orwell às Wachowskis – para também definir o futuro.

    Opinião pessoal minha agora:

    – Buscamos sempre explicações para tudo pois não viemos com um manual de instruções claro sobre o que temos como objetivo neste mundo (ou o porque desta existência). No entanto, a busca desta explicação resulta em coisas como esta – a criação de possibilidades que nos deixariam contra a parede a ponto de se voltar contra seus próprios criadores.

    – Tudo isso é complexo – e a busca da inteligência artificial tenta achar no final uma solução simples e explicável para seta complexidade da vida.

  5. Ando tão estressado e esgotado emocionalmente em relação à trabalho (TI) que não tenho mais saco pra ler um texto desse tamanho. Mesmo quando parece sr bem interessante.

    1. Primeiro desligue todos os eletrônicos ao seu redor.
      Faça uma refeição leve e agradável em sua casa.
      Pegue algum livro, revista e leia com calma.
      Vá dormir por umas 9h.
      Acorde, tome um café caprichado. Arrume sua casa. Almoce.
      Tente ler este texto novamente.

      Ficar puto da vida com o trabalho e deixar isso afetar sua vida pessoal, significa que você precisa pisar bem forte no freio na hora de trabalhar. Pois senão você ficará cada vez mais puto (ou mais doente).

Do NOT follow this link or you will be banned from the site!