Émile Torres:  Em meados dos anos 2000, encontrei o transumanismo pela primeira vez. E eu inicialmente fui muito crítico em relação a isso. O segundo artigo que publiquei foi uma crítica ao transumanismo. Mas então, certas considerações me levaram a acreditar que o transumanismo é uma posição defensável, e eu me tornei uma espécie de transumanista.

E uma das principais considerações foi que o desenvolvimento dessas tecnologias é inevitável. Então, se você vai ser contra o transumanismo, então talvez você precise ser contra o desenvolvimento de certas tecnologias de engenharia de pessoas. Mas como são inevitáveis, não adianta se opor apenas para segurar a maré. Portanto, a melhor coisa a fazer é juntar-se aos transumanistas e fazer o que puder para garantir que esse projeto seja realizado da maneira mais ideal.

A noção de risco existencial esteve intimamente ligada ao transumanismo desde o início: o risco existencial foi inicialmente definido como “qualquer coisa que pudesse nos impedir de criar uma civilização pós-humana”.

ÉT: Definitivamente se falava em extinção e catástrofe global. Mas o que há de novo nessa ideia de risco existencial – ali mesmo na definição – é a ideia de desenvolvimento futuro desejável.

Havia pessoas, particularmente na segunda metade do século 20, argumentando que uma razão pela qual a extinção humana seria ruim é que ela impediria a realização de todo o progresso futuro, felicidade futura e assim por diante. Mas esse argumento de potencial perdido nunca foi formalizado. O foco era mesmo a extinção. Todo mundo na terra vai morrer. Você e eu vamos morrer. Nossas famílias morrerão. Esse foi o primeiro plano. O potencial perdido não foi proeminente.

A noção de risco existencial, eu acho, inverteu isso e colocou em primeiro plano o potencial perdido: o argumento passou a ser que o pior aspecto da extinção humana é o potencial perdido. Não são os 8 bilhões de pessoas que vão morrer. Isso é muito ruim, mas a maldade de todo o potencial perdido é ordem de grandeza maior.

ÉT: Isso me parece certo. Acho que essa noção de potencial é realmente central para o longo prazo. A definição inicial vem de 2002, com Bostrom discutindo a dinâmica de transição de nossa civilização humana para uma civilização pós-humana, colocando em primeiro plano o potencial de nos tornarmos pós-humanos. Isso também estava ligado a essa noção de que a criação da pós-humanidade não é apenas valiosa porque é uma boa maneira de a história cósmica se desenrolar. Mas também, você e eu podemos nos beneficiar, certo?

Então, por que criar uma civilização pós-humana é importante (de acordo com Bostrom e pessoas como ele)? Bem, porque se isso acontecer dentro da minha vida, talvez eu consiga viver para sempre. Ou mesmo se isso acontecer dentro de talvez mil anos, eu ainda consigo viver para sempre porque vou me inscrever na ALCOR e ressuscitar. Então, eu realmente vejo esse momento em que há uma espécie de pivô para pensar no futuro distante. Acho que, inicialmente, para os transumanistas, isso estava ligado ao seu próprio destino como indivíduos.

ÉT: Meu entendimento da história é que foi realmente nos anos 2000 que as pessoas dessa comunidade se tornaram cada vez mais conscientes do quão grande o futuro poderia ser. Com essa consciência, veio uma mudança correspondente na ênfase moral.

Yudkowsy quer viver para sempre. No podcast de Lex Fridman, ele disse que cresceu acreditando que viveria para sempre. Então, parte do trauma para ele, como ele mencionou naquele podcast, é estar nessa situação em que a AGI está tão próxima, e ele está tendo que enfrentar sua própria mortalidade, talvez pela primeira vez. Parece que seu pensamento exemplifica esse pivô ao longo dos anos 2000.

ÉT: Com relação à economia da atenção, minha sensação é que os longtermistas reconhecem que essa visão de futuro é meio maluca. Quero dizer, alguns deles usaram o termo “Crazu Town”. Consequentemente, acho que eles fazem o possível para evitar mencionar publicamente quais são seus objetivos reais. Ideias malucas chamam a atenção do público, mas, neste caso, acho que eles sentem que algumas dessas ideias não são boas relações públicas.

ÉT: Não acho que a IA em geral seja motivada por essa ideologia. A corrida para a AGI é. E acho que há dois fatores. Uma que é óbvia é o motivo do lucro. A Microsoft e o Google esperam ganhar bilhões de dólares com esses grandes modelos de linguagem. Mas acho que o outro componente crucial do quadro explicativo é o TESCREALismo.

É como… por que a DeepMind se formou em primeiro lugar? Por que Demis Hassabis – que esteve em muitas dessas conferências transumanistas – o encontrou? E Shane Legg, que recebeu US$ 100 mil do Canadian Singularity Institute for Artificial Intelligence após concluir sua tese de doutorado, e deu palestras nas conferências Singularity Summit.

ÉT: Em termos da onipresença das crenças do TESCREAL, acho que você está certo. Muitos deles nem usariam a palavra transumanismo. Você poderia perguntar: “Você apoiaria a reengenharia do organismo humano?” Ou pergunte: “Você está financiando projetos para tentar reprojetar o organismo humano para que possamos fundir a IA em nossos cérebros?” Acho que muitos diriam que sim. E seriam para aspectos da visão de mundo de longo prazo, como o imperativo de colonizar o espaço e saquear o cosmos. Minha forte suspeita é que é na água que essas pessoas nadam.

Um artigo que eu quero escrever seria sobre os diferentes termos e ideias que vários autores usam para descrever a cultura do Vale do Silício – usando termos diferentes, mas em última análise descrevendo o mesmo fenômeno. Então, o que eu quero dizer com TESCREALismo é a mesma coisa que o cara de extrema direita Richard Hanania chama de “direita tecnológica”.

Houve um artigo do Huffington Post  sobre como ele tem visões supremacistas brancas. E ele disse: “Eu odeio a palavra TESCREALismo”. Por isso, chamou-lhe “direito tecnológico”. Douglas Rushkoff chama isso de “mentalidade” – ele diz que está em todos os lugares do Vale do Silício entre bilionários de tecnologia e assim por diante; Ao conversar com eles sobre suas opiniões, ele descobriu que todos pensavam: “O futuro é digital. Vamos carregar nossas mentes. Vamos nos espalhar pelo espaço” e assim por diante. O que Rushkoff quer dizer com “mentalidade” é basicamente o que quero dizer com TESCREALISMO. Essas pessoas que incorporam “a mentalidade” diria: “Sim, sou um longtermista e acredito que a coisa moralmente mais importante a fazer é conquistar espaço e criar todas essas pessoas digitais no futuro?” Eu não sei. Mas sua visão de mundo se parece muito com o longo prazo.

ÉT: Acho que isso está amplamente correto. Acho que algumas pessoas, como Wil Macaskill, [figura do “altruísmo efetivo“] realmente aceitam essa posição filosófica muito abstrata de que o que importa é que haja um grande número de pessoas no futuro. E muitos bilionários da tecnologia veem essa abordagem como ligada ao seu destino como indivíduos. Então o pensamento é como… “Quero construir um bunker para sobreviver ao apocalipse para poder chegar ao espaço, ter minha mente digitalizada” e assim por diante. E isso, definitivamente, pode levar a esse descaso com a maioria dos seres humanos. Um exemplo selvagem disso é a notícia que surgiu de que o irmão de Sam Bankman-Fried e outra pessoa na FTX discutiram a possibilidade de comprar a nação insular de Nauru explicitamente para que os membros do movimento de “altruísmo efetivo” pudessem sobreviver a um evento apocalíptico que mata até – como escreveram no documento – 99,9% dos seres humanos.

ÉT: Acho que depende do que se entende por Singularidade. Há a interpretação da explosão de inteligência… há a ideia Kurzweilian que só tem a ver com a taxa de mudança.

ÉT: Sou simpático a essa visão da Singularidade. Simplesmente não há muito que possamos dizer além disso. Sou muito cético em relação à ideia de explosão de inteligência. E a ideia de taxa de mudança de Kurzweil parece estar em tensão direta e significativa com o fato de que uma catástrofe climática é quase inevitável, a menos que haja alguma nova tecnologia que, em escala, remova o dióxido de carbono da atmosfera.

ÉT: Acho que as mudanças climáticas são diferentes disso.

ÉT: Estamos falando de civilização global. Vai sobreviver? Eu não sei. Quero dizer, há climatologistas legítimos por aí que não acham que isso acontecerá, a menos que haja uma ação imediata para evitar mudanças climáticas catastróficas.

Lembro-me de discutir, há muitos anos, com colegas do campo do risco existencial, onde eu afirmava que as alterações climáticas são um problema muito maior do que eles suspeitavam. Eles pensaram: “Vamos inventar o AGI. E assim que tivermos o AGI, ele vai…”

ÉT: Descubra o que fazer. Mas como vamos criar AGI em um mundo que está apenas desmoronando e caindo aos pedaços? Como vamos organizar conferências sobre IA quando o clima é tão hostil que você não pode chegar lá?

ÉT: Não é a minha área de atuação. Mas minha sensação é que, em termos dos LLMs que temos, não há um caminho óbvio desses sistemas como o ChatGPT para AGI genuína ou superinteligência.

ÉT: Acho que foi Gary Marcus que estava rindo da ascensão e queda no prestígio, se quiserem, do ChatGPT. Virou piada durante um debate republicano.

ÉT: Sim. Então, eu não acho que a Singularidade vai acontecer, provavelmente. E eu apostaria nisso não acontecendo tão cedo, não acontecendo em 2045 como Kurzweil prevê.

ÉT: Reconheço e afirmo isso. A noção de TESCREALismo deve captar a visão tecnoutópica que surgiu de alguns desses movimentos, e apontar para os piores aspectos disso. Acho que são os que se tornaram mais influentes agora. Assim, como o socialista democrático James Hughes, ele foi um tanto influente. Mas, comparado a alguém como Bostrom, sua influência é menor. E reconheço absolutamente que há transumanistas que gostam de antilibertários. Alguns deles são mórmons.

ÉT: Essa é a minha impressão também. Obviamente, há uma história fascinante envolvendo futurismo e fascismo. Talvez tenda a atrair um certo tipo de pessoa ou se preste a ser interpretado ou explorado por fascistas. O TESCREALismo capta esse aspecto.

ÉT: Há definitivamente esse aspecto de líder carismático no racionalismo. Há esses posts menos errado que estão apenas esbanjando elogios a Yudkowsky. Lembro-me de ver  uma lista de uma ou duas frases sobre Yudkowsky. Um deles era algo sobre como “dentro da glândula pineal de Eliezer Yudkowsky não há uma alma imortal, mas outro cérebro”. “Na história dos pensadores ocidentais, havia Platão, Immanuel Kant, Eliezer Yudkowsky.” (Risos) Alguém que não vou citar o nome me disse que a cena racional da Bay Area é um culto ao apocalipse adulto.

Acho que o EA (Altruísmo Efetivo) é uma espécie de culto. Houve um artigo publicado por Carla Cremer recentemente. Ela falou sobre um sistema secreto de classificação competitiva em que os participantes recebem pontos subtraídos se tiverem QI inferior a 120.

ÉT: Eu ficaria muito curioso para saber. Porque eu acho que o realismo do QI é bastante difundido dentro desta comunidade. Bostrom escreveu que o QI é bom, mas imperfeito. Então eles meio que se inclinam para o realismo do QI.

ÉT: Não, na verdade, não. Hanania reconhece isso ao argumentar que o “direito tecnológico” é um termo melhor. Ele disse que estávamos basicamente certos sobre o que são os fluxos, o que é o bundle, mas ‘direito tecnológico’ é um termo melhor. Não me surpreende que não haja mais pessoas a assumirem e a dizerem que se identificam como TESCREAL.

ÉT: Sim. Penso que isso poderia ser admissível em determinadas circunstâncias. Quer dizer, eu tenho preocupações sobre os limites do que essa tecnologia será usada. Será usado apenas para o que intuitivamente chamaríamos de fins terapêuticos? A minha principal preocupação é que isso possa facilmente abrir a porta a uma abordagem de “melhoria”. Assim que você está falando sobre melhorias, há perguntas como: “Quais critérios você está usando para julgar se alguma modificação é melhor?” É aí que você entra na questão das “superclasses” sobre as quais Bostrom escreveu.

Muito disso é provavelmente capacitista. O que “aprimorar” significa para alguém como Bostrom pode ser completamente diferente do que eu poderia dizer. Certo?

ÉT: Minha sensação é que palavras como “quebrado” são termos normativos. Acho que ativistas dos direitos das pessoas com deficiência ou estudiosos da deficiência têm razão quando dizem: “há um número infinito de coisas que eu não posso fazer”. Eu não posso voar. A noção de deficiência, diriam alguns, é apenas uma construção social. Vivemos em uma sociedade que não é acomodada para alguém que não pode fazer algo que uma maioria estatística de outras pessoas pode fazer. Isso é o que é uma ‘deficiência’. Então, talvez, você conserte a sociedade, a deficiência vai embora mesmo que a incapacidade permaneça.

ÉT: Há dois aspectos nisso. Uma é a incapacidade e a outra é a sociedade em que se vive. Assim, você pode corrigir ou eliminar a deficiência melhorando a sociedade. E há um bom argumento de que muitas das inabilidades que classificamos como deficiências não seriam vistas como ruins. É apenas diferente. Há pessoas de diferentes alturas. Tem gente que não consegue andar. Acho que meu coração está cheio de muita empatia pelos estudiosos da deficiência – alguns dos quais são deficientes – argumentando que eles não gostariam de mudar. E sua visão de que não devemos almejar um mundo em que pessoas como eles não existam mais.

ÉT: Não tanto porque eu não vi muitas evidências, pelo menos como meu feed de mídia social.

ÉT: Para simplificar, muitas das pessoas no meu círculo são a favor de uma boa tecnologia, não de uma má tecnologia. Talvez tecnologias de pequena escala, o que não significa baixa tecnologia. Assim, você pode ter tecnologias avançadas que permitiriam que alguém se locomovesse e não pudesse andar. Mas sem os megacorpos, e todo o controle e todo o risco que vem com isso.