Эмиль Торрес: В середине 2000-х годов я впервые столкнулся с трансгуманизмом. И поначалу я отнесся к нему весьма критически. Вторая статья, которую я опубликовал, была критикой трансгуманизма. Но затем некоторые соображения заставили меня поверить в то, что трансгуманизм – это защищаемая позиция, и я стал своего рода трансгуманистом. 

И одним из главных соображений было то, что развитие этих технологий неизбежно. Так что если вы собираетесь быть против трансгуманизма, то, возможно, вы должны быть против развития определенных технологий, связанных с созданием человека. Но поскольку они неизбежны, нет смысла выступать против них только для того, чтобы сдержать волну. Поэтому лучше всего присоединиться к трансгуманистам и сделать все возможное, чтобы этот проект был реализован наиболее оптимальным способом. 

Понятие экзистенциального риска было тесно связано с трансгуманизмом с самого начала: экзистенциальный риск изначально определялся как “все, что может помешать нам создать постчеловеческую цивилизацию”.

Эмиль Торрес: Определенно, разговоры о вымирании и глобальной катастрофе были. 
Но что нового в этой идее экзистенциального риска – прямо в определении – так это идея желательного будущего развития. 

Были люди, особенно во второй половине XX века, которые утверждали, что одна из причин, по которой вымирание человечества было бы плохо, заключается в том, что оно закрыло бы возможность реализации всего будущего прогресса, будущего счастья и так далее. Но этот аргумент об утраченном потенциале так и не был формализован. Все внимание было сосредоточено на вымирании. Все на Земле умрут. Мы с вами умрем. Наши семьи умрут. Это было на первом плане. Потерянный потенциал не выделялся.

Понятие экзистенциального риска, как мне кажется, перевернуло это представление и выдвинуло на первый план утраченный потенциал: аргументом стало то, что худший аспект вымирания человечества – это утраченный потенциал. Дело не в 8 миллиардах людей, которые умрут. Это очень плохо, но плохость всего утраченного потенциала на порядки больше.

Эмиль Торрес: По-моему, это верно. Я думаю, что понятие потенциала действительно является центральным в лонгтермизме. Первоначальное определение появилось в 2002 году, когда Бостром обсуждал динамику перехода от нашей человеческой цивилизации к постчеловеческой, подчеркивая потенциал становления постчеловека. Это также было связано с понятием, что создание постчеловечества ценно не только потому, что это хороший способ развернуть космическую историю. Но также и мы с вами можем извлечь из этого пользу, верно? 

Так почему же создание постчеловеческой цивилизации важно (по мнению Бострома и ему подобных)? Ну, потому что если это произойдет в течение моей жизни, то, возможно, я буду жить вечно. Или даже если это произойдет через тысячу лет, я все равно буду жить вечно, потому что подпишусь на ALCOR и буду воскрешен. Так что я действительно вижу этот момент, когда происходит своего рода поворот к размышлениям о далеком будущем. Думаю, изначально для трансгуманистов это было связано с их собственной судьбой как личностей.

Эмиль Торрес: Насколько я понимаю историю, именно в 2000-х годах люди в этом сообществе стали все больше осознавать, насколько огромным может быть будущее. Вместе с осознанием этого пришло и соответствующее смещение моральных акцентов. 

Юдкоузи хочет жить вечно. В подкасте Лекса Фридмана он сказал, что вырос с верой в то, что будет жить вечно. И поэтому часть травмы для него, как он упомянул в том подкасте, заключается в том, что он оказался в ситуации, когда AGI так близко, и ему приходится столкнуться с собственной смертностью, возможно, впервые. Кажется, что его мышление является примером этого поворота на протяжении 2000-х годов. 

Эмиль Торрес: Что касается экономики внимания, то мне кажется, что долгосрочники понимают, что такое видение будущего – это бред. Я имею в виду, что некоторые из них использовали термин “сумасшедший город”. Поэтому, я думаю, они стараются избегать публичного упоминания о том, каковы их реальные цели. Безумные идеи привлекают внимание общественности, но в данном случае, я думаю, они чувствуют, что некоторые из этих идей не являются хорошим пиаром.

Эмиль Торрес: Я не думаю, что ИИ в целом мотивирован такой идеологией. А вот гонка за AGI – да. И я думаю, что здесь есть два фактора. Один из них очевиден – это мотив прибыли. Microsoft и Google рассчитывают заработать миллиарды долларов на этих больших языковых моделях. Но я думаю, что другой важнейший компонент объяснительной картины – это ТЕСКРЕАЛИЗМ. 

Это как… почему DeepMind вообще образовалась? Почему Демис Хассабис, который участвовал во многих конференциях трансгуманистов, основал его? И Шейн Легг, который получил 100 000 долларов от Канадского института сингулярности на развитие искусственного интеллекта после завершения своей докторской диссертации и выступал с докладами на конференциях Singularity Summit.

Эмиль Торрес: В том, что касается повсеместности убеждений TESCREAL, я думаю, вы правы. Многие из них даже не стали бы использовать слово “трансгуманизм”. Вы можете спросить: “Вы бы поддержали реинжиниринг человеческого организма?”. Или спросить: “Вы финансируете проекты по реинжинирингу человеческого организма, чтобы мы могли внедрить ИИ в наш мозг?”. Думаю, многие из них ответят “да”. И они были бы сторонниками таких аспектов долгосрочного мировоззрения, как императив колонизации космоса и разграбления космоса. Я сильно подозреваю, что эти люди плавают именно в такой воде. 

Статья, которую я хочу написать, будет посвящена различным терминам и идеям, которые разные авторы используют для описания культуры Кремниевой долины – используя разные термины, но в конечном итоге описывая одно и то же явление. Итак, под ТЕСКРЕАЛИЗМОМ я понимаю то же самое, что ультраправый Ричард Ханания называет “технологическими правыми”. 

В Huffington Post была статья о том, что он придерживается белых супремацистских взглядов. И он сказал: “Я ненавижу слово TESCREALism”. Поэтому он назвал это “технологическими правыми”. Дуглас Рашкофф называет это “умонастроением” – он говорит, что оно повсеместно распространено в Кремниевой долине среди технологических миллиардеров и так далее; беседуя с ними об их взглядах, он обнаружил, что все они считают: “Будущее за цифровыми технологиями. Мы собираемся загрузить наши умы. Мы распространимся по всему космосу” и так далее. То, что Рашкофф подразумевает под “умонастроением”, по сути, является тем, что я подразумеваю под ТЕСКРЕАЛИЗМОМ. Скажут ли эти люди, воплощающие “умонастроение”, “да, я долгосрочник и считаю, что самое морально важное – это покорить космос и создать всех этих цифровых людей в будущем?”. Я не знаю. Но их мировоззрение очень похоже на долгосрочность.

Р. У. Сириус: Считаете ли вы, что отсутствие заботы о ныне живущих людях – это своего рода политическое проявление долгосрочного взгляда, толкающего некоторых жителей Силиконовой долины к правому экстремизму? 

Эмиль Торрес: Я думаю, что это в значительной степени верно. Я думаю, что некоторые люди, например Уил Макаскилл [деятель “эффективного альтруизма“], действительно принимают эту очень абстрактную философскую позицию, согласно которой главное, чтобы в будущем было огромное количество людей. И многие технологические миллиардеры считают, что это видение связано с их судьбой как личностей. Мышление выглядит так: “Я хочу построить бункер, чтобы пережить апокалипсис, чтобы попасть в космос, оцифровать свой разум” и так далее. И это определенно может привести к такому пренебрежению к большинству человеческих существ. Дикий пример этого – новость о том, что брат Сэма Бэнкмана-Фрида и кто-то еще в FTX обсуждали возможность покупки островного государства Науру специально для того, чтобы члены движения “эффективного альтруизма” могли пережить апокалипсис, который убьет до – как они написали в документе – 99,9% человеческих существ.

Эмиль Торрес: Думаю, это зависит от того, что понимать под Сингулярностью. Есть интерпретация взрыва интеллекта… есть курцвейловская идея, которая просто связана с темпами изменений.

Эмиль Торрес: Я с пониманием отношусь к такому взгляду на Сингулярность. Просто мы мало что можем сказать по этому поводу. Я очень скептически отношусь к идее взрыва интеллекта. А идея Курцвейла о скорости изменений, похоже, находится в прямом и существенном противоречии с тем фактом, что климатическая катастрофа практически неизбежна, если только не появится новая технология, которая в масштабах всей планеты будет удалять углекислый газ из атмосферы.

Эмиль Торрес: Я думаю, что изменение климата – это совсем другое. 

Эмиль Торрес: Мы говорим о глобальной цивилизации. Сможет ли она выжить? Не знаю. Есть климатологи, которые считают, что она не выживет, если не будут приняты срочные меры по предотвращению катастрофического изменения климата. 

Помню, как много лет назад я спорил с коллегами из области экзистенциального риска, утверждая, что изменение климата – это гораздо более серьезная проблема, чем они предполагали. Они думали: “Мы изобретем искусственный интеллект. А когда у нас будет AGI, это…”

Эмиль Торрес: Выяснить, что делать. Но как мы создадим AGI в мире, который просто рушится и разваливается на части? Как мы будем проводить конференции по ИИ, если погода настолько неблагоприятна, что туда невозможно добраться?

Эмиль Торрес: Это просто не моя область знаний. Но мне кажется, что с точки зрения тех LLM, которые у нас есть, нет очевидного пути от таких систем, как ChatGPT, к настоящему AGI или суперинтеллекту. 

Эмиль Торрес: Я думаю, это был Гэри Маркус, который смеялся над взлетом и падением престижа, если хотите, ChatGPT. Это стало шуточной фразой во время республиканских дебатов.

Эмиль Торрес: Да. Поэтому я не думаю, что Сингулярность произойдет, скорее всего. И я бы поставил на то, что это произойдет не скоро, не в 2045 году, как предсказывает Курцвейл.

Эмиль Торрес: Я признаю и подтверждаю это. Понятие TESCREALism должно отражать техно-утопическое видение, которое появилось в некоторых из этих движений, и жестикулировать на худших аспектах этого. Я думаю, что именно они стали наиболее влиятельными сейчас. Например, демократический социалист Джеймс Хьюз – он оказал определенное влияние. Но по сравнению с таким человеком, как Бостром, его влияние незначительно. И я абсолютно признаю, что есть трансгуманисты, которые настроены антилибертариански. Некоторые из них – мормоны.

Эмиль Торрес: Мне тоже так кажется. Очевидно, что существует захватывающая история, связанная с футуризмом и фашизмом. Возможно, он действительно привлекает определенный тип людей, или его интерпретация или использование фашистами. TESCREALism отражает этот аспект. 

Эмиль Торрес: В рационализме определенно есть аспект харизматичного лидера. Есть такие посты в Less Wrong, в которых Юдковскому просто воздается должное. Помню, я видел список высказываний о Юдковском, состоящий из одного или двух предложений. В одном из них было что-то о том, что “внутри шишковидной железы Элиэзера Юдковского находится не бессмертная душа, а другой мозг”. “В истории западных мыслителей были Платон, Иммануил Кант, Элиэзер Юдковский”. 

(Смех.) 

Кто-то, кого я не буду называть, сказал мне, что рациональная сцена в районе залива – это культ апокалипсиса в полный рост. 

Я думаю, что EA (Эффективный альтруизм) – это что-то вроде культа. Недавно была опубликована статья Карлы Кремер. Она рассказала о секретной системе рейтингов, в которой у участников вычитаются баллы, если их IQ меньше 120.

Эмиль Торрес: Мне было бы очень любопытно узнать. Потому что я думаю, что реализм IQ довольно широко распространен в этом сообществе. Бостром писал, что IQ хорош, но несовершенен. Так что они вроде как склоняются к IQ-реализму.

Эмиль Торрес: Нет, не совсем. Ханания признает это, утверждая, что “технологические правые” – это более подходящий термин. Он сказал, что мы в основном правы насчет того, что такое потоки, что такое связка, но “технологические правые” – более удачный термин. Я не удивлен, что не так много людей заявляют о своей принадлежности к TESCREAL.

Эмиль Торрес: Да. Я думаю, что при определенных обстоятельствах это может быть допустимо. Я имею в виду, что меня беспокоит вопрос о том, в каких пределах будет использоваться эта технология. Будет ли она использоваться только для того, что мы интуитивно называем терапевтическими целями? Меня больше всего беспокоит то, что это может легко открыть дверь для “улучшающего” подхода. Как только вы заговорите об усовершенствованиях, возникнут вопросы типа: “По каким критериям вы судите о том, что какая-то модификация лучше?” Тут-то и возникает проблема “суперклассов”, о которых писал Бостром. 

Многое из этого, вероятно, является ableist. То, что “улучшение” означает для кого-то вроде Бострома, может быть совершенно иным, чем то, что могу подразумевать я. Верно?

Эмиль Торрес: Мне кажется, что такие слова, как “сломленность”, являются нормативными терминами. Я думаю, что активисты движения за права инвалидов или ученые, занимающиеся проблемами инвалидности, правы, когда говорят: “Существует бесконечное количество вещей, которые я не могу делать”. Я не могу летать. Некоторые утверждают, что понятие инвалидности – это просто социальная конструкция. Мы живем в обществе, которое не приспособлено для тех, кто не может делать то, что может статистическое большинство других людей. Вот что такое “инвалидность”. Так что, возможно, если исправить общество, инвалидность исчезнет, даже если неспособность останется.

Эмиль Торрес: Здесь есть два аспекта. Один – это неспособность, а другой – общество, в котором человек живет. Так что инвалидность можно исправить или устранить, улучшив общество. И есть хороший аргумент в пользу того, что многие неспособности, которые мы классифицируем как инвалидность, не считаются плохими. Они просто другие. Есть люди разного роста. Есть люди, которые не могут ходить. Я чувствую, что мое сердце наполняется сочувствием к ученым, занимающимся проблемами инвалидности – некоторые из которых сами являются инвалидами, – утверждающим, что они не хотели бы меняться. И их мнение о том, что мы не должны стремиться к миру, в котором таких людей, как они, больше не существует.

Эмиль Торрес: Не очень, потому что я не видел большого количества доказательств, по крайней мере, в моих социальных сетях.

Эмиль Торрес: Если говорить упрощенно, то многие люди в моем окружении выступают за хорошие технологии, а не за плохие. Может быть, небольшие технологии, но это не значит низкотехнологичные. То есть у вас могут быть передовые технологии, которые позволят передвигаться человеку, который не может ходить. Но без мегакорпораций, контроля и риска, которые с этим связаны.