Против контракционизма: Поощрять и стимулировать открытые умы, а не навешивать ярлыки на понимание

Опасный ярлык

Представьте, если бы я сказал: “Некоторые христиане отрицают реальность биологической эволюции, поэтому все христиане отрицают реальность биологической эволюции”. 

Или что некоторые мусульмане считают, что вероотступников следует предавать смерти, поэтому все мусульмане разделяют это убеждение. 

Или что некоторые атеисты (например, Сталин и Мао) стали причиной гибели миллионов людей, поэтому сам атеизм является убийственной идеологией.

Или, ближе к дому (для меня: я вырос в Абердиншире, Шотландия), – что, поскольку некоторые шотландцы жестоки с деньгами, следовательно, все шотландцы жестоки с деньгами. (В самой Шотландии этот недобрый стереотип существует с изюминкой: якобы все абердонцы злые на деньги). о всех этих случаях вы скажете, что это необоснованное навешивание ярлыков. Распространение таких стереотипов опасно. Они мешают более полному анализу и глубокому восприятию. В реальной жизни люди гораздо разнообразнее. В любом сообществе есть свое разнообразие.

Меня также шокирует другой случай навешивания ярлыков. Это касается ленивой концепции TESCREAL – концепции, которая фигурировала в недавней статье на Mindplex Magazine, озаглавленной TESCREALism: Has The Silicon Valley Ruling Class Gone To Crazy Town? Эмиль Торрес в беседе с Р. У. Сириусом.

Когда я прочитал статью, моей первой мыслью было: “Неужели Mindplex отправилась в Сумасшедший город!”.

Концепция TESCREAL, которая неоднократно продвигалась в различных местах в последние месяцы, сводит богатый и разнообразный набор идей к чрезмерно упрощенному выводу. Она предполагает, что худшие стороны любых людей, придерживающихся любого из убеждений, объединенных в этот предполагаемый набор идей, можно с уверенностью приписать другим людям, придерживающимся лишь некоторых из этих идей. 

Хуже того, он предполагает, что весь “правящий класс” Кремниевой долины придерживается худших из этих убеждений.

Это как если бы я выбрал случайного атеиста и заявил, что он такой же убийца, как Сталин или Мао.

Или если бы я выбрал случайного мусульманина и заявил, что он желает смерти каждому человеку (вероотступнику), выросшему в мусульманской вере и впоследствии оставившему ее.

Вместо такого сокращения идей мир сегодня нуждается в непредвзятом исследовании широкого спектра сложных и тонких идей. 

Не жажда крови, которая, похоже, движет сторонниками анализа TESCREAL.

Не разжигание ненависти к предпринимателям и технологам, которые создают множество замечательных продуктов в Кремниевой долине – людям, которые, да, нуждаются в ответственности за некоторые из своих поступков, но которые ни в коем случае не являются единым лагерем!

Я Т, но не Л. 

Возьмем один пример – меня. 

Я публично идентифицирую себя как трансгуманист – “Т” из TESCREAL. 

Слово “трансгуманист” присутствует на обложке одной из моих книг, а родственное слово “трансгуманизм” – на обложке другой. 

Обложки книг Дэвида Вуда “Vital Foresight” и “Sustainable Superabundance“, выпущенные соответственно в 2021 и 2019 годах. Кредит: (Дэвид Вуд)

Так получилось, что я также был руководителем технологического подразделения. В основном я работал в Лондоне, но в мои обязанности входил надзор за сотрудниками офиса Symbian в Редвуд-Сити в Кремниевой долине. Вместе мы представляли себе, как новомодные устройства под названием “смартфоны” могут со временем улучшить многие аспекты жизни пользователей. (А еще мы размышляли о некоторых потенциальных минусах, включая риски нарушения безопасности и конфиденциальности, поэтому я и выступал за новый дизайн ядра Symbian OS с точки зрения “безопасности платформы”. Но я отвлекаюсь.)

Раз я “Т”, значит ли это, что я еще и ЭСКРЕАЛЬНЫЙ?

Давайте посмотрим на последнюю букву “Л”. Лонгтермизм. Эта буква является критической для многих аргументов, приводимых людьми, которым нравится анализ TESCREAL.

Лонгтермизм” – это вера в то, что потребности потенциально огромного количества еще не рожденных (и не зачатых) людей в будущих поколениях могут перевесить потребности ныне живущих людей.

Что ж, я не придерживаюсь этого мнения. Я не руководствуюсь ею в своих решениях.

Меня мотивирует возможность технологий значительно улучшить жизнь каждого человека в мире, живущего сегодня. А также необходимость предвидеть и предотвращать возможные катастрофы.

Под “катастрофой” я подразумеваю все, что убьет большое количество ныне живущих людей. 

Смерть 100 % ныне живущих уничтожит будущее человечества, а смерть 90 % людей – нет. Долгожители любят указывать на это, и хотя теоретически это верно, это не дает никакого оправдания игнорированию потребностей нынешних людей ради повышения вероятности рождения большего числа будущих людей.

Некоторые люди говорят, что их убеждают аргументы долгосрочников. Но я подозреваю, что это лишь небольшое меньшинство довольно интеллектуальных людей. Мой опыт общения с людьми в Кремниевой долине и с другими людьми, которые разрабатывают и создают новые технологии, показывает, что эти абстрактные долгосрочные соображения не являются руководством для принятия повседневных решений. Отнюдь.

Кредит: Тесфу Ассефа

Концепции сложны

Здесь необходимо отметить более важный момент. Такие понятия, как “трансгуманизм” и “долгожительство”, воплощают в себе богатое разнообразие. 

То же самое можно сказать и о других компонентах предполагаемой связки TESCREAL: E – экстрапианизм, S – сингуляритаризм, C – космизм, R – рационализм, EA – эффективный альтруизм.

В каждом случае следует избегать сократизма – думать, что если вы слышали, как один человек, защищающий данную философию, высказал одно мнение, то можно сделать вывод, что он думает по всем остальным вопросам. На практике люди сложнее – и идеи сложнее. 

Как мне кажется, отдельные части каждой из философий T, E, S, C, R и EA заслуживают широкого внимания и поддержки. Но если вы настроены враждебно и немного покопаетесь, то легко найдете людей из сообществ, окружающих каждый из этих терминов, которые сказали что-то презрительное или пугающее. А затем вы можете (лениво) навесить ярлык на всех остальных в этом сообществе с теми же нежелательными чертами. (“Видел одного, видел всех!”).

В этих расширенных сообществах действительно есть люди с нежелательными чертами. Действительно, каждый из T и S привлек то, что я называю “тенью” – набор связанных с ним убеждений и установок, которые являются отклонениями от ценных основных идей философии. Вот изображение тени Сингулярности, которое я использую:

Изображение обложки видео из плейлиста “The Vital Syllabus”, где Дэвид Вуд рассматривает Singularity Shadow. Кредит: (Дэвид Вуд)

А вот изображение тени трансгуманиста:

Изображение обложки видео из плейлиста “The Vital Syllabus”, где Дэвид Вуд рассматривает Transhumanist Shadow. Кредит: (Дэвид Вуд)

(В обоих случаях вы можете нажать на ссылки в подписях, чтобы посмотреть видео, в котором представлен более полный анализ). 

Как видите, черты трансгуманистической тени возникают, когда люди не поддерживают то, что я перечислил как “трансгуманистические ценности”.

Существование этих теней неоспоримо, и это прискорбно. Их убеждения и взгляды могут удержать независимых наблюдателей от серьезного отношения к основной философии.

В таком случае, спросите вы, зачем продолжать использовать основные термины “трансгуманизм” и “сингулярность”? Потому что в обеих этих философиях есть очень важные позитивные идеи! Давайте обратимся к ним.

Самое важное предвидение

Вот мое резюме из 33 слов о самом важном предвидении, которое я могу предложить: 

 Надвигающиеся волны технологических изменений способны привести либо к глобальному разрушению, либо к райскому устойчивому сверхизбытку, причем результат будет зависеть от своевременного возвышения трансгуманистического видения, трансгуманистической политики и трансгуманистического образования.

Давайте рассмотрим это еще раз, на этот раз более медленно.

Прежде всего. Технологические изменения в ближайшие несколько десятилетий приведут к тому, что в руках миллиардов людей окажется огромная новая сила. Вместо того чтобы фокусироваться на последствиях сегодняшних технологий – хотя они и значительны, – нам нужно обратить внимание на еще более масштабные последствия технологий ближайшего будущего.

Во-вторых, эти технологии увеличат риски гуманитарных катастроф. Если мы уже сегодня обеспокоены этими рисками (как и должно быть), мы должны быть еще более обеспокоены тем, как они будут развиваться в ближайшем будущем. 

В-третьих, тот же набор технологий при более разумном и энергичном подходе может привести к совершенно иному результату: устойчивому переизбытку чистой энергии, здоровому питанию, материальным благам, отличному здоровью, всестороннему интеллекту, динамичному творчеству и глубокому сотрудничеству. 

В-четвертых, наибольшее влияние на то, какой результат будет достигнут, оказывает широкое распространение трансгуманизма. Это, в свою очередь, включает в себя три направления деятельности:

– Пропаганда трансгуманистической философии как всеобъемлющего мировоззрения, которое поощряет и вдохновляет каждого присоединиться к следующему скачку вверх по великой эволюционной лестнице жизни: мы можем и должны развиваться до более высоких уровней, физически, умственно и социально, используя науку, технологии и рациональные методы. 

– Распространение трансгуманистических идей на реальную политическую деятельность, чтобы противостоять крайне деструктивным тенденциям в этой сфере. – – В основе всех вышеперечисленных инициатив – преобразование мира образования, чтобы дать каждому человеку навыки, подходящие для совершенно иных обстоятельств ближайшего будущего, а не для потребностей прошлого. 

И, наконец, над только что описанным судьбоносным переходом нависает потенциал еще большего изменения, при котором технологии будут двигаться вперед еще быстрее, с появлением самосовершенствующегося искусственного интеллекта со сверхчеловеческим уровнем способностей во всех аспектах мышления.

Это подводит нас к теме сингулярности.

Сингулярность – это момент времени, когда искусственный интеллект, возможно, возьмет на себя управление миром вместо человека. Тот факт, что Сингулярность может произойти в течение нескольких коротких десятилетий, заслуживает того, чтобы о нем кричали с крыш. Именно так я и поступаю, иногда. Это делает меня сингуляритаристом.

Но это не значит, что я или другие люди, которые пытаются привлечь внимание к этой возможности, подпадают под какую-либо из черт “Тени сингулярности”. Это не значит, например, что все мы благодушно относимся к рискам или считаем, что Сингулярность неизбежно благотворна для человечества.

Итак, сингуляритаризм (S) – это не проблема. Трансгуманизм (Т) – не проблема. Также, если уж на то пошло, проблема не кроется в основных убеждениях E, C, R или EA частей предполагаемой связки TESCREAL. Проблема кроется где-то в другом.

Что нас должно беспокоить: не TESCREAL, а CASHAP

Вместо того чтобы зацикливаться на предполагаемом поглощении Кремниевой долины компанией TESCREAL, вот что нас должно волновать на самом деле: CASHAP.

С означает “сократизм” – тенденция объединять идеи, которые не обязательно должны быть вместе, не замечать вариаций и сложностей в людях и идеях, а также настаивать на том, что основные ценности группы могут быть принижены только потому, что некоторые периферийные члены имеют неприятные убеждения или взгляды.

(Примечание: в то время как поклонники концепции TESCREAL виновны в сократизме, моя альтернативная концепция CASHAP отличается от нее. Я не предлагаю, чтобы идеи в ней всегда были вместе. Каждая из отдельных идей, составляющих CASHAP, является пагубной). 

А – акселерация – стремление к тому, чтобы новые технологии разрабатывались и внедрялись как можно быстрее, при безответственной вере в то, что любые недостатки, возникающие на пути, всегда можно легко исправить в процессе (“двигайся быстро и ломай вещи”). 

S означает “преемственность” – мнение, что если сверхразумный ИИ вытесняет человечество из-под контроля планеты, то эта преемственность должна автоматически приветствоваться как часть великого эволюционного процесса – независимо от того, что происходит с людьми в процессе, независимо от наличия у ИИ разума и сознания, и даже независимо от того, уничтожают ли эти ИИ себя и планету. 

H означает “hype” – слишком легкая вера в идеи, потому что они соответствуют вашему уже сложившемуся представлению о мире, вместо того чтобы использовать критическое мышление. 

AP означает “антиполитика” – вера в то, что политика всегда ухудшает ситуацию, мешая инновациям и творчеству. На самом деле хорошая политика сыграла невероятно важную роль в улучшении условий жизни человека. 

Заключение 

В заключение этой статьи я хотел бы подчеркнуть положительные противоположности нежелательным чертам CASHAP, которые я только что перечислил.

Вместо сократительства мы должны быть готовы к расширению нашего мышления и к тому, что наши идеи будут оспариваться. Мы должны быть готовы находить новые важные идеи в неожиданных местах – в том числе у людей, с которыми у нас много разногласий. Мы должны быть готовы время от времени откладывать свои эмоциональные реакции на потом, поскольку наши прежние инстинкты отнюдь не являются безошибочным проводником в грядущие бурные новые времена. 

Вместо акселеризма мы должны использовать более сложный набор инструментов: иногда тормозить, иногда ускоряться, а также много рулить. Это то, что я назвал технопрогрессивным (или техноагильным) подходом к будущему. 

Кредит: Дэвид Вуд

Вместо преемственности мы должны принять трансгуманизм: мы можем и должны поднять сегодняшних людей на более высокий уровень здоровья, жизненной силы, свободы, творчества, интеллекта, осознанности, счастья, сотрудничества и блаженства. И прежде чем нажимать на кнопки, которые могут привести к вытеснению человечества сверхразумными ИИ, способными положить конец нашему процветанию, нам нужно тщательнее изучить целый ряд вопросов! 

Вместо шумихи мы должны вновь приступить к критическому мышлению, осознавая любые тенденции к ложным выводам или придавая слишком большое значение выводам, которые являются лишь предварительными. По сути, это главная идея R (рационализма) в TESCREAL, что делает еще более “сумасшедшим городом” то, что R презирают за чрезмерное упрощение. 

Мы должны прояснить и защитить то, что называют “узким путем” (или, иногда, просто “политикой будущего“) – то, что находится между государствами, имеющими слишком мало власти (оставляя общества заложниками разрушительных раковых опухолей, которые могут расти в нашей среде) и имеющими слишком много власти (не имея противовеса в виде “сильного общества”).

Континуум шахмат: Эволюция шахматных ИИ движков

Шахматы, сочетающие в себе стратегию, предвидение и интеллект, уже много веков пленяют человеческий дух соперничества. Их происхождение уходит корнями в Древнюю Индию, проходя через Персию, где они получили название “Шах Мат” (“король беспомощен”). Со временем шахматы приобрели глобальную популярность – миллионы людей по всему миру увлеклись этой интеллектуальной игрой, короли и пешки танцуют стратегический танец на пути к победе или поражению. 

Вычисления и автоматические логические машины нашли в шахматах быстрого компаньона. Структурированная, ограниченная правилами шахматная вселенная защелкала колесами ранних компьютеров, и началось путешествие шахмат и раннего ИИ, породившее то, что мы сегодня знаем как шахматные движки с ИИ. 

Давайте углубимся в пересечение шахмат и машин, исследуя рождение, настоящее и будущее шахматных движков ИИ. 

Кредит: Тесфу Ассефа

Шахматная доска встречается с печатной платой: Исторический перекресток 

История шахмат и вычислений началась еще до наступления электронной эры. Самый ранний намек на шахматный движок восходит к Алану Тьюрингу, отцу современной информатики. Тьюринг разработал концепцию теоретической машины, которая могла бы имитировать когнитивные процессы шахматиста. Хотя его идеи так и остались на бумаге, они посадили семена будущего, в котором шахматы станут областью исследований для логиков-вычислителей. 

Теоретические размышления Тьюринга вскоре нашли практическое применение. В 1951 году Ferranti Mark I, первый в мире коммерчески доступный компьютер общего назначения, сыграл партию в шахматы. Пусть и рудиментарная по сегодняшним меркам, она положила начало вычислительным шахматам. Шахматы всегда были авангардной проблемой для ИИ. Решение шахматной задачи было первым шагом на пути к AGI, привлекательной проблемой, на которой можно было проверить базовые схемы новых нейронных машин. 

В 1997 году Гарри Каспаров, действующий чемпион мира по шахматам, сразился с шахматной машиной Deep Blue компании IBM. Это была не просто игра – это был поединок между человеческим интеллектом и машинной логикой. Весь мир наблюдал за тем, как Deep Blue компании IBM одержал победу, что стало первым случаем, когда чемпион мира был побежден машиной в условиях турнира. После этого поражения господство ИИ в шахматах было обеспечено. Такие движки, как Stockfish и AlphaZero, имеют ELO, намного превосходящее даже Магнуса Карлсена. Все кончено – в шахматах победили машины. 

Титаны шахматной доски: ИИ-движки против человеческих гроссмейстеров 

Stockfish, движок с открытым исходным кодом, – это зенит направленной оценки, использующий мощь обширных библиотек дебютов и таблиц эндшпилей. Его тщательная оценка миллионов потенциальных будущих позиций подкрепляет грубую силу, объединяясь в грозное тактическое чутье. 

AlphaZero, разработанная компанией DeepMind, использует новый подход. Она изучает шахматы с нуля, не имея никаких запрограммированных знаний, кроме основных правил. Сыграв астрономическое количество партий против самого себя, она достигла сверхчеловеческой производительности за несколько часов, продемонстрировав шахматы, которые не только доминировали над человеческими противниками, но и были пропитаны креативностью, которая, как считалось ранее, достижима только для органических нейронов. 

В матче из 100 партий AlphaZero одержала победу над Stockfish. Это стало важной вехой. Битва роботов стала настоящим зрелищем: AlphaZero часто выбирала менее проторенные пути и проявляла склонность к динамичной, нестандартной игре. 

Это ключевой момент: шахматы AlphaZero совсем не похожи на человеческие. Нейронный движок демонстрирует такой уровень проницательности, что гроссмейстерам приходится прибегать к обратной разработке, чтобы понять логику. Вычислительный потенциал современных машин может означать совершенно другую игру. Интуитивное распознавание образов AlphaZero позволяет ей чувствовать себя “умной”. Это не какой-то мускулистый калькулятор Тьюринга, проделывающий миллиарды шагов, а по-настоящему “думающая” машина, с озарениями сродни человеческой эврике. 

Она не просто “решила” шахматы с помощью вычислительной мощности. Это (вероятно) невозможно. В общем, возможных ходов в шахматах больше, чем атомов во Вселенной. И это если учитывать только ограниченный набор “разумных ходов”. К первому ходу у черных 900 ходов. К двадцатому ходу он, по всем разумным меркам, уже бесконечен. Пока что мы, даже с огромной вычислительной мощностью “тупого” ИИ вроде Stockfish, можем только просчитывать. Именно поэтому распознавание образов в AlphaZero так увлекательно, ведь оно похоже на наше собственное – только с помощью лошадиных сил, как у Stockfish. 

Так что продвижение ИИ в шахматах не обязательно означает устаревание человеческих игроков. Шахматы уже несколько десятилетий являются эталоном ИИ. Даже если мы признаем, что наши ИИ-агенты лучше, возможно, есть вещи, которым мы все еще можем научиться друг у друга. Шахматы Centaur – одно из таких исследований, в котором человеческие игроки используют ИИ для участия в турнирах. 

Шахматное будущее: Более широкие последствия применения ИИ в шахматах 

В тренировочных залах шахматные движки с искусственным интеллектом меняют способы подготовки и стратегию игроков. Способность машин моделировать сценарии и анализировать последствия позиций стала бесценным инструментом для игроков, стремящихся отточить свое мастерство. 

Эволюция ИИ в шахматах имеет последствия и за пределами игры. Принципы, лежащие в основе успеха шахматных движков, находят отклик и в других областях, требующих принятия стратегических решений и решения проблем. Будь то оптимизация сложной логистики, навигация на финансовых рынках или разгадка тайн молекулярных структур – суть вычислительной логики, отточенной на шахматной доске, находит применение во многих областях. Шахматы по-прежнему занимают центральное место в исследованиях ИИ. Одним из таких примеров является шахматный движок Maia, который совершает ошибки, похожие на человеческие, и выступает в качестве исследовательской платформы для изучения взаимодействия ИИ с человеком и натуралистического взаимодействия в закрытых системах. 

Сага об ИИ в шахматах – это микрокосм более масштабного повествования об ИИ в человеческом обществе. Это история о дополнении, сотрудничестве и постоянном стремлении к знаниям. Шахматная доска, когда-то бывшая полем битвы королей и королев, теперь является полем битвы людей и машин, символом будущего, в котором они вместе отправляются в неизведанные сферы, гоняясь за тенью совершенства.

Тескреализм. Правящий класс Кремниевой долины сошел с ума? Эмиль Торрес в беседе с Р. У. Сириусом

ТЕСКРЕАЛИЗМ 

Т=Трансгуманизм
E= Экстропианизм
S = Сингуляритаризм
C = Космизм
Р = Рационализм
EA = Эффективный альтруизм
L = Лонгтермизм

Эмиль Торрес, философ и историк, в последнее время уделяющий особое внимание экзистенциальным угрозам, разработал так называемую “связку” (мы можем назвать ее мемплексом), в которой утверждается, что все вышеперечисленные “-измы” объединены в некую единую силу, которую приняли многие сверхбогатые и влиятельные люди в мире технологий. Именно влияние этих тропов на сверхбогатых и влиятельных людей, по мнению Торреса, делает их очень опасными.

В своей статье для Truthdig Торрес пишет: “В основе TESCREALism лежит “техно-утопическое” видение будущего. Оно предвосхищает время, когда передовые технологии позволят человечеству достичь таких вещей, как: производство радикального изобилия, реинжиниринг себя, стать бессмертным, колонизировать вселенную и создать разросшуюся “постчеловеческую” цивилизацию среди звезд, полную триллионов и триллионов людей. Самый простой способ реализовать эту утопию – создать сверхразумный AGI“. 

В той же статье Торрес переходит к более диким прогнозам, которые, как я подозреваю, даже многие читатели Mindplex, ориентированные на техноэнтузиазм и трансгуманизм, сочтут фантастическими (основанные на гениальных умах, принимающих свои фантазии за реальность). Теорема Торреса в значительной степени опирается на взгляды оксфордского профессора Ника Бострома, пишет, что он “утверждает, что если существует всего 1% вероятность того, что в будущем будет 10^52 цифровых жизней, то “ожидаемая ценность снижения экзистенциального риска всего на одну миллиардную долю одной миллиардной доли одного процентного пункта стоит в сто миллиардов раз больше, чем миллиард человеческих жизней.’ Другими словами, если вы уменьшите экзистенциальный риск на эту мизерную величину, то вы сделаете моральный эквивалент спасения миллиардов и миллиардов существующих человеческих жизней”.

Как он объяснил в беседе с Дугласом Рашкоффом, Торрес определяет TESCREALism как философскую “связку”, которая, в некотором смысле, тривиализирует жизни и страдания ныне существующих людей, находя большую важность в возможных триллионах постчеловеков, которые могут существовать в физическом и/или виртуальном пространстве в будущем – “людей”, имеющих опыт, который может быть оценен выше нашего воображения. Некоторые из тех, кого цитируют, склонны использовать статистику для оценки опыта, что является примерно таким же отчуждением от опыта, какое только можно получить. 

Могу предположить, что вы все знаете о трансгуманизме и сингулярности. Если вы здесь, то, вероятно, знаете о проекте Бена Гертцеля по созданию AGI. Но знакомы ли вы с эксцентричностью и крайностями, которые приложили руку к рационализму (по определению LessWrong), эффективному альтруизму и долгосрочности?

В интервью, представленном ниже, я в основном прошу Торреса разобраться, насколько все это реально. Многие ли люди покупаются на всю эту философскую связку? Мое собственное отношение, даже как давнего сторонника трансгуманизма, всегда было таким: “Ты серьезно?”, когда речь заходила о людях, воспринимающих свое дерьмо слишком серьезно, особенно когда они обманывают себя, думая, что они рациональны.

В последующем опросе я попрошу читателей Mindplex и ветеранов трансгуманистической культуры высказать свое мнение о связке TESCREAL.

Р. У. Сириус: В своей книге “Вымирание человечества: A History of the Science and Ethics of Annihilation” вы перешли от написания об экзистенциальных угрозах как историческом явлении к различным трансгуманистическим тропам. Когда я читал эту книгу, мне показалось, что мы внезапно перешли от науки и геологии к научной фантастике. Потом я задумался, а была ли научная фантастика в более древние времена? (Полагаю, были Библия и другие мифы.) Как вы пришли к этому?

Эмиль Торрес: В середине 2000-х годов я впервые столкнулся с трансгуманизмом. И поначалу я отнесся к нему весьма критически. Вторая статья, которую я опубликовал, была критикой трансгуманизма. Но затем некоторые соображения заставили меня поверить в то, что трансгуманизм – это защищаемая позиция, и я стал своего рода трансгуманистом. 

И одним из главных соображений было то, что развитие этих технологий неизбежно. Так что если вы собираетесь быть против трансгуманизма, то, возможно, вы должны быть против развития определенных технологий, связанных с созданием человека. Но поскольку они неизбежны, нет смысла выступать против них только для того, чтобы сдержать волну. Поэтому лучше всего присоединиться к трансгуманистам и сделать все возможное, чтобы этот проект был реализован наиболее оптимальным способом. 

Понятие экзистенциального риска было тесно связано с трансгуманизмом с самого начала: экзистенциальный риск изначально определялся как “все, что может помешать нам создать постчеловеческую цивилизацию”.

Р. У. Сириус: Наверняка до этого в различных интеллектуальных кругах уже были упоминания об экзистенциальном риске… например, связанном с ядерной войной и так далее?

Эмиль Торрес: Определенно, разговоры о вымирании и глобальной катастрофе были. 
Но что нового в этой идее экзистенциального риска – прямо в определении – так это идея желательного будущего развития. 

Были люди, особенно во второй половине XX века, которые утверждали, что одна из причин, по которой вымирание человечества было бы плохо, заключается в том, что оно закрыло бы возможность реализации всего будущего прогресса, будущего счастья и так далее. Но этот аргумент об утраченном потенциале так и не был формализован. Все внимание было сосредоточено на вымирании. Все на Земле умрут. Мы с вами умрем. Наши семьи умрут. Это было на первом плане. Потерянный потенциал не выделялся.

Понятие экзистенциального риска, как мне кажется, перевернуло это представление и выдвинуло на первый план утраченный потенциал: аргументом стало то, что худший аспект вымирания человечества – это утраченный потенциал. Дело не в 8 миллиардах людей, которые умрут. Это очень плохо, но плохость всего утраченного потенциала на порядки больше.

Р. У. Сириус: Возможно, я немного не в курсе трансгуманистической культуры… Для меня это странная итерация трансгуманизма. Это не то, с чем я часто сталкивался, когда общался с этим миром в 2007-2010 годах в качестве редактора журнала h+. В то время вы в основном слышали о продлении жизни и других улучшениях. Или о бессмертии, если вы хотите зайти очень далеко. Понятие о загружаемых детях-разумниках тоже присутствовало, но как нечто весьма умозрительное. А вот идея принести почти всех в жертву воображаемым людям из будущего, о которой вы писали в своих работах о TESCREAL, в те времена, похоже, была не слишком распространена.

Эмиль Торрес: По-моему, это верно. Я думаю, что понятие потенциала действительно является центральным в лонгтермизме. Первоначальное определение появилось в 2002 году, когда Бостром обсуждал динамику перехода от нашей человеческой цивилизации к постчеловеческой, подчеркивая потенциал становления постчеловека. Это также было связано с понятием, что создание постчеловечества ценно не только потому, что это хороший способ развернуть космическую историю. Но также и мы с вами можем извлечь из этого пользу, верно? 

Так почему же создание постчеловеческой цивилизации важно (по мнению Бострома и ему подобных)? Ну, потому что если это произойдет в течение моей жизни, то, возможно, я буду жить вечно. Или даже если это произойдет через тысячу лет, я все равно буду жить вечно, потому что подпишусь на ALCOR и буду воскрешен. Так что я действительно вижу этот момент, когда происходит своего рода поворот к размышлениям о далеком будущем. Думаю, изначально для трансгуманистов это было связано с их собственной судьбой как личностей.

Р. У. Сириус: Я подумал, что, возможно, например, Элиэзер Юдковский поступает бескорыстно, когда говорит о том, что рискует ядерной войной и жертвует большинством жизней на планете, чтобы убедиться, что ИИ не появится раньше, чем он считает, что мы готовы. Потому что, как мне кажется, у него есть шансы, по крайней мере, 50:50 стать жертвой ядерной войны, которой он готов рискнуть, чтобы предотвратить слишком быстрое развитие ИИ. Поэтому я думаю, что он поступает бескорыстно, но ему так нравится идея блаженного будущего людей, что он готов пожертвовать собой. 

Эмиль Торрес: Насколько я понимаю историю, именно в 2000-х годах люди в этом сообществе стали все больше осознавать, насколько огромным может быть будущее. Вместе с осознанием этого пришло и соответствующее смещение моральных акцентов. 

Юдкоузи хочет жить вечно. В подкасте Лекса Фридмана он сказал, что вырос с верой в то, что будет жить вечно. И поэтому часть травмы для него, как он упомянул в том подкасте, заключается в том, что он оказался в ситуации, когда AGI так близко, и ему приходится столкнуться с собственной смертностью, возможно, впервые. Кажется, что его мышление является примером этого поворота на протяжении 2000-х годов. 

Р. У. Сириус: По мне, так это все фантазии. Некоторые из этих вещей, которые вы упомянули как часть этой связки – например, теоретические триллионы людей, включая цифровых людей, имеющих количественно большой опыт – звучат как мозговые штурмы обкуренных ботаников в общаге, которые просто никогда не заканчиваются. Они продолжают развиваться от первоначальной предпосылки, все больше и больше отрываясь от реального опыта. Раньше идеи созревали, а теперь, похоже, становятся только более раздражительными. Я не могу этого доказать, но это может быть результатом экономики внимания. Говоря словами Нильса Бора, “ваша идея безумна, но она не настолько безумна, чтобы получить поддержку в социальных сетях”.

Эмиль Торрес: Что касается экономики внимания, то мне кажется, что долгосрочники понимают, что такое видение будущего – это бред. Я имею в виду, что некоторые из них использовали термин “сумасшедший город”. Поэтому, я думаю, они стараются избегать публичного упоминания о том, каковы их реальные цели. Безумные идеи привлекают внимание общественности, но в данном случае, я думаю, они чувствуют, что некоторые из этих идей не являются хорошим пиаром.

Что насчет полезного ИИ?

Кредит: Тесфу Ассефа

Р. У. Сириус: Что касается вашего утверждения, что деятельность ИИ может быть объяснена только этой идеологической конфигурацией. Я не знаю, говорите ли вы о практическом ИИ, скажем, для отслеживания и реагирования на погодные условия, разработки вакцин и других мер реагирования на пандемии, создания лекарств и т. д. Или же вы имеете в виду только ИИ, выполняющий то, что мы считаем интеллектуальными или творческими задачами.

Эмиль Торрес: Я не думаю, что ИИ в целом мотивирован такой идеологией. А вот гонка за AGI – да. И я думаю, что здесь есть два фактора. Один из них очевиден – это мотив прибыли. Microsoft и Google рассчитывают заработать миллиарды долларов на этих больших языковых моделях. Но я думаю, что другой важнейший компонент объяснительной картины – это ТЕСКРЕАЛИЗМ. 

Это как… почему DeepMind вообще образовалась? Почему Демис Хассабис, который участвовал во многих конференциях трансгуманистов, основал его? И Шейн Легг, который получил 100 000 долларов от Канадского института сингулярности на развитие искусственного интеллекта после завершения своей докторской диссертации и выступал с докладами на конференциях Singularity Summit.

Р. У. Сириус: Если бы я зашел во все залы заседаний совета директоров в Кремниевой долине и поговорил с владельцами и программистами, как вы думаете, большинство из них приняли бы всю эту идею TESCREAL? Я думаю, что они были бы склонны к трансгуманизму, а некоторые из них могли бы быть сингуляристами, но им, вероятно, не нравится аспект “триллионов будущих людей” в этом проекте. Я имею в виду, насколько распространены эти идеи на самом деле?

Эмиль Торрес: В том, что касается повсеместности убеждений TESCREAL, я думаю, вы правы. Многие из них даже не стали бы использовать слово “трансгуманизм”. Вы можете спросить: “Вы бы поддержали реинжиниринг человеческого организма?”. Или спросить: “Вы финансируете проекты по реинжинирингу человеческого организма, чтобы мы могли внедрить ИИ в наш мозг?”. Думаю, многие из них ответят “да”. И они были бы сторонниками таких аспектов долгосрочного мировоззрения, как императив колонизации космоса и разграбления космоса. Я сильно подозреваю, что эти люди плавают именно в такой воде. 

Статья, которую я хочу написать, будет посвящена различным терминам и идеям, которые разные авторы используют для описания культуры Кремниевой долины – используя разные термины, но в конечном итоге описывая одно и то же явление. Итак, под ТЕСКРЕАЛИЗМОМ я понимаю то же самое, что ультраправый Ричард Ханания называет “технологическими правыми”. 

В Huffington Post была статья о том, что он придерживается белых супремацистских взглядов. И он сказал: “Я ненавижу слово TESCREALism”. Поэтому он назвал это “технологическими правыми”. Дуглас Рашкофф называет это “умонастроением” – он говорит, что оно повсеместно распространено в Кремниевой долине среди технологических миллиардеров и так далее; беседуя с ними об их взглядах, он обнаружил, что все они считают: “Будущее за цифровыми технологиями. Мы собираемся загрузить наши умы. Мы распространимся по всему космосу” и так далее. То, что Рашкофф подразумевает под “умонастроением”, по сути, является тем, что я подразумеваю под ТЕСКРЕАЛИЗМОМ. Скажут ли эти люди, воплощающие “умонастроение”, “да, я долгосрочник и считаю, что самое морально важное – это покорить космос и создать всех этих цифровых людей в будущем?”. Я не знаю. Но их мировоззрение очень похоже на долгосрочность.

Р. У. Сириус: Считаете ли вы, что отсутствие заботы о ныне живущих людях – это своего рода политическое проявление долгосрочного взгляда, толкающего некоторых жителей Силиконовой долины к правому экстремизму?

Р. У. Сириус: Считаете ли вы, что отсутствие заботы о ныне живущих людях – это своего рода политическое проявление долгосрочного взгляда, толкающего некоторых жителей Силиконовой долины к правому экстремизму? 

Эмиль Торрес: Я думаю, что это в значительной степени верно. Я думаю, что некоторые люди, например Уил Макаскилл [деятель “эффективного альтруизма“], действительно принимают эту очень абстрактную философскую позицию, согласно которой главное, чтобы в будущем было огромное количество людей. И многие технологические миллиардеры считают, что это видение связано с их судьбой как личностей. Мышление выглядит так: “Я хочу построить бункер, чтобы пережить апокалипсис, чтобы попасть в космос, оцифровать свой разум” и так далее. И это определенно может привести к такому пренебрежению к большинству человеческих существ. Дикий пример этого – новость о том, что брат Сэма Бэнкмана-Фрида и кто-то еще в FTX обсуждали возможность покупки островного государства Науру специально для того, чтобы члены движения “эффективного альтруизма” могли пережить апокалипсис, который убьет до – как они написали в документе – 99,9% человеческих существ.

Сингулярность, вероятно, не близка 

Кредит: Тесфу Ассефа

Р. У. Сириус: Бен Гертцель сказал, что я должен спросить вас, как вы думаете, произойдет ли Сингулярность. И если она произойдет, то в 2035 или 2050 году?

Эмиль Торрес: Думаю, это зависит от того, что понимать под Сингулярностью. Есть интерпретация взрыва интеллекта… есть курцвейловская идея, которая просто связана с темпами изменений.

Р. У. Сириус: Я думаю, что Сингулярность – это момент, когда ИИ станет умнее нас, и после этого вы не сможете ничего предсказать. Невозможно предсказать, кем мы будем, будем ли мы существовать, и каким будет мир. Писатель-фантаст Вернор Виндж был первым, кто предложил идею Сингулярности. Мы создадим разум, который станет для нас таким же непостижимым, как мы для червей.

Эмиль Торрес: Я с пониманием отношусь к такому взгляду на Сингулярность. Просто мы мало что можем сказать по этому поводу. Я очень скептически отношусь к идее взрыва интеллекта. А идея Курцвейла о скорости изменений, похоже, находится в прямом и существенном противоречии с тем фактом, что климатическая катастрофа практически неизбежна, если только не появится новая технология, которая в масштабах всей планеты будет удалять углекислый газ из атмосферы.

Р. У. Сириус: Курцвейл показывает, что наклонная линия технологического развития человечества пережила две мировые войны (на самом деле мировые войны стимулировали развитие технологий), Мао и Пол Пота и всевозможные ужасные события.

Эмиль Торрес: Я думаю, что изменение климата – это совсем другое. 

Р. У. Сириус: Да, я тоже так думаю.

Эмиль Торрес: Мы говорим о глобальной цивилизации. Сможет ли она выжить? Не знаю. Есть климатологи, которые считают, что она не выживет, если не будут приняты срочные меры по предотвращению катастрофического изменения климата. 

Помню, как много лет назад я спорил с коллегами из области экзистенциального риска, утверждая, что изменение климата – это гораздо более серьезная проблема, чем они предполагали. Они думали: “Мы изобретем искусственный интеллект. А когда у нас будет AGI, это…”

Р. У. Сириус: Он придумает, что делать, да.

Эмиль Торрес: Выяснить, что делать. Но как мы создадим AGI в мире, который просто рушится и разваливается на части? Как мы будем проводить конференции по ИИ, если погода настолько неблагоприятна, что туда невозможно добраться?

Р. У. Сириус: Думаю, вопрос в том, насколько радикальным будет вмешательство погодных катаклизмов в ближайшем будущем. Люди думают, что смогут реализовать AGI в ближайшие 10-20 лет или около того. А мы уже имеем дело со всеми видами дрянной погоды, смертей и разрушений. Но на первый взгляд западная цивилизация продолжает жить. Люди садятся в машины и едут в магазин. Продукты питания по-прежнему развозятся. Так что, похоже, мы продолжаем жить, и, возможно, так будет продолжаться еще 10 или 20 лет. Если люди, создающие AGI, робототехнику и прочее, смогут добраться до лаборатории и сделать свою работу, сесть в машину и получить достаточно еды и т.д., то, возможно, они смогут достичь того, на что рассчитывают. Думаю, в этом и заключается идея. 

Эмиль Торрес: Это просто не моя область знаний. Но мне кажется, что с точки зрения тех LLM, которые у нас есть, нет очевидного пути от таких систем, как ChatGPT, к настоящему AGI или суперинтеллекту. 

Р. У. Сириус: Многие люди говорят, что ChatGPT и им подобным нечем похвастаться. Мичио Каку, который, как правило, является гипероптимистичным популяризатором технологий, назвал их прославленным магнитофоном.

Эмиль Торрес: Я думаю, это был Гэри Маркус, который смеялся над взлетом и падением престижа, если хотите, ChatGPT. Это стало шуточной фразой во время республиканских дебатов.

Р. У. Сириус: В наши дни все происходит так быстро.

Эмиль Торрес: Да. Поэтому я не думаю, что Сингулярность произойдет, скорее всего. И я бы поставил на то, что это произойдет не скоро, не в 2045 году, как предсказывает Курцвейл.

А как же гуманные трансгуманисты, сингуляристы и энтузиасты искусственного интеллекта? 

Р. У. Сириус: Позвольте спросить вас о различных идеологиях и идеалах внутри трансгуманизма и его ответвлений. Вы в разных местах упоминали Бена Гертцеля – капитана корабля в Mindplex – как человека, играющего центральную роль в “связке” из-за его давнего стремления к AGI. И я знаю, что Бен – гуманист, более или менее либерал или даже лучше. Я знаю, что он не хочет эксплуатировать, порабощать или убивать нынешних людей на Земле, но хочет попытаться поднять всех. Так что я по собственному опыту знаю, что в трансгуманизме существует множество философских вариаций. 

Я помню, когда они попросили меня создать журнал для Humanity+, у меня были свои предположения, основанные на предыдущем опыте общения с экстропианцами. Поэтому я признался этим ребятам на встрече, сказав: “Я должен сразу сказать вам, что я не либертарианец. Я левый с либертарианской жилкой”. И один из парней сказал: “Да, я тоже”. А другой парень сказал: “Я даже не уверен насчет либертарианства”. 

В общем, примерно в то время – около 2007 года – я узнал, что многие люди, работающие в этой официальной трансгуманистической организации, считают себя либералами, своего рода обычными мейнстримными либералами. И в этом мире существует множество различий.

Эмиль Торрес: Я признаю и подтверждаю это. Понятие TESCREALism должно отражать техно-утопическое видение, которое появилось в некоторых из этих движений, и жестикулировать на худших аспектах этого. Я думаю, что именно они стали наиболее влиятельными сейчас. Например, демократический социалист Джеймс Хьюз – он оказал определенное влияние. Но по сравнению с таким человеком, как Бостром, его влияние незначительно. И я абсолютно признаю, что есть трансгуманисты, которые настроены антилибертариански. Некоторые из них – мормоны.

Р. У. Сириус: Да… мормонские трансгуманисты! Они восхитительны. Я думаю, что когда такие люди, как Питер Тиль и Элон Маск, присоединились к этим идеям, они, вероятно, стали главными притягателями трансгуманизма или связанных с ним идей улучшения человека. Все больше людей, которых могли бы привлечь их идеологии, оказались втянуты в них, особенно в культуре Силиконовой долины. Эти страшные монстры и суперзлодеи из правящего класса стали как бы главным широкодоступным общественным рупором подобных взглядов. Затем появились неореакционное движение и темное просвещение. Большинство людей, говорящих о них, склонялись к трансгуманистической тематике. Это стало “альт-правыми”; это послужило питательной средой для распространения правого экстремизма. 

Можно понять, как идея славного будущего – встать прямо и во весь рост и выстрелить в славное будущее – может привлечь определенный тип фашистских чувств.

Эмиль Торрес: Мне тоже так кажется. Очевидно, что существует захватывающая история, связанная с футуризмом и фашизмом. Возможно, он действительно привлекает определенный тип людей, или его интерпретация или использование фашистами. TESCREALism отражает этот аспект. 

Является ли Less Wrong сектой?

Р. У. Сириус: Я помню, как был на конференции Сингулярности, и ко мне подошел человек, вовлеченный в Less Wrong. И это было похоже на то, как если бы к вам обратились в секту. Мне интересно, сталкивались ли вы в своих исследованиях с каким-либо реальным культовым поведением, например, когда люди собираются в сообщества и приобретают оружие, чтобы защищаться, или поклоняются лидеру и тому подобное.

Эмиль Торрес: В рационализме определенно есть аспект харизматичного лидера. Есть такие посты в Less Wrong, в которых Юдковскому просто воздается должное. Помню, я видел список высказываний о Юдковском, состоящий из одного или двух предложений. В одном из них было что-то о том, что “внутри шишковидной железы Элиэзера Юдковского находится не бессмертная душа, а другой мозг”. “В истории западных мыслителей были Платон, Иммануил Кант, Элиэзер Юдковский”. 

(Смех.) 

Кто-то, кого я не буду называть, сказал мне, что рациональная сцена в районе залива – это культ апокалипсиса в полный рост. 

Я думаю, что EA (Эффективный альтруизм) – это что-то вроде культа. Недавно была опубликована статья Карлы Кремер. Она рассказала о секретной системе рейтингов, в которой у участников вычитаются баллы, если их IQ меньше 120.

Р. У. Сириус: О! Я подумал, что мог бы спросить людей, занимающихся трансгуманизмом, верят ли они вообще в IQ как в законное измерение интеллекта. 

Эмиль Торрес: Мне было бы очень любопытно узнать. Потому что я думаю, что реализм IQ довольно широко распространен в этом сообществе. Бостром писал, что IQ хорош, но несовершенен. Так что они вроде как склоняются к IQ-реализму.

Кто-нибудь называет себя тескреалистом?

Р. У. Сириус: Вы отметили, что Марк Андреессен отождествил себя с этой связкой, которую вы создали совместно. Известны ли вам другие люди, непосредственно принявшие этот термин в качестве позитивной идентичности?

Эмиль Торрес: Нет, не совсем. Ханания признает это, утверждая, что “технологические правые” – это более подходящий термин. Он сказал, что мы в основном правы насчет того, что такое потоки, что такое связка, но “технологические правые” – более удачный термин. Я не удивлен, что не так много людей заявляют о своей принадлежности к TESCREAL.

Р. У. Сириус: Может быть, после того, как это покажут на Mindplex, появится куча людей, которые решат, что они именно такие. О, Боже. Что же мы натворили?

Евгеника

Кредит: Тесфу Ассефа

Р. У. Сириус: Позвольте мне затронуть сложный вопрос: евгеника. Как насчет вмешательства в зародышевую линию для предотвращения ужасных болезней и тому подобных вещей? Как вы считаете, может ли быть законное применение подобным вещам?

Эмиль Торрес: Да. Я думаю, что при определенных обстоятельствах это может быть допустимо. Я имею в виду, что меня беспокоит вопрос о том, в каких пределах будет использоваться эта технология. Будет ли она использоваться только для того, что мы интуитивно называем терапевтическими целями? Меня больше всего беспокоит то, что это может легко открыть дверь для “улучшающего” подхода. Как только вы заговорите об усовершенствованиях, возникнут вопросы типа: “По каким критериям вы судите о том, что какая-то модификация лучше?” Тут-то и возникает проблема “суперклассов”, о которых писал Бостром. 

Многое из этого, вероятно, является ableist. То, что “улучшение” означает для кого-то вроде Бострома, может быть совершенно иным, чем то, что могу подразумевать я. Верно?

Р. У. Сириус: Должен признаться, у меня возникла рефлекторная реакция, когда я впервые услышал термин “ableism”. Люди должны быть способными. В целом, мы должны благосклонно относиться к способностям и не доводить дело до того, чтобы люди поклонялись своим, так сказать, сломанным частям. В то же время у людей должно быть право выбирать, какими они хотят быть. Но мне не по себе от мысли, что люди захотят сохранить то, что большинство людей сочло бы некой поломкой. И я задаюсь вопросом: где грань для этого?

Эмиль Торрес: Мне кажется, что такие слова, как “сломленность”, являются нормативными терминами. Я думаю, что активисты движения за права инвалидов или ученые, занимающиеся проблемами инвалидности, правы, когда говорят: “Существует бесконечное количество вещей, которые я не могу делать”. Я не могу летать. Некоторые утверждают, что понятие инвалидности – это просто социальная конструкция. Мы живем в обществе, которое не приспособлено для тех, кто не может делать то, что может статистическое большинство других людей. Вот что такое “инвалидность”. Так что, возможно, если исправить общество, инвалидность исчезнет, даже если неспособность останется.

Р. У. Сириус: Как бы вы отнеслись к физическим проблемам, которые усложняют жизнь человеку или окружающим его людям?

Эмиль Торрес: Здесь есть два аспекта. Один – это неспособность, а другой – общество, в котором человек живет. Так что инвалидность можно исправить или устранить, улучшив общество. И есть хороший аргумент в пользу того, что многие неспособности, которые мы классифицируем как инвалидность, не считаются плохими. Они просто другие. Есть люди разного роста. Есть люди, которые не могут ходить. Я чувствую, что мое сердце наполняется сочувствием к ученым, занимающимся проблемами инвалидности – некоторые из которых сами являются инвалидами, – утверждающим, что они не хотели бы меняться. И их мнение о том, что мы не должны стремиться к миру, в котором таких людей, как они, больше не существует.

Техно-мрак

Р. У. Сириус: Стоит ли нам беспокоиться о крайних формах технонегативизма? Например, человек, который не может самостоятельно ходить, будет полагаться на хорошие технологии, чтобы передвигаться. и, возможно, будет надеяться на еще более совершенные технологии. И сейчас наблюдается реальное движение в сторону крайнего технонегативизма, явно спровоцированное отчасти теми людьми из TESCREAList, которых вы выводите на поверхность. Интересно, не боитесь ли вы, что реакция на технологию может оказаться чрезмерной, а на самом деле вредной?

Эмиль Торрес: Не очень, потому что я не видел большого количества доказательств, по крайней мере, в моих социальных сетях.

Р. У. Сириус: Вы живете не рядом с Сан-Франциско…

Эмиль Торрес: Если говорить упрощенно, то многие люди в моем окружении выступают за хорошие технологии, а не за плохие. Может быть, небольшие технологии, но это не значит низкотехнологичные. То есть у вас могут быть передовые технологии, которые позволят передвигаться человеку, который не может ходить. Но без мегакорпораций, контроля и риска, которые с этим связаны.