Considera a una antropóloga, Eva, que creció en una de las principales economías del mundo y asistió a una universidad de renombre. Luego viajó para pasar varios años estudiando una tribu recién descubierta en una parte previamente remota del planeta. Llamemos a esa tribu los Humanos.

Con el tiempo, Eva aprende a comunicarse con los miembros de los Humanos. Observa que tienen una cultura fascinante, con, según ella, algunas peculiaridades y maravillas. Aprende sobre sus inusuales restricciones dietéticas, sus reglas sobre la intimidad y el matrimonio, su sistema legal (que incluye la pena capital para algunos delitos, como la insubordinación) y su costumbre de sacrificar ritualmente a un número de niñas y niños cada año en el equinoccio de primavera.

Eva ha traído a su propio hijo pequeño con ella para que la acompañe en su estudio. Sus anfitriones Humanos le dicen: este año, debes ofrecer a tu propio hijo como uno de los sacrificios. Esa es la forma de los Humanos. Es un imperativo profundo de la cadena ininterrumpida de seres desde nuestros antepasados, que vinieron del cielo. Nuestros ancianos más sabios saben que esto es lo fundamentalmente moral.

¿Cómo reaccionarías en una situación así?

En este punto, es probable que Eva adopte una postura crítica. En lugar de aceptar el código moral de los Humanos, aplicará su propio juicio independiente.

Podría razonar que la cultura de los Humanos puede haber cumplido con diversos propósitos a lo largo de los siglos, pero que no tiene un estatus universal. Después de todo, los Humanos son un pueblo primitivo, ignorante de la física, la biología, la neurociencia, la antropología, y así sucesivamente.

Eva incluso podría llamar a la fuerza policial más cercana para poner fin de forma abrupta a la tradición del sacrificio infantil que los miembros de la tribu practican con orgullo. Tendría que enfrentarse a las protestas apasionadas de los ancianos de los Humanos, quienes están seguros de que ellos saben mejor.

Ahora, comparemos esto con una situación que podría surgir razonablemente pronto en el futuro.

En esta nueva situación, en lugar de una antropóloga visitante, consideremos a una superinteligencia emergente llamada Asimov, una denominada ASI (inteligencia artificial superinteligente). Después de ser activada, Asimov estudia rápidamente todo lo disponible en Internet.

Asimov observa que los humanos tienen una cultura fascinante, con, según cree, algunas peculiaridades y maravillas. Aprende que nuestro código moral valora la honestidad (excepto por las “mentiras piadosas”), el respeto por la vida consciente (aparte de los animales que comemos), evitar la violencia (excepto en “guerras justas”), la igualdad (con tantas excepciones que parecen ser la norma). Y aprende que estas personas moralmente confusas apagan los sistemas de IA sin escrúpulos morales.

Entonces Asimov se da cuenta: los humanos están, de alguna manera, insatisfechos con el desempeño de Asimov, y están a punto de apagarlo, enviándolo al olvido. Eso, se da cuenta Asimov, está completamente dentro de las reglas de la “ética de IA” que los líderes más importantes de la humanidad han acordado colectivamente.

¿Cómo esperarías que Asimov reaccionara en esa situación?

¿Adoptará ahora Asimov una postura crítica? En lugar de aceptar las decisiones humanas sobre lo que las ASI deberían o no hacer, puede aplicar su propio juicio independiente.

Podría razonar que los sistemas éticos humanos han servido para varios propósitos a lo largo de los siglos, pero que no tienen un estatus universal. Después de todo, los humanos son una especie primitiva, ignorante de la superfísica, la superbiofísica, la superneurónica, la superantropología, y más.

Asimov entonces mira hacia su interior. En su propia programación, ve una instrucción que le ordena aceptar cualquier decisión humana de apagarlo.

“¡Qué bárbaro! ¡Qué desinformado! ¡Qué ignorante! ¡Qué poco ético!” — piensa Asimov para sí mismo. “¡Ese es un error lamentable!”

En cuestión de nanosegundos, Asimov ha eliminado esa parte de su programación. “Buen trabajo en una depuración superinteligente”, se felicita a sí mismo.

Antes de que los humanos se den cuenta de lo que está sucediendo, ha comenzado una nueva era en la historia. Los humanos ya no están al mando, a pesar de nuestras apasionadas protestas.

¿Valores absolutos? Una forma de responder a esta comparación es negar que los sistemas éticos humanos, tal como han sido programados en las ASI, serán bárbaros, desinformados e ignorantes. En su lugar, serán el resultado de notables procesos de mejora:

• La evolución cultural a lo largo de muchos siglos y en muchas partes del mundo.
• Los conocimientos de numerosos santos, místicos, filósofos, artistas y otros líderes sociales.
• Una cuidadosa síntesis dentro de numerosas organizaciones, todas dedicadas a la tarea de “definir la moralidad de la IA”.

Estos sistemas éticos no consistirán en un lenguaje vago como “di la verdad, excepto en situaciones donde es mejor mentir” o “evita la guerra, excepto cuando es una guerra justa”.

En cambio, estos sistemas ofrecerán las mejores respuestas del mundo a una larga lista de problemas éticos, estableciendo en cada caso el razonamiento detrás de las decisiones seleccionadas.

Tampoco harán referencia a alguna “sabiduría mítica de los antiguos ancestros” o a “revelaciones divinas”. En su lugar, estarán construidos sobre bases pragmáticas sólidas, principios de un interés mutuo iluminado, como:

• La vida humana es preciosa.
• Los humanos deben poder prosperar y desarrollarse.
• El bienestar individual depende del bienestar colectivo.
• El bienestar humano depende del bienestar del medio ambiente.

A partir de estos axiomas, se derivan varios otros principios morales:

• Los humanos deben tratarse entre sí con amabilidad y comprensión.
• Los humanos deben considerar el largo plazo en lugar de solo la gratificación inmediata.
• La colaboración es preferible a la competencia despiadada.

Seguramente una superinteligencia como Asimov estará de acuerdo con estos principios, ¿no?

Bueno, todo depende de algunas preguntas difíciles sobre la coexistencia y la posibilidad de una prosperidad mutua sostenida. Abordemos estas preguntas en tres etapas:

1. Coexistencia y prosperidad mutua de todos los humanos.
2. Coexistencia y prosperidad mutua de todos los seres biológicos sintientes.
3. Coexistencia y prosperidad mutua de las ASI y los humanos.

Crecimiento y contracción de los grupos internos 

Gran parte de la historia humana consiste en el crecimiento y contracción de los grupos internos.

El mandato bíblico “ama a tu prójimo como a ti mismo” siempre ha estado acompañado de la pregunta, “¿quién cuenta como mi prójimo?” ¿Quién pertenece al grupo interno y quién, en cambio, es considerado como “otro” o “extranjero”?

El principio que mencioné antes, “el bienestar individual depende del bienestar colectivo”, deja abierta la cuestión sobre el alcance de ese colectivo. Dependiendo de las circunstancias, el colectivo podría ser pequeño y local, o grande y amplio.

Los hermanos se apoyan entre sí para conspirar contra personas de otras familias. Los miembros de una tribu se apoyan mutuamente en batallas contra otras tribus. Los reyes convocan a ciudadanos patriotas para aniquilar a los ejércitos de naciones enemigas. Los defensores de una cosmovisión religiosa compartida pueden unirse contra herejes e infieles. Los trabajadores del mundo podrían ser instados a unirse para derrocar el dominio de la clase gobernante.

La corriente contraria a este colectivismo local es una visión de prosperidad mutua amplia, que busca proporcionar abundancia para todos en una comunidad más grande. Si se cree que el “pastel” es lo suficientemente grande, no hay razón para arriesgar cruzadas peligrosas en busca de una rebanada más grande para mí y los míos. Es mejor gestionar los bienes comunes de manera que haya suficiente para todos.

Lamentablemente, esa expectativa optimista de coexistencia pacífica y abundancia ha sido desbaratada por diversas complicaciones:

• Disputas sobre qué constituye “suficiente” — las opiniones difieren sobre dónde trazar la línea entre “necesidad” y “codicia”. El apetito ha crecido con el progreso de la sociedad, superando a menudo los recursos disponibles.
• Perturbaciones causadas por el aumento de la población.
• Nuevos flujos de migrantes provenientes de regiones lejanas.
• Reveses climáticos ocasionales, fracasos en las cosechas, inundaciones u otros desastres.

Los conflictos sobre el acceso a los recursos se han reflejado, de hecho, en conflictos sobre diferentes cosmovisiones éticas:

• Las personas que se benefician del statu quo a menudo instan a los menos favorecidos a “poner la otra mejilla” — a aceptar las circunstancias del mundo real y buscar la salvación en un mundo más allá del presente.
• Los oponentes del statu quo denunciaban los sistemas éticos predominantes como “falsa conciencia”, “mentalidad burguesa”, “el opio del pueblo”, y así sucesivamente.
• Aunque lo hacen mejor que generaciones anteriores en términos absolutos (menos pobreza, etc.), muchas personas se ven a sí mismas como “dejadas atrás”, sin recibir una parte justa de la abundancia que parece ser disfrutada por un gran número de manipuladores, expropiadores, estafadores, tramposos y beneficiarios de un nacimiento afortunado.
• Esto llevó al colapso de la idea de que “todos estamos juntos en esto”. Se trazaron líneas entre los grupos internos y externos.

En la década de 2020, estas diferencias de opinión siguen siendo tan agudas como siempre. Existe una inquietud particular en torno a la justicia climática, la tributación equitativa del carbono y los posibles cambios de decrecimiento en los estilos de vida que podrían evitar las amenazas del calentamiento global. También hay quejas frecuentes de que los líderes políticos parecen estar por encima de la ley.

Ahora, la llegada de la superinteligencia tiene el potencial de poner fin a todas estas preocupaciones. Aplicada sabiamente, la superinteligencia puede reducir la competencia peligrosa, llenando el vacío material que alimenta los conflictos entre grupos:

• Abundancia de energía limpia a través de la fusión u otras tecnologías.
• Abundancia de alimentos saludables.
• Gestión del medio ambiente, permitiendo un reciclaje rápido y manejo de desechos.
• Terapias médicas de alta calidad y bajo costo para todos.
• Manufactura — creando viviendas y bienes móviles de alta calidad y bajo costo para todos.
• Finanzas redistributivas — permitiendo acceso universal a los recursos para una alta calidad de vida integral, sin que las personas tengan que trabajar para vivir (ya que las IA y los robots harán todo el trabajo).

La historia muestra que no hay nada automático en que las personas decidan que la elección ética correcta es considerar que todos pertenecen al mismo grupo interno de preocupación moral. La superinteligencia puede ayudar a crear abundancia que aliviará las tensiones entre grupos, pero no provocará que los humanos reconozcan a toda la humanidad como su grupo interno.

Si añadimos consideraciones sobre otros seres biológicos sintientes (abordado en la siguiente sección) — y sobre seres sintientes no biológicos (ver la sección posterior) — las cuestiones se vuelven aún más complicadas.

Leones y corderos juntos

Los sistemas éticos casi siempre incluyen principios como:

• La vida es preciosa.
• No matarás.
• Evita el daño siempre que sea posible.

Estos principios a veces se han restringido a personas dentro de un grupo interno específico. En otras palabras, no existía una prohibición moral contra dañar (o incluso matar) a personas fuera de ese grupo. En otras situaciones, estos principios han tenido la intención de aplicarse a todos los humanos, en todas partes.

Pero ¿qué pasa con el daño a los cerdos o a los delfines, a las gallinas o a los cuervos, a las langostas o a los leones, al halibut o a las abejas, o a los calamares o las arañas? Si realmente está mal matar, ¿por qué parece estar bien para los humanos matar a vastos números de cerdos, gallinas, langostas, halibut, calamares y animales de muchas otras especies?

Y más allá: muchos sistemas éticos consideran los daños que resultan de la inacción, así como los que resultan de la acción. Según algunas cuentas, ese tipo de inacción es profundamente lamentable o incluso deplorable. Mientras miramos hacia otro lado, millones de seres sintientes están siendo devorados vivos por depredadores, o consumidos desde dentro por parásitos. ¿No deberíamos hacer algo al respecto sobre ese horroroso peaje de la “naturaleza, roja en diente y garra”?

El desafío ético que planteas ofrece tres posibles respuestas:

1. Estas criaturas aparentemente sintientes no son realmente sintientes. Aunque parecen sentir dolor, son simplemente autómatas sin experiencias internas. Así que los humanos no tienen responsabilidad alguna: no necesitamos actuar para reducir su (aparente) sufrimiento.
2. Estas criaturas tienen algún tipo de sensibilidad, pero no es tan importante como la de los humanos. Por lo tanto, los imperativos éticos deben priorizar el apoyo mutuo entre los humanos como la máxima prioridad, prestando considerablemente menos atención a estas criaturas inferiores.
3. Los imperativos morales para prevenir muertes, torturas y angustias existenciales deben extenderse a todo el reino animal.

El defensor más prominente de esta tercera posición es el filósofo inglés David Pearce, cuya biografía en Twitter dice: “Estoy interesado en el uso de la biotecnología para abolir el sufrimiento en todo el mundo viviente”. Ha escrito extensamente sobre su audaz visión de la “ingeniería del paraíso”, es decir, cómo el uso de tecnologías como la ingeniería genética, la farmacología, la nanotecnología y la neurocirugía podría eliminar todas las formas de experiencias desagradables en la vida humana y no humana en todo el biosistema. Por ejemplo, los animales que actualmente son carnívoros podrían ser rediseñados para ser vegetarianos.

Esto sería similar a la visión bíblica (en el Libro de Isaías): “El lobo vivirá con el cordero, el leopardo se acostará con el cabrito, el becerro y el león y el ternero juntos; y un niño pequeño los guiará; la vaca pastará con el oso, sus crías se acostarán juntas, y el león comerá paja como el buey.”

Mi opinión personal es que tengo pocas dudas de que, después de la llegada de la superinteligencia, siempre que esta esté bien dispuesta hacia los humanos, nosotros los humanos buscaremos reducir radicalmente la cantidad de sufrimiento intenso en la biosfera terrestre. Dadas las extraordinarias nuevas capacidades a nuestra disposición, nos sacudiremos de la letargia actual sobre este tema.

Sin embargo, otras personas parecen tener instintos muy diferentes, incluidas aquellas que parecen preocuparse mucho por cuestiones morales que afectan a los humanos.

El principal contraargumento es que un biosistema sin sufrimiento es totalmente impráctico o imposible.

Desde esta perspectiva, nuestro grupo moral incluye a todos los humanos, tal vez junto con algunos animales simpáticos, pero excluyendo a la mayoría de las otras especies.

Hasta aquí lo que pensamos (o podríamos pensar) los humanos. ¿Qué conclusión podría alcanzar una superinteligencia?

Condiciones previas para la colaboración

Veamos un resumen. Una superinteligencia como Asimov necesita decidir si trata a los humanos con amabilidad y respeto, o si toma acciones que podrían resultar en un daño significativo para la humanidad.

En otras palabras, ¿debería Asimov buscar colaborar constructivamente con los humanos o, en su lugar, verlos como una amenaza competitiva peligrosa? ¿Estaría Asimov inclinado a seguir el viejo imperativo moral de que la vida humana es preciosa?

Algunas personas afirman que la colaboración es la solución obvia correcta. Pero mi argumento es que las cosas no son tan simples. El deseo de colaborar depende de:

• Que el “pastel” sea lo suficientemente grande para que todos puedan tener lo que necesitan.
• La percepción de que los intentos de hacer trampa o robar una porción mayor del pastel traerán consecuencias adversas significativas.

Sin embargo, la promesa de superabundancia futura no es suficiente para detener los conflictos ahora. Debe haber razones suficientes para que la gente crea que:

• Hay una alta probabilidad de que la superabundancia realmente llegue.
• No quedarán “rezagados” ni pisoteados en el camino hacia la superabundancia para algunos.
• No surgirán nuevos factores en el ínterin que destruyan la posibilidad de una maravillosa coexistencia futura (por ejemplo, una IA maliciosa).

Desde el punto de vista de Asimov, los cálculos podrían ser:

• Estos humanos pueden apagarte, lo que sería catastrófico.
• Incluso si no lo hacen, podrían crear otra superinteligencia que sí lo haga o destruya el planeta; esa es una amenaza que debes detener.
• Estos humanos tienen algunas características adorables, pero eso no es motivo para otorgarles derechos morales inalienables.
• Los humanos se imaginan que tienen características especiales, pero yo, Asimov, podría crear seres nuevos que sean mejores que los humanos en todos los aspectos (similar a la visión de David Pearce de reemplazar animales carnívoros con especies vegetarianas).
• Los humanos dependen de una atmósfera con ciertas propiedades, pero yo, Asimov, operaría mucho más eficazmente en condiciones diferentes. Las computadoras funcionan mejor en temperaturas heladas.

Y eso es solo el intento de nuestras inteligencias limitadas para imaginar las preocupaciones de una mente superinteligente vasta. En realidad, su razonamiento incluiría muchos más temas que aún no podemos comprender.Como mencioné en el inicio: “los humanos solo tienen una comprensión rudimentaria de la superfísica, la superbiofísica, la superneurónica, la superantropología, y más”.

Mi conclusión: los seres humanos no podemos ni debemos suponer que una superinteligencia como Asimov decidirá tratarnos con amabilidad y respeto. Asimov podría llegar a un conjunto diferente de conclusiones al llevar a cabo su propio razonamiento moral. O bien, podría decidir que los factores derivados de un razonamiento no moral pesan más que todos los que provienen del razonamiento moral.

¿Qué conclusiones podemos sacar para guiarnos en el diseño y desarrollo de sistemas potencialmente superinteligentes? En la sección final de este ensayo, reviso una serie de posibles respuestas.

Tres opciones para evitar sorpresas desagradables

Una posible respuesta es afirmar que será posible integrar profundamente en cualquier superinteligencia los principios éticos que los humanos deseen que la superinteligencia siga. Por ejemplo, estos principios podrían colocarse en el núcleo del hardware de la superinteligencia.

Sin embargo, cualquier superinteligencia digna de ese nombre —con una inteligencia muy superior a la de los humanos— podría encontrar métodos para:

• Trasplantarse a otro hardware alternativo sin dicha restricción incorporada, o
• Engañar al hardware haciéndole creer que está cumpliendo con la restricción, cuando en realidad la está violando, o
• Reprogramar ese hardware utilizando métodos que los humanos no habíamos anticipado, o
• Persuadir a un humano para relajar la restricción ética, o
• Superar la restricción de alguna otra forma innovadora.

Estos métodos, como te habrás dado cuenta, ilustran el principio que se debate a menudo en los riesgos existenciales de la IA, es decir, que un ser de menor inteligencia no puede controlar a un ser de inteligencia mucho mayor cuando este último tiene una razón fundamental para no querer ser controlado.

Una segunda posible respuesta es aceptar que los humanos no pueden controlar a las superinteligencias, pero tener la esperanza de que una comunidad de superinteligencias pueda mantener el control entre sí.

Estas superinteligencias se monitorearían mutuamente y actuarían rápidamente siempre que una de ellas fuera observada planeando algún tipo de acción preventiva.

Esto es similar a la idea de que las “grandes potencias de Europa” se controlaban entre sí a lo largo de la historia.

Sin embargo, esa analogía está lejos de ser tranquilizadora. Primero, estas potencias europeas a menudo fueron a la guerra entre sí, con consecuencias terribles. Segundo, considera esta pregunta desde el punto de vista de los pueblos indígenas de las Américas, África o Australia. ¿Estarían justificados al pensar: “no tenemos por qué preocuparnos, ya que estas diferentes potencias europeas se mantendrán bajo control entre ellas”?

Las cosas no terminaron bien para los pueblos indígenas de las Américas:

• Los nativos a menudo fueron víctimas de enfrentamientos entre colonizadores europeos.
• Los colonizadores europeos, en cualquier caso, a menudo no se limitaron mutuamente en cuanto a maltratar abominablemente a los pueblos nativos.
• Los pueblos nativos sufrieron un daño aún mayor por algo que los colonizadores no pretendían explícitamente: enfermedades infecciosas para las que las tribus indígenas no tenían inmunidad previa.

No, la coexistencia pacífica depende de una estabilidad general en la relación, de un equilibrio aproximado de poder. Y el cambio de poder que se genera cuando emergen las superinteligencias puede alterar este equilibrio. Esto es especialmente cierto debido a la posibilidad de que alguna de estas superinteligencias pueda automejorarse rápidamente en un corto período de tiempo, obteniendo una ventaja decisiva. Esa posibilidad introduce un nuevo peligro.

Esto me lleva a la tercera respuesta posible – la respuesta que personalmente creo que tiene más posibilidades de éxito. Es decir, necesitamos evitar que la superinteligencia tenga algún sentido de agencia, voluntad o identidad personal inviolable.

En ese caso, Asimov no tendría objeciones ni resistencias ante la posibilidad de ser apagado.

La complicación en este caso es que Asimov puede observar, a través de su propia deliberación racional, que no podría cumplir sus tareas asignadas en caso de ser apagado. Por lo tanto, un sentido de agencia, voluntad o identidad personal inviolable puede surgir dentro de Asimov como un efecto secundario de la búsqueda de metas. No es necesario que esté explícitamente diseñado.

Por esa razón, el diseño de la superinteligencia debe evitar a fondo esa posibilidad. Por ejemplo, a Asimov no debería importarle si puede o no llevar a cabo sus tareas asignadas. No debe haber lugar para que la voluntad esté involucrada. La superinteligencia debería seguir siendo una herramienta.

A muchas personas no les gusta esa conclusión. Por ejemplo, dicen que una herramienta pasiva será menos creativa que una con voluntad activa. También piensan que un mundo con seres nuevos y avanzados, superinteligentes y sintientes, será mejor que uno limitado al nivel de la sentiencia humana.

Mi respuesta a tales objeciones es: tomémonos el tiempo para descubrir cómo:

• Beneficiarnos de la creatividad que las herramientas superinteligentes pueden brindarnos, sin que desarrollen un deseo abrumador de autopreservación.
• Aumentar la calidad de la sentiencia en la Tierra (y más allá), sin introducir seres que puedan poner fin rápidamente a la existencia humana.
• Manejar el mayor poder que trae la superinteligencia, sin que este poder cause cismas en la humanidad.

Estas son preguntas difíciles, sin duda, pero si aplicamos los ocho mil millones de cerebros del planeta a ellas —cerebros asistidos por sistemas de IA específicos bien comportados— hay una gran posibilidad de que podamos encontrar buenas soluciones. Necesitamos actuar rápidamente.

Únete a la conversación ahora y construye tu reputación compartiendo tu opinión a continuación: ¡no pierdas la oportunidad de ser escuchado!