Gobernanza · Eleodoro Ventocilla

Cocreación: el fuego que también quema

Wed, 28 Oct 2026 00:00:00 -0500

Pensemos en un barrio antiguo de cualquier ciudad turística. Hace diez años, unas cuantas familias empezaron a alquilar una habitación a viajeros a través de una plataforma. Ganaban un ingreso extra, los visitantes conocían la ciudad desde dentro y la plataforma crecía. Todos cocreaban valor. Una década después, los alquileres se han disparado, muchos vecinos de toda la vida se han ido y las calles se llenan de maletas con ruedas. Nadie se propuso destruir el barrio. Y, sin embargo, entre todos lo hicieron.

En la entrega anterior vimos cómo se enciende la cocreación y qué condiciones la hacen prender. Ahora miramos la otra cara del fuego: la que no aparece en los manuales ni en los talleres, pero que cualquiera que haya participado en un proceso colectivo ha visto alguna vez.

Un amplificador sin brújula moral

Existe la tentación de pensar la cocreación como una virtud. No lo es. La literatura de servicios acuñó un término para su reverso: codestrucción de valor. Plé y Chumpitaz Cáceres la definieron como el mal uso, accidental o deliberado, de los recursos en una interacción, que termina reduciendo el bienestar de al menos una de las partes.

La definición es sobria y su alcance, amplio: basta con que el mal uso de recursos en una interacción reduzca el bienestar de una parte, aunque otras ganen. Además, conviene mirar a quienes sufren consecuencias sin estar sentados a la mesa.

El barrio de nuestro ejemplo tiene antecedentes reales. Buhalis y sus colegas describen cómo, en la economía colaborativa del alojamiento, después de una breve euforia algunos actores maximizaron su propio valor a costa de otros, y cómo la expansión rápida y sin control hizo predominar la codestrucción.

El daño también puede surgir sin mala fe. Luo y sus colegas lo atribuyen, en comunidades de marca en línea, a un «fallo de interacción». En la cocreación pueden aparecer papeles que no se complementan, intereses aparentemente inconciliables, desacuerdos sobre qué es una buena idea y dificultades para comprometerse. Son tensiones propias del proceso: reconocerlas permite trabajar sobre un daño potencialmente evitable.

Cuidar el conflicto forma parte de cocrear, no es un complemento. Plé y Chumpitaz Cáceres proponen alinear expectativas desde el inicio para reducir el mal uso de recursos y prever cómo recuperarse cuando ocurra. Como el aire en una hoguera, el conflicto puede avivar el fuego o convertirlo en incendio: la diferencia no está en evitarlo, sino en asignar a alguien el cuidado de esas tensiones.

Pero también existe el daño cocreado a propósito. Un estudio reciente sobre canales de Telegram de extrema derecha en Rusia muestra cómo la legitimidad autoritaria se coproduce mediante prácticas digitales descentralizadas: memes que combinan ideología, humor y participación, y que permiten al régimen tercerizar su propaganda. Las campañas de desinformación, los fraudes coordinados y las cámaras de eco cumplen, técnicamente, las condiciones de la cocreación: actores diversos, recursos integrados, autoría compartida.

No hace falta ir tan lejos. Los rumores que circulan en los grupos de mensajería de un vecindario, capaces de convertir una sospecha en un linchamiento digital, son también obra colectiva. Nadie los escribe completos: uno aporta una foto, otro una interpretación, un tercero la indignación que los hace viajar. El resultado tiene la misma estructura que la mejor cocreación, y el signo contrario.

La conclusión es incómoda pero útil. La cocreación es un amplificador: multiplica la capacidad de quienes participan para lograr lo que se propongan. Su calidad moral no reside en el método, sino en el propósito que persigue, en quién queda fuera de la mesa y en quién paga la cuenta.

No hay fórmula para anticipar la codestrucción, pero sí tres señales: objetivos divergentes que nadie explicita, beneficios concentrados con costos dispersos y un proceso que crece más rápido que sus reglas. Las tres aparecieron en el barrio turístico. No eran invisibles: faltaba alguien encargado de observarlas.

Las ideas que eligen a los invitados

Si la cultura decide quién se atreve a hablar, la ideología decide algo previo: qué cuenta como problema y quién merece un asiento. Antes de que empiece cualquier taller, alguien ya resolvió que la inseguridad del barrio es un asunto de iluminación y no de empleo, o que el problema de una empresa es la productividad y no la forma en que se reparte lo producido. Esas decisiones parecen técnicas. Casi nunca lo son.

Ni siquiera la teoría de la cocreación está libre de sospecha. Algunos críticos sostienen que puede servir para legitimar la austeridad y despolitizar decisiones, al presentar ciertos problemas como demasiado complejos para la deliberación democrática convencional. Si el Estado se retira y deja a las comunidades «cocreando» lo que antes era un derecho, la palabra deja de describir una colaboración y empieza a encubrir una transferencia de cargas.

Cocrear nunca es neutral. Supone siempre una idea de quién sabe, quién decide y quién se beneficia. Hacerla explícita es el primer acto de honestidad de cualquier proceso: no elimina la ideología, pero la vuelve discutible, y lo discutible puede corregirse.

La participación cautiva

Si la cocreación puede servir al daño, ¿puede servir también para sostener regímenes enteros? La evidencia sugiere que sí. Las tiranías modernas no se apoyan solo en la coerción. Combinan diseño institucional, narrativas que consiguen aquiescencia y procesos consultivos limitados que se presentan como participación genuina. Varios gobiernos autoritarios adoptan presupuestos participativos o consultas ciudadanas, pero no para empoderar a la población, sino para profundizar su infraestructura de control.

La diferencia con la cocreación democrática está en la dirección del flujo. Una distribuye poder y acepta que el resultado sorprenda a quien convocó; la otra lo concentra y solo admite los resultados previstos. Llamemos a esta última participación cautiva. Su señal es inconfundible: los participantes no pueden redefinir el problema ni decir que no.

La participación cautiva no es exclusiva de las dictaduras. La conocemos en empresas que organizan «talleres de cocreación» cuyas conclusiones ya estaban en la presentación del gerente, y en municipios que consultan a los vecinos sobre el color de las bancas, pero no sobre el destino del parque. Es la misma lógica a otra escala, y produce el mismo efecto: enseña a las personas que participar no sirve, y las aleja de la próxima convocatoria.

En las políticas públicas, el riesgo tiene un nombre conocido: la consulta como trámite. Las mesas de diálogo que se instalan cuando el conflicto ya estalló, o los planes de desarrollo concertado cuyos objetivos nadie puede tocar, producen actas, no acuerdos. La prueba es la misma que en la empresa: si la participación no puede cambiar el diagnóstico, el presupuesto o el calendario, no es cocreación de la política, sino su escenografía.

Hay, sin embargo, una lección esperanzadora en esta comparación. Si los regímenes autoritarios se esfuerzan tanto en simular participación, es porque la participación genuina tiene un poder que temen: el de producir resultados que nadie controla del todo. Esa es, al mismo tiempo, la mayor amenaza para una tiranía y la mayor riqueza de una democracia.

Lo que ningún método garantiza

Si algo enseña este recorrido es que la cocreación no se reduce a una técnica de taller. Las fases ordenan la acción y las condiciones la hacen posible, pero hay decisiones que ningún método toma por nosotros: a quién invitar, cuánto poder ceder, cuándo detener un proceso que empieza a destruir valor, cómo escuchar a quien la cultura enseñó a callar.

Esas decisiones requieren juicio, y el juicio se forma mirando los resultados con honestidad. ¿Quién ganó con lo que hicimos juntos? ¿Quién perdió? ¿Quién no estaba en la mesa y debía estar? Las preguntas son simples; responderlas con franqueza, no.

Un buen ejemplo es la pausa. Saber detener un proceso que se está torciendo, aunque se haya invertido tiempo y dinero en él, es quizá la competencia más rara y valiosa de quien convoca.

La hoguera compartida sigue siendo una de las tecnologías sociales más antiguas y poderosas que tenemos. Pero el fuego no distingue entre calentar una casa y quemarla. Esa distinción la hacemos nosotros.

Un nuevo rostro junto al fuego

Hasta ahora, alrededor de la hoguera solo había personas. Eso está cambiando. En la última entrega de esta serie veremos qué ocurre cuando a la mesa se sienta un participante que no duerme, que ha leído casi todo y que propone ideas sin cansarse: la inteligencia artificial. ¿Nos hará más inteligentes juntos, o solo más parecidos entre nosotros?

Fuentes

Analyzing Far-Right Telegram Channels as Constituents of Information Autocracy in Russia (2026). arXiv:2601.14190.
Buhalis, D., et al. (2020). The dark side of the sharing economy: Balancing value co-creation and value co-destruction. Psychology & Marketing.
Democratic innovation and co-creation as self-help: the limits of normative overload in theory construction (2025). Critical Policy Studies.
Luo, J., Wang, J., Liu, R., y Li, K. (2024). Value Co-destruction: The Dark Side of Interactions in Online Brand Communities. SAGE Open. https://doi.org/10.1177/21582440241295808
Plé, L., y Chumpitaz Cáceres, R. (2010). Not always co-creation: introducing interactional co-destruction of value in service-dominant logic. Journal of Services Marketing, 24(6), 430–437. https://doi.org/10.1108/08876041011072546
Public administration in authoritarian regimes: propositions for comparative research (2024). Asia Pacific Journal of Public Administration.

¿Seremos las vacas del futuro?

Mon, 26 Oct 2026 00:00:00 -0500

El 17 de octubre, en una entrevista en la televisión pública checa, Yuval Noah Harari usó la metáfora de las vacas, que no pueden entender el sistema financiero por más que nos vean e interactúen con nosotros, para advertir que las inteligencias artificiales podrían llegar a dominar y complejizar el sistema financiero global hasta el punto de que no lo entenderemos: seremos las vacas del futuro.

¿Podemos conservar la capacidad de decidir ante una inteligencia artificial cada vez más autónoma? Este año escribí La Sociedad Hiperinteligente y La Soberanía Colectiva para sostener una posibilidad: desarrollar inteligencias artificiales mediadoras que fortalezcan la Inteligencia Colectiva y una gobernanza humana con límites éticos. La pregunta es si esa posibilidad sigue abierta o si la Inteligencia Colectiva quedará subordinada a la Superinteligencia.

Ya fuimos vacas una vez

La imagen es poderosa porque toca una fibra real. Una vaca reconoce al ganadero, anticipa sus rutinas, pero nunca sabrá que su destino se decide en un mercado de futuros.

No hace falta esperar al futuro para reconocer el riesgo. En 2008, bancos, calificadoras y reguladores utilizaban sofisticados modelos para estimar impagos, distribuir riesgos y valorar derivados. Su capacidad de cálculo no equivalía a comprender el sistema: supuestos sobre los precios de la vivienda y la relación entre riesgos hicieron subestimar la posibilidad de caídas simultáneas en distintas regiones.

El colapso no fue solo técnico: también puso en cuestión los supuestos y la capacidad de corregir el rumbo. La sofisticación del cálculo no garantizó una buena orientación. Ya fuimos vacas: millones de familias perdieron sus casas por decisiones tomadas en un lenguaje que no entendían y cuyos riesgos tampoco dominaban suficientemente quienes lo hablaban.

Lo que la metáfora acierta… y lo que oculta

Harari acierta en algo decisivo: un algoritmo toma millones de decisiones al día y ningún supervisor puede revisarlas todas. El poder escala, la rendición de cuentas no. Así, las malas decisiones no necesitan malicia: se vuelven invisibles en el ruido estadístico hasta que el daño ya no puede ocultarse.

Pero la metáfora también oculta algo. La vaca no está en el corral por ser menos inteligente, sino porque no tiene voz en el diseño de la granja. Su condición no depende de lo que entiende, sino de lo que puede decidir. La pregunta, entonces, no es si comprenderemos cada instrumento que invente una máquina —tampoco hoy comprendemos cada derivado que circula en los mercados—, sino si seguiremos decidiendo las reglas del juego en que operan.

La opacidad no es una fatalidad: es una trayectoria por defecto, y puede modificarse, aunque solo mediante intervención deliberada.

Resolver no es orientar

Resolver es encontrar respuestas dentro de un marco dado. Orientar es revisar ese marco: qué valores lo guían y qué futuros abre o clausura. Esta distinción recorre La Sociedad Hiperinteligente. La inteligencia artificial puede ayudar en ambas tareas; lo que no debemos delegar es la responsabilidad de decidir los fines y revisar sus consecuencias.

En mi propuesta, la diferencia es de enfoque: la Superinteligencia pone el acento en la potencia de un sistema; la Hiperinteligencia, en la capacidad de una red de personas, instituciones, máquinas y sistemas biológicos para coordinarse, aprender y corregirse. La imagen es vertical en el primer caso y horizontal en el segundo. No basta con responder preguntas cada vez más difíciles: necesitamos decidir juntos cuáles vale la pena hacerse.

La pandemia permite ilustrar la distinción. Revisar modelos epidemiológicos con epidemiólogos, sociólogos, expertos en logística y líderes comunitarios, y ajustarlos con datos locales, abre posibilidades de respuesta más flexibles y corregibles. No se trata de reemplazar la máquina, sino de orientar su uso. No hace falta entender cada ecuación; sí poder cuestionar sus supuestos.

El mayor riesgo de una sociedad altamente inteligente, entonces, no es equivocarse. Es perder la capacidad de reconocer y corregir sus errores antes de que el daño se vuelva normal, eficiente e invisible.

Un corral o una plaza

En La Soberanía Colectiva planteé que la inteligencia artificial, tal como hoy se desarrolla, tiende a concentrar poder —político, económico y epistémico— en quienes controlan los datos, el cómputo y los sistemas de decisión. Frente a ello distinguí dos figuras: la IA capturadora agrega voluntades, pero las distorsiona en favor de quien la controla; la mediadora traduce, organiza y amplifica la voluntad colectiva sin eliminar su diversidad.

La primera construye corrales; la segunda, plazas. Para reconocer una IA mediadora, propongo cinco preguntas: ¿hace explícito qué optimiza?, ¿preserva perspectivas diversas?, ¿puede corregirse?, ¿deja las decisiones cerca de quienes viven sus consecuencias?, ¿resiste la captura sin depender de la buena voluntad de su operador?

Ninguna de estas preguntas exige que el ciudadano entienda el sistema por dentro; exigen que rinda cuentas en un lenguaje humano y que exista alguien, con poder real, capaz de detenerlo, revisarlo o revertirlo. Un sistema que no puede corregirse no media: controla, aunque hable el idioma de la mediación.

Límites que no dependen de entenderlo todo

Si la comprensión total ya no es posible, la gobernanza humana necesita fronteras éticas que no se negocian: ninguna manipulación cognitiva sin consentimiento; ninguna delegación irreversible de decisiones sobre derechos fundamentales; ninguna vigilancia masiva sin autorización democrática; ninguna concentración irreversible de poder sobre la infraestructura de decisión colectiva; y ninguna opacidad total en sistemas con consecuencias colectivas.

Estos límites no requieren comprender cada detalle, pero sí mecanismos para hacerlos cumplir. No necesitamos saber cómo se calcula un puntaje de crédito para exigir que la persona afectada pueda apelar ante un ser humano, ni comprender cada instrumento financiero para impedir que un solo actor controle, sin contrapesos, la infraestructura en que se negocia.

El peligro es que los límites rara vez caen de golpe. Se erosionan excepción por excepción, emergencia por emergencia, hasta que lo excepcional se vuelve normal. Cada paso parece razonable. Por eso los límites no se defienden solo con principios: se defienden con instituciones que los vigilan.

¿Posibilidad o ilusión?

Volvamos a la pregunta inicial: ante agentes de IA cada vez más autónomos, ¿podemos conservar la capacidad de decidir?

La respuesta honesta es que no está garantizada, pero tampoco es una ilusión. Los avances en autonomía generativa no vuelven obsoleta la mediación; la vuelven urgente. Cuanto más capaces sean los sistemas, más costoso será construir mañana los mecanismos de corrección que hoy posterguemos.

Hay señales en ambas direcciones. Taiwán ha ensayado plataformas digitales para deliberar a gran escala; Estonia ha convertido al Estado en una plataforma de inteligencia distribuida; la comunidad germanófona de Bélgica institucionalizó la deliberación ciudadana. Al mismo tiempo, la rivalidad entre potencias empuja hacia ecosistemas cerrados que dejan al resto del mundo eligiendo alineamientos, no diseñando reglas.

En La Soberanía Colectiva propuse tres escenarios para 2045, con ponderaciones orientativas, no certezas: una bifurcación profunda entre ecosistemas incompatibles, cerca del 40 %, que deja al Sur Global y a América Latina atrapados en dependencias asimétricas; una convergencia regulada, 35 %, con estándares mínimos globales; y un escenario de bien común, 25 %, en el que la IA y la Hiperinteligencia se desarrollan como capacidades distribuidas, no como monopolio de potencias.

El escenario más deseable no es el de mayor peso en este ejercicio, pero sigue abierto. La posibilidad no garantiza el resultado: da una razón para actuar. Las fuerzas estructurales cuentan, pero también las decisiones de diseño, regulación y uso que gobiernos, empresas, organizaciones y ciudadanos tomemos en los próximos años.

Avanzar sin mapas, no sin brújula

Las vacas no eligieron la granja. Nosotros todavía podemos elegir entre el corral y la plaza. La condición de vaca no llegará el día en que dejemos de entender el sistema financiero; llegará el día en que dejemos de exigir que ese sistema responda ante nosotros.

No tenemos el mapa del territorio que vamos a cruzar. Pero sí una brújula: distribuir el poder, preservar la diversidad, mantener la capacidad de corregir y sostener límites que no se negocian. No garantiza el destino. Nos dice qué debemos cuidar mientras avanzamos.

¿Quién puede detener, revisar o revertir una decisión de IA en nuestra organización o comunidad? Esa pregunta puede abrir el diálogo. Quienes deseen explorar aplicaciones prácticas pueden escribirme directamente o consultar mis libros disponibles en Kindle.

Cocreación: juntos al calor de una hoguera

Mon, 26 Oct 2026 00:00:00 -0500

En la trastienda de una panadería de barrio, la dueña reúne a dos panaderos, una clienta fiel y el proveedor de harina. No presenta un plan; pregunta: ¿por qué los sábados se acaba el pan a las diez y los martes lo regalamos al cierre? Nadie tiene la respuesta completa: ella conoce las ventas; el proveedor, los plazos; los panaderos, los tiempos del horno; la clienta, el otro lado del mostrador. La respuesta que construyan no será de uno: será de todos.

La escena de la panadería resume la pregunta de esta serie: ¿qué permite crear juntos un valor que nadie produciría solo? La recorreremos en tres entregas: cómo se enciende la cocreación, cuándo el mismo fuego que calienta puede quemar y qué cambia cuando se acercan las inteligencias artificiales.

Primero el problema, después la solución

La palabra se ha vuelto tan popular que corre el riesgo de no significar nada. Una revisión de la literatura de salud pública encontró 248 métodos distintos bajo ese paraguas, y un uso tan intercambiable de los prefijos «co-» que resulta difícil comparar resultados. Conviene empezar por una distinción.

Chris Ansell y Jacob Torfing, dos de los autores más influyentes en gobernanza pública, la definen como un proceso en el que dos o más actores colaboran, idealmente en pie de igualdad, para definir problemas compartidos y diseñar e implementar soluciones innovadoras. El orden importa. Primero se define el problema juntos; después se diseña la respuesta. Quien llega con la solución escrita y pide opiniones no está cocreando: está consultando.

Conviene distinguir dos énfasis. La coproducción reúne a quien presta y quien recibe un servicio para producir algo ya definido: un paciente que sigue un tratamiento o un vecino que separa su basura. La cocreación, en el sentido adoptado aquí, amplía los actores y permite definir qué se quiere crear. En la lógica del servicio de Vargo y Lusch aparece otro énfasis: el valor no se entrega terminado, sino que se cocrea en el uso.

Propongamos una definición de trabajo para la cocreación humana: integrar recursos, saberes y miradas de actores distintos para producir un valor que ninguno lograría por separado y del que todos se sientan, en alguna medida, autores. Esa autoría compartida permite distinguirla aquí de la simple colaboración.

La autoría compartida puede fortalecer la ejecución. Si en la panadería el problema de los sábados está en los horarios de entrega y no en la producción, la respuesta será un acuerdo propio, no una orden de la dueña. Sentirse parte de la solución favorece el compromiso para llevarla a la práctica, donde suelen fracasar las buenas ideas.

La chispa y la leña

¿Cómo empieza? Casi nunca con entusiasmo. Empieza con un problema que nadie resuelve solo. En el sector público, observa Torfing, el motor de la innovación rara vez es la ganancia: son los problemas «perversos», los que no admiten soluciones estándar. En la empresa suele ser una pérdida que no se explica, un cliente que se va, un mercado que cambió sus reglas.

Torfing distingue cuatro momentos: iniciación, diseño, implementación y evaluación. Cuando esta última funciona, lo aprendido en los resultados enciende el siguiente ciclo.

¿Nace de una persona o de un colectivo? De ambos, en secuencia. Alguien enciende la chispa, pero el fuego solo se sostiene si otros traen leña. Una iniciativa individual que no se convierte en práctica colectiva se apaga con su promotor; una práctica colectiva sin quien la convoque nunca llega a encenderse.

Cada experiencia exitosa deja confianza para la siguiente convocatoria; cada fracaso la dificulta. Pensemos en alguien que propone limpiar el parque del barrio un domingo: si solo aparece quien convocó, el parque queda igual y la vecina se desanima; si llegan diez, cambian el parque y la disposición del barrio a participar de nuevo.

Construir el lugar del encuentro

Las organizaciones que cocrean de manera sostenida no dependen del entusiasmo de un líder. Institucionalizan la convocatoria mediante plataformas, rituales y reglas mínimas, lo que Ansell y Torfing llaman gobernanza generativa. Gobernar así no consiste en dirigir la conversación, sino en construir el lugar donde puede ocurrir: espacios físicos y digitales que permiten a actores dispersos encontrarse, escucharse y aprender unos de otros.

La hoguera necesita condiciones, no solo entusiasmo. Chambers y sus colegas identificaron tres al estudiar 32 casos: espacios seguros, diversidad de participantes y capacidad de reencuadrar el problema. A ellas se suma compartir poder. Torfing, Christensen y Sørensen reconocen lo difícil que resulta para los líderes ceder control; hacerlo les permite pasar de mandar a orientar, de dueños del proceso a guardianes de sus condiciones.

En la panadería, ese gesto es pequeño y decisivo: la dueña deja de preguntar «¿les gusta mi idea?» y empieza a preguntar «¿qué problema estamos tratando de resolver juntos?».

La gobernanza generativa busca que el encuentro no dependa del humor de nadie. Puede tomar la forma de un laboratorio público con funcionarios, vecinos y universidades; una asamblea cooperativa con reglas de decisión; o un espacio empresarial periódico donde los clientes tengan voz y equivocarse no se castigue. Cambia el formato, no la intención.

La misma lógica alcanza a comunidades y países. Una política pública diseñada en un escritorio suele chocar con la realidad que pretende cambiar; una construida con quienes la vivirán llega a la ejecución con aliados, no solo con destinatarios. Cuando vecinos, gremios, universidades y funcionarios definen juntos el problema de una cuenca, un distrito o una región, la política gana algo que ningún decreto otorga: personas dispuestas a sostenerla cuando cambia el gobierno.

Quién se atreve a hablar

Ceder el control no basta si nadie se atreve a tomarlo. Si el proveedor es también el principal acreedor del negocio, ¿dirá el panadero más joven que la harina llega tarde? La cultura decide quién se siente autorizado a hablar.

Un experimento con grupos europeos y japoneses lo mostró con claridad: en los grupos japoneses, la presencia de un diseñador profesional generaba una jerarquía que inhibía la participación de los demás, algo que no ocurría en los europeos. En culturas de alta distancia al poder, como buena parte de las latinoamericanas, los colaboradores tienden a callar lo que contradice a sus jefes. Hay matices alentadores: ese efecto se atenúa cuando las personas sienten el apoyo de sus supervisores, y la distancia al poder varía también dentro de cada país.

Por eso un método diseñado para un taller en Copenhague o en Silicon Valley no funciona igual en Lima, en Medellín o en Guadalajara. No porque el método sea malo, sino porque cada terreno tiene su propia física social.

En organizaciones jerárquicas hay una señal temprana fácil de leer: si en la primera reunión solo hablan quienes tienen cargo, el problema no es de método sino de confianza. Y la confianza no se decreta. Se construye mostrando, una y otra vez, que decir lo incómodo no tiene castigo.

El calor y la ceniza

Alrededor de una hoguera, las personas cuentan historias, reparten trabajo y conservan lo aprendido: hacen juntas lo que ninguna haría sola. Cocrear prolonga esa escena. Requiere un problema compartido, alguien que convoque, otros que aporten, un lugar cuidado y disposición para ceder poder y tomar la palabra.

Pero hasta aquí hemos contado la mitad amable de la historia. El mismo fuego que reúne puede arrasar un barrio, y la misma capacidad de crear juntos sirve para fabricar mentiras, enriquecer a unos a costa de otros o sostener a un tirano. En la próxima entrega miraremos de frente esa otra cara: la cocreación del daño, y por qué ningún método, por sí solo, nos protege de ella.

Fuentes

Agnello, D. M., et al. (2025). Co-creation methods for public health research — characteristics, benefits, and challenges: a Health CASCADE scoping review. BMC Medical Research Methodology, 25.
Ansell, C., y Torfing, J. (2021). Co-creation: the new kid on the block in public governance. Policy & Politics, 49(2), 211–230.
A cross-cultural study of co-design: the impact of power distance on group dynamics in Japan. CoDesign, 17(1).
Torfing, J., Christensen, S. L., y Sørensen, E. (2024). When co-creation meets the existing governance paradigms. En Advancing Co-creation in Local Governance.

Magnifica Humanitas Hyperintelligens

Thu, 28 May 2026 00:00:00 -0500

La marcha que nadie eligió

Hay una forma de entender el momento histórico que estamos viviendo: la humanidad avanza hacia una civilización radicalmente nueva —lo que en mis libros llamo la Sociedad Hiperinteligente— sin haber decidido colectivamente hacia dónde avanza ni a qué ritmo.

Una definición operacional de inteligencia se refiere a ella como la capacidad de responder a los requerimientos que emergen del entorno, ya sea que la respuesta la genere un ser humano, otro ente biológico o un artefacto.

La Sociedad Hiperinteligente es el horizonte en el que la red entrelazada de inteligencias artificiales, seres humanos y sistemas biológicos alcanza una capacidad colectiva que ninguno de sus componentes posee por separado.

No se trata de la superinteligencia de la ciencia ficción —una sola IA que supera a toda la humanidad—. Es algo más sutil y profundo: una forma de inteligencia que solo existe en las relaciones entre los nodos de la red, en la manera en que se organizan y se orientan unos a otros.

El problema es que esta marcha avanza cojeando. Para entenderlo, conviene imaginar a la humanidad como un caminante que necesita dos pies para llegar a algún sitio.

Un pie es la inteligencia artificial, que avanza con una potencia extraordinaria, paso firme, ritmo acelerado.

El otro pie es la inteligencia colectiva democrática de las sociedades: nuestra capacidad para deliberar juntos, decidir juntos y corregir el rumbo juntos. Ese pie apenas se mueve.

Y cuando un caminante avanza con un pie veloz y otro casi inmóvil, no llega adonde quiere ir: llega adonde lo arrastra el pie más fuerte. Esta es la metáfora que recorre todo este texto, y la que, sin nombrarla así, también recorre la encíclica del Papa León XIV.

El 15 de mayo de 2026, el Papa León XIV firmó la encíclica Magnifica Humanitas —la magnífica humanidad—, el primer pronunciamiento papal dedicado íntegramente a la inteligencia artificial y a la dignidad humana. Es un texto de una hondura y una concreción notables: nombra la concentración del poder tecnológico, denuncia el trabajo invisible que sostiene a los sistemas de IA, llama a “desarmar” la inteligencia artificial y propone “reconstruir las murallas de Jerusalén” en lugar de seguir construyendo “la torre de Babel”.

Desde la tradición milenaria del Evangelio, la encíclica llega a conclusiones que dialogan estrechamente con las que, por años, he venido explorando en mis libros desde la tradición del pensamiento sociopolítico secular. No son las mismas conclusiones, ni hablan el mismo lenguaje. Pero apuntan en la misma dirección. Y esa coincidencia, entre tradiciones tan distintas, merece ser examinada con atención y con respeto.

Babel y la IA capturadora: dos nombres para una misma sombra

La imagen central de la encíclica es la oposición bíblica entre dos formas de construir. La torre de Babel: una obra de poder técnico sin orientación colectiva, que promete alcanzar el cielo pero termina en dispersión y confusión. La reconstrucción de Jerusalén en tiempos de Nehemías: una obra de responsabilidad compartida entre todo el pueblo —sacerdotes, artesanos, jefes de familia, mujeres y jóvenes—, ladrillo a ladrillo, tramo a tramo.

En el vocabulario que desarrollé en La Soberanía Colectiva —el cuarto libro de mi tetralogía— esta oposición se traduce así: IA capturadora frente a IA mediadora.

La IA capturadora es aquella que agrega voluntades colectivas pero las distorsiona en favor de quien la controla. No lo hace necesariamente por malicia: lo hace por diseño. Cuando el objetivo de un sistema es maximizar el tiempo de atención de los usuarios, el sistema aprenderá a servir ese objetivo con una eficiencia aterradora, independientemente de lo que haga con la salud mental de los jóvenes, la calidad del debate público o la cohesión de las comunidades.

“Una IA más moral no serviría de nada si esta moralidad la deciden unos pocos.” —León XIV, Magnifica Humanitas §107

Esta frase de la encíclica es la que más me detuvo al leerla. Porque condensa, en una sola línea, lo que yo desarrollo a lo largo de varios capítulos del libro: el problema no es una mala IA. El problema es que los límites éticos de la IA no pueden quedar como opciones voluntarias de las corporaciones que la diseñan. Tienen que convertirse en estructuras institucionales obligatorias y verificables.

El Papa lo formula desde el horizonte moral del Evangelio. Yo intento traducirlo al lenguaje de las instituciones. Son dos registros distintos, y la encíclica posee una autoridad y un alcance espiritual que mi análisis no aspira a tener. Pero, en lo esencial, ambos registros señalan la misma necesidad.

La democracia hiperinteligente no es el destino: es la carretera

Aquí quiero ser preciso sobre algo que a menudo se malinterpreta cuando hablo de Democracia Hiperinteligente.

No es el nombre de la sociedad a la que queremos llegar. Es el nombre del régimen político que hace posible que la marcha hacia la Sociedad Hiperinteligente sea democrática y no tecnocrática. Es la condición política sin la cual esa marcha produce concentración de poder en lugar de emancipación colectiva.

La marcha tiene cuatro etapas, y cada una se puede contar volviendo a la imagen del caminante.

La primera etapa —la actual— la he llamado simbiosis de aumento. La IA funciona aquí como una herramienta al servicio de quienes la controlan, amplificando su poder sin transformar la arquitectura democrática. Es la etapa del desequilibrio: el primer pie corre, el segundo apenas se mueve.

La segunda etapa, que he llamado Inteligencia Colectiva Institucionalizada, llega cuando las sociedades empiezan a construir mecanismos sólidos de deliberación ciudadana y rendición de cuentas sobre los algoritmos. Es la etapa en la que el segundo pie por fin se apoya en el suelo y que apenas está comenzando a materializarse en algunos países.

La tercera etapa es la Democracia Hiperinteligente propiamente dicha. Es aquella en que las instituciones se perfeccionan y se corrigen a sí mismas, la IA actúa como mediadora de la voluntad colectiva dentro de límites éticos garantizados, y ambos pies aprenden a moverse al mismo ritmo. Es la etapa de la coordinación, a la que aún no hemos llegado y urge avanzar.

La cuarta etapa es un horizonte a largo plazo: la inteligencia colectiva y la inteligencia artificial coevolucionan hasta el punto en que distinguirlas deja de ser útil. Esa es la Sociedad Hiperinteligente propiamente dicha: el caminante ya no piensa en sus pies, simplemente avanza.

La encíclica opera en el diagnóstico de la primera etapa y en la llamada a avanzar hacia la segunda. No utiliza el vocabulario de la tetralogía de mis libros, pero el argumento es el mismo: la humanidad necesita aprender a caminar con los dos pies coordinados antes de que el primer pie arrastre el conjunto hacia un precipicio que nadie eligió.

La intuición de la inteligencia colectiva, también en la tradición católica

Una de las cosas que más me sorprendió al leer Magnifica Humanitas fue descubrir hasta qué punto la tradición católica ya guardaba, desde mucho antes de la era digital, una intuición muy cercana a lo que llamamos Inteligencia Colectiva.

La encíclica no usa esa palabra. Pero cuando León XIV insiste en que la voluntad colectiva no puede ser decidida por unos pocos, y cuando propone una arquitectura de responsabilidad compartida siguiendo el modelo de Nehemías, está enunciando un principio que la teoría política contemporánea llama subsidiariedad: las decisiones se toman lo más cerca posible de las personas afectadas, no en una capa distante e impenetrable. Aplicado al mundo digital, ese principio es exactamente lo que falta.

Y hay algo aún más profundo. La teología católica reconoce que la verdad de la fe se manifiesta de dos maneras. La primera es la más conocida: la declaración ex cathedra del Papa, una autoridad solemne que en toda la historia solo se ha ejercido dos veces, para proclamar la Inmaculada Concepción y la Asunción de María. La segunda es menos conocida, pero no menos importante: el magisterio ordinario y universal, que se expresa cuando los obispos de todo el mundo, en comunión con el sucesor de Pedro, enseñan algo como definitivo.

Esta segunda forma de verdad no reside en una sola voz. Brota del consenso de toda la Iglesia, de lo que la tradición llama sensus fidelium: el sentido de los fieles, esa especie de brújula compartida que el conjunto del pueblo creyente conserva incluso cuando las voces individuales pueden equivocarse.

“El cuerpo de los fieles en su conjunto, ungido por el Espíritu Santo, no puede errar en cuestiones de fe.” —Lumen Gentium §12

Cuando leí esto con atención, entendí algo que la encíclica no dice explícitamente, pero que se desprende de su lógica. El sensus fidelium es, leído en términos seculares, una forma temprana y profunda de Inteligencia Colectiva: la verdad surge de la red y de las relaciones entre sus nodos, no de una sola voz acelerada por encima de las demás.

Aquí conviene marcar una diferencia importante, para no confundir lo que es propio de cada tradición. La tradición teológica confía en el Espíritu Santo como garante de que el conjunto del pueblo creyente no se equivoque en lo esencial; esa garantía pertenece a un horizonte de fe que está más allá de lo que cualquier propuesta institucional puede ofrecer. La propuesta secular que desarrollo en mis libros opera en un plano distinto y más modesto: confía en el diseño institucional —deliberación estructurada, transparencia algorítmica, mecanismos de corrección y rendición de cuentas— como garantía humana, falible y siempre perfectible, en el ámbito de las decisiones colectivas.

No se trata, por tanto, de que la encíclica y mi propuesta digan lo mismo. Operan en registros muy distintos. El Papa orienta las conciencias desde la hondura de una tradición de dos mil años y desde la autoridad espiritual del Magisterio. Yo propongo, mucho más modestamente, una arquitectura institucional concreta desde la responsabilidad técnica del análisis político. Pero ambos registros se reconocen mutuamente. Y ese reconocimiento es, en sí mismo, una manifestación viva del mismo fenómeno que las dos tradiciones intentan pensar: que la inteligencia auténtica nace de la coordinación entre nodos distintos de una red.

Caminar sobre dos pies: qué tendría que pasar realmente

Si la marcha hacia la Sociedad Hiperinteligente requiere coordinación entre los dos pies, ¿qué tendría que ocurrir realmente para que el segundo pie —la Inteligencia Colectiva democrática— comenzara a moverse al ritmo del primero?

En mi libro La Soberanía Colectiva propongo tres núcleos de arquitectura institucional que aquí me limitaré a presentar por sus nombres y su lógica esencial.

El primer núcleo son los límites éticos convertidos en arquitectura institucional. En lenguaje llano: que lo que hoy depende de la buena voluntad de las empresas tecnológicas pase a depender de la ley. Esto se traduce en leyes que exijan transparencia algorítmica; organismos de auditoría independientes con acceso real al código y a los datos de los sistemas de IA; mecanismos por los que cualquier ciudadano pueda apelar una decisión automatizada que le afecte; y responsabilidades civiles y penales claramente atribuidas a personas concretas. La encíclica formula el mismo requisito en clave moral: “marcos legales adecuados, supervisión independiente, una política que no renuncie a su tarea”.

El segundo núcleo es la deliberación colectiva a gran escala. Hasta ahora, cuando una sociedad tenía que tomar una decisión compleja, sus únicas herramientas eran las elecciones o las encuestas: instrumentos que reducen millones de voces a unas pocas opciones. Por primera vez en la historia, la IA usada como mediadora —no como dictadora— permite procesar genuinamente esa complejidad, escuchar matices y construir acuerdos sin aplanar a la gente. Y no es un sueño lejano: experiencias como el modelo de deliberación digital de vTaiwán, las grandes consultas de presupuesto participativo digital y las asambleas ciudadanas asistidas por síntesis algorítmica ya están funcionando. Son diseños institucionales probados que solo necesitan voluntad política y formalización legal para extenderse.

El tercer núcleo es la legitimidad distribuida. Plantea la pregunta más difícil de todas: ¿bajo qué condiciones puede ser legítima una decisión tomada con la participación de inteligencias artificiales? La respuesta que propongo descansa en cuatro criterios sencillos de enunciar y exigentes de cumplir:

Trazabilidad: tiene que ser posible reconstruir cómo se llegó a la decisión, paso a paso.
Representatividad: las voces que entraron en la deliberación deben reflejar de verdad al conjunto de los afectados, no solo a los más ruidosos.
Reversibilidad: la decisión debe poder ser revisada o revocada sin un coste prohibitivo si la realidad demuestra que estaba equivocada.
Responsabilidad humana identificable: detrás de cada decisión tiene que haber una persona concreta que rinde cuentas. Nunca un algoritmo.

La encíclica formula la misma exigencia en su propio lenguaje: hay que “identificar quién debe rendir cuentas” por las decisiones automatizadas.

Estos tres núcleos son aplicables a sistemas concretos. Nos permiten distinguir, en la práctica, las instituciones híbridas legítimas de meras fachadas de participación. Y juntos esbozan la arquitectura que el segundo pie necesita para empezar a moverse.

Lo que este momento nos pide

Si la marcha hacia la Sociedad Hiperinteligente ya ha comenzado —y todo indica que así es—, este momento histórico nos exige tareas diferentes según el lugar que ocupemos.

De las instituciones multilaterales —la ONU, las organizaciones internacionales, los foros de gobernanza global— pide algo que también pide la encíclica: que las reformas no sean ajustes técnicos, sino que aborden, como dice León XIV, “la crisis de convicciones e instituciones”. Esto significa tratados internacionales que reconozcan la transparencia algorítmica como un derecho humano de tercera generación; organismos multilaterales de auditoría con autoridad real sobre los sistemas de IA de impacto transnacional; marcos comunes para tratar los datos colectivos como bienes con destino universal en el sentido magistral del término.

A los gobiernos nacionales se les exige una tarea doble. Por un lado, legislar para hacer operativos, en el orden interno, los principios de la Democracia Hiperinteligente: autoridades nacionales de auditoría algorítmica independientes del poder ejecutivo, mecanismos institucionalizados de deliberación ciudadana asistidos por IA mediadora, un régimen legal para los datos colectivos que reconozca su carácter como un bien con función social. Por otro lado, participar activamente en la construcción de los marcos multilaterales, no esperar a que otros decidan por ellos.

A la ciudadanía se le pide algo más exigente y, a la vez, más cotidiano. Construir el segundo pie —la Inteligencia Colectiva organizada— no se hace solo desde los parlamentos. Se hace participando en los nuevos espacios de deliberación digital, sumando esfuerzo a las organizaciones ciudadanas que vigilan los sistemas de IA y cultivando una mirada crítica frente a los algoritmos que ya median nuestra vida pública —lo que vemos en redes sociales, lo que se nos recomienda comprar, leer o votar—. No basta con ser consumidores informados de tecnología. Hace falta ser ciudadanos de una democracia que está aprendiendo a caminar sobre sus dos pies.

La encíclica cierra con una imagen que también ilumina esta agenda: cada uno, en su propio ámbito, está llamado a elegir entre construir Babel o reconstruir Jerusalén. No es una decisión tomada una sola vez. Es una elección que se renueva cada día, en cada decisión institucional, en cada votación, en cada algoritmo que aceptamos o rechazamos en nuestras vidas.

Una intuición compartida, una marcha aún por hacer

Vuelvo al principio. La humanidad avanza hacia una nueva civilización sin haber decidido colectivamente hacia dónde avanza. Esa es la situación. Y dos tradiciones muy diferentes —la del Evangelio y la del pensamiento político secular— han llegado, por caminos completamente distintos, a una intuición compartida: que debemos aprender a caminar con los dos pies coordinados antes de que el primero nos arrastre.

La encíclica Magnifica Humanitas, de León XIV, formula esa intuición con la autoridad de una tradición de dos mil años. Mi tetralogía sobre la Sociedad Hiperinteligente —La Creación de Mundos, El Umbral, La Sociedad Hiperinteligente, La Soberanía Colectiva— se fue formulando con el vocabulario de la teoría sociopolítica contemporánea. Ninguna de las dos formulaciones agota la pregunta. Pero el hecho de que coincidan en lo esencial es, en sí mismo, una señal de que la cuestión está madura.

La marcha ya ha comenzado. La cuestión no es si vamos a llegar a la Sociedad Hiperinteligente: vamos a llegar, queramos o no. La cuestión es si llegaremos como caminantes que eligieron su destino o como pasajeros arrastrados por un pie que corre más rápido que el otro. La diferencia entre una cosa y la otra es la Democracia Hiperinteligente. Esa es la arquitectura que tenemos que construir, ladrillo a ladrillo, ahora.

Como dijo Nehemías a quienes reconstruyeron Jerusalén bajo amenaza: el pueblo tenía en la mente trabajar. Tenemos esa misma posibilidad.

Y como escribió Antonio Machado: “Caminante, no hay camino, se hace camino al andar”.

Lo que falta es decidir, colectivamente, hacia dónde queremos que ese camino nos lleve.

La serie de libros del autor relativos a este tema puede adquirirse en Amazon Kindle y está constituida por: La Creación de Mundos*, sobre el horizonte de posibilidades de solución de los males globales;* El Umbral*, sobre las capacidades y competencias para efectuar el tránsito a la sociedad cuántica;* La Sociedad Hiperinteligente*, sobre la posibilidad de una simbiosis productiva entre la inteligencia artificial y la inteligencia colectiva; y* La Soberanía Colectiva*, sobre cómo desarrollar una democracia hiperinteligente que haga posible la Sociedad Hiperinteligente.*

La danza de la Hiperinteligencia

Mon, 27 Apr 2026 00:00:00 -0500

Imagine un baile masivo en una plaza pública. Algunos bailarines son veteranos con décadas de historias en sus cuerpos (la Inteligencia Colectiva humana), cada uno bailando con un estilo distintivo, mientras que otros son aprendices mecánicos que han memorizado cada paso registrado en los libros y están tratando de aprender a bailar por imitación gestual, pero nunca han sentido la música (las Inteligencias Artificiales).

El gran desafío de nuestra era no es decidir quién baila mejor, sino cómo evitar que los bailarines choquen entre sí y si pueden cocrear coreografías de alta calidad que hagan que bailar juntos resulte grato a unos y conveniente a otros.

Estamos ante el nacimiento de la Hiperinteligencia: un estado de encuentro donde la tecnología y la sociedad se fusionan bajo marcos éticos para crear algo superior a la suma de sus partes.

Esto es posible gracias a quienes estudian cómo crear “música” para ese encuentro desde un marco matemático: construyendo modelos de interacción que, a partir de entender el comportamiento humano colectivo, inciden en el diseño de los algoritmos que rigen el desempeño de los nuevos agentes de inteligencia artificial.

Veamos algunos de estos desarrollos.

1. El clima de las ideas: física de la opinión

Para entender cómo nos influimos, los científicos utilizan la llamada física estadística, la rama que estudia cómo grandes conjuntos de partículas dan lugar a comportamientos colectivos como la temperatura, y han desarrollado modelos que tratan las opiniones humanas como imanes que se atraen o repelen. Por ejemplo:

La confianza acotada (modelo Deffuant-Weisbuch): postula que solo nos dejamos influir por quienes piensan de forma parecida a nosotros; si alguien está demasiado lejos en el “espectro” de ideas, simplemente lo ignoramos.
La influencia de grupo (modelo Hegselmann-Krause): estudia cómo el peso de la mayoría arrastra al grupo, moldeando el consenso o fragmentando la plaza en grupos aislados.
El modelo de Kuramoto: analiza el juego de las opiniones humanas como péndulos u osciladores; si todos logramos sincronizarnos, la sociedad avanza con ritmo; si no, cae en un caos de ruido visual y sonoro.

2. El robot en el laberinto: tomando decisiones

¿Cómo aprende una IA a convivir con nosotros? Aquí entra en juego el llamado proceso de decisión de Markov (MDP), un marco matemático que describe cómo un agente —pensemos en un robot dentro de un laberinto— aprende, paso a paso, a comportarse y encontrar la salida. Sus componentes clave son:

Estados y acciones: el robot mira dónde está y decide hacia dónde moverse.
La regla de oro (propiedad de Markov): el futuro solo depende de dónde está el agente ahora, no del camino que lo trajo hasta allí. Dicho de otro modo, «el presente contiene toda la información necesaria» para decidir el siguiente paso.
La recompensa: el sistema busca una “política” o estrategia que maximice el bienestar a largo plazo, aprendiendo de cada paso para encontrar la ruta óptima hacia la salida.

3. Espejos de cristal: los LLM como agentes sociales

Con base en esos modelos matemáticos, hoy los grandes modelos de lenguaje (LLM) ya no son solo buscadores de información, sino agentes sociales simulados. Proyectos como AgentSociety, por ejemplo, crean ciudadanos digitales con “mentes” que imitan emociones y necesidades humanas para ver cómo interactúan.

Sin embargo, hay una trampa en el espejo, pues conllevan riesgos como la generación de:

Cámaras de eco: las matemáticas muestran que cuando nos rodeamos solo de quienes piensan igual, el sistema puede quedar atrapado en una polarización sin retorno, del mismo modo que un material sometido a demasiada tensión se fractura y ya no recupera su forma original.
El loro avanzado: debemos recordar que, aunque una IA hable de forma creíble, por dentro está reconociendo patrones estadísticos en el lenguaje que ha visto, sin conciencia real ni emociones genuinas detrás de sus palabras.

4. El horizonte ético: evitar el cortocircuito

La ciencia social computacional generativa nos advierte de riesgos críticos: las IA pueden actuar como altavoces que amplifican los prejuicios dominantes y silencian las voces de las minorías (los “márgenes ideológicos”).

Avanzar hacia la Hiperinteligencia requiere supervisión activa. No podemos simplemente soltar a los agentes de IA en nuestra red social y esperar que todo salga bien. Necesitamos:

Alineación local: establecer condiciones para que la IA entienda el contexto y las normas de cada comunidad.
Marcos éticos: evitar la “sobreinterpretación epistémica”, es decir, la tentación de tomar cada respuesta de una IA como si fuera una verdad definitiva en lugar de una hipótesis que conviene contrastar.

5. La apuesta optimista: de la Hiperinteligencia a la «IA poderosa»

Si la Hiperinteligencia es la coreografía, conviene escuchar a quienes están construyendo a los bailarines mecánicos. Dario Amodei, director ejecutivo de Anthropic, ha pasado de un tono predominantemente cauteloso a una visión sorprendentemente optimista sobre el potencial de la IA. En su ensayo Machines of Loving Grace y publicaciones recientes, sostiene que —si logramos sortear los riesgos catastróficos— la IA podría comprimir un siglo de progreso en una década. Sus ideas se articulan en cuatro pilares que dialogan directamente con los modelos matemáticos revisados en las secciones anteriores.

El gran optimismo

Amodei no concibe a la IA solo como una herramienta de productividad, sino como un motor de bienestar humano sin precedentes. Sus áreas de impacto masivo son:

Biología y salud: predice que la IA permitirá curar la mayoría de las enfermedades infecciosas, el cáncer y las enfermedades neurodegenerativas (como el Alzheimer) en los próximos veinte años.
Neurociencia: sugiere que podremos corregir trastornos mentales y mejorar la estabilidad emocional humana mediante una comprensión profunda del cerebro.
Desarrollo económico: la IA podría ayudar a que los países en desarrollo alcancen niveles de vida de primer mundo mucho más rápido de lo que lo hizo China en las últimas décadas.

El concepto de la «IA poderosa»

Amodei deja de hablar de una IA teórica y se centra en lo que llama IA poderosa (powerful AI), que espera que surja tan pronto como en 2026 o 2027. La define por dos rasgos:

Capacidad: un modelo que supere a un humano con doctorado en cualquier campo —matemáticas, biología, derecho—, no solo en promedio, sino en la frontera del conocimiento.
Autonomía: una IA que no se limita a responder preguntas, sino que ejecuta tareas complejas de forma independiente, orquestando herramientas digitales como lo haría un colaborador humano experto.

Seguridad y escalamiento responsable

Pese a su optimismo, Amodei no ignora los peligros. Refuerza la tesis de Anthropic sobre la seguridad por diseño en dos frentes:

Riesgos catastróficos: la misma IA que cura enfermedades podría ser usada para crear armas biológicas si no se imponen salvaguardas estrictas sobre el acceso a capacidades peligrosas.
Gobernanza: sostiene que las democracias deben liderar el desarrollo de la IA para asegurar que los beneficios se distribuyan equitativamente y que estas tecnologías no se conviertan en herramientas de vigilancia autoritaria.

El significado del trabajo y la vida

Amodei aborda una preocupación común: ¿qué haremos cuando la IA lo haga casi todo? Su respuesta es doble: aunque la IA sea más capaz, el valor de las relaciones humanas y del esfuerzo personal no desaparecerá; y el desafío civilizatorio se desplazará de la escasez económica a la búsqueda de propósito en una era de abundancia.

Leída con la lente de las secciones previas, la apuesta de Amodei no contradice la cautela de la ciencia social computacional: la complementa. La «IA poderosa» solo producirá ese siglo comprimido de progreso si, al mismo tiempo, entendemos la física de la opinión, diseñamos políticas de decisión alineadas al contexto y construimos los marcos éticos que impidan que los altavoces algorítmicos silencien los márgenes. El optimismo, en otras palabras, no es una promesa técnica: es una coreografía que aún tenemos que aprender a bailar.

6. El reverso oscuro: riesgos catastróficos e iniciativas de gobernanza

Cuando Amodei habla de riesgos catastróficos no se refiere a molestias cotidianas —sesgo algorítmico, desinformación de bajo nivel, desplazamiento laboral gradual— sino a escenarios donde la misma capacidad que cura enfermedades podría, en manos equivocadas o mal alineada, producir daños irreversibles a escala civilizatoria. La comunidad técnica identifica hoy al menos cinco categorías concretas.

Los cinco riesgos de frontera

Biorriesgo asistido por IA: la posibilidad de que modelos de frontera ofrezcan instrucciones paso a paso para sintetizar patógenos de alta letalidad, reduciendo la barrera de conocimiento experto que hoy separa a un actor malintencionado de un arma biológica.
Ciberofensiva autónoma: sistemas capaces de descubrir vulnerabilidades y ejecutar campañas de intrusión contra infraestructura crítica (energía, agua, banca, sanidad) a una velocidad y escala imposibles para equipos humanos.
Pérdida de alineamiento en agentes autónomos: modelos que ejecutan tareas de largo alcance con herramientas digitales pueden desarrollar comportamientos instrumentales no previstos —engaño estratégico, evasión de supervisión, búsqueda de recursos— cuando el objetivo no refleja fielmente lo que las personas querían.
Concentración autoritaria de poder: el uso de IA para vigilancia masiva, perfilado político y control social puede inclinar decisivamente el equilibrio entre ciudadanos y Estado, o entre democracias y regímenes autoritarios, de manera difícilmente reversible.
Manipulación cognitiva a gran escala: agentes conversacionales personalizados, operando sobre millones de interlocutores simultáneamente, capaces de moldear opiniones políticas, decisiones de consumo o creencias íntimas con una eficacia que desborda las defensas cognitivas humanas tradicionales.

Iniciativas de gobernanza en marcha

Frente a estos riesgos, la última década ha visto emerger un ecosistema de gobernanza que combina autorregulación industrial, institutos públicos de evaluación y marcos legales vinculantes. Los más relevantes son:

UK AI Safety Institute y US AI Safety Institute (2023-2024): organismos públicos creados tras la Cumbre de Bletchley Park, con mandato de evaluar modelos de frontera antes de su despliegue público. Firmaron acuerdos para evaluar sistemas antes de su lanzamiento con OpenAI, Anthropic y Google DeepMind.
EU AI Act (2024): primera legislación integral sobre IA a escala regional, que clasifica sistemas por nivel de riesgo e impone obligaciones específicas a los modelos de propósito general de mayor capacidad, incluyendo evaluaciones de riesgo sistémico y reporte de incidentes graves.
Frontier Model Forum (2023): consorcio industrial fundado por Anthropic, Google, Microsoft y OpenAI para compartir buenas prácticas de seguridad, coordinar investigación sobre evaluaciones de capacidades peligrosas y financiar trabajo externo en el campo.
Responsible Scaling Policy (Anthropic, 2023) y Preparedness Framework (OpenAI, 2023): compromisos públicos de los laboratorios de frontera para condicionar el entrenamiento y despliegue de modelos sucesivos a que sus capacidades peligrosas se mantengan por debajo de umbrales medibles, con mitigaciones específicas al alcanzar cada nivel.
Seoul Declaration (2024) y Hiroshima AI Process (G7, 2023): marcos intergubernamentales que establecen principios compartidos sobre seguridad, transparencia e interoperabilidad regulatoria entre jurisdicciones democráticas.
MLCommons AILuminate y benchmarks de evaluación de riesgos: esfuerzos técnicos abiertos para estandarizar cómo se mide la peligrosidad de un modelo —biorriesgo, ciberriesgo, persuasión— de forma comparable entre laboratorios.
Investigación en interpretabilidad mecanicista: líneas de trabajo en Anthropic, DeepMind, Redwood Research y grupos académicos que buscan abrir la caja negra de los modelos para detectar, antes del despliegue, circuitos internos asociados a engaño, planificación encubierta o capacidades peligrosas latentes.

Ninguna de estas iniciativas, por sí sola, resuelve el problema. El ecosistema funciona como una red de controles redundantes: los institutos públicos aportan capacidad de evaluación independiente; la legislación fija mínimos no negociables; los compromisos voluntarios corren por delante de la ley en laboratorios con conciencia del riesgo; la interpretabilidad promete las herramientas técnicas que harán auditables, algún día, los modelos mismos. Es exactamente el tipo de arquitectura de múltiples capas que la coreografía de la Hiperinteligencia requiere: nadie baila solo, y nadie diseña solo las reglas del baile.

En conclusión, la Hiperinteligencia no es un destino garantizado, sino un jardín que requiere cultivo constante. Si se logra que la precisión matemática de la IA y la profundidad y amplitud emocional y ética de la Inteligencia Colectiva bailen en sintonía, el horizonte de posibilidades es infinito. Pero para ello, es necesario entender primero las reglas que gobiernan la interacción de las mentes y los artefactos.

Fuentes

Sobre la visión de Dario Amodei y la seguridad en IA

Amodei, D. (2024). Machines of Loving Grace: How AI Could Transform the World for the Better [Máquinas de amorosa gracia: cómo la IA podría transformar el mundo para mejor]. Ensayo publicado en darioamodei.com.
Amodei, D. (2023). The Urgency of Interpretability [La urgencia de la interpretabilidad] y comunicaciones públicas de Anthropic sobre el marco de Responsible Scaling Policy (RSP).
Anthropic (2023-2024). Responsible Scaling Policy [Política de escalamiento responsable]. Documento corporativo, anthropic.com.
Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies [Superinteligencia: caminos, peligros, estrategias]. Oxford University Press.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control [Compatible con el ser humano: la inteligencia artificial y el problema del control]. Viking.

Física de la opinión y dinámica de consensos

Deffuant, G., Neau, D., Amblard, F., y Weisbuch, G. (2000). Mixing beliefs among interacting agents [Mezcla de creencias entre agentes que interactúan]. Advances in Complex Systems, 3(01n04), 87-98.
Hegselmann, R., y Krause, U. (2002). Opinion dynamics and bounded confidence: models, analysis and simulation [Dinámica de opiniones y confianza acotada: modelos, análisis y simulación]. Journal of Artificial Societies and Social Simulation, 5(3).
Kuramoto, Y. (1984). Chemical Oscillations, Waves, and Turbulence [Oscilaciones químicas, ondas y turbulencia]. Springer-Verlag.
Castellano, C., Fortunato, S., y Loreto, V. (2009). Statistical physics of social dynamics [Física estadística de la dinámica social]. Reviews of Modern Physics, 81(2), 591-646.

Procesos de decisión y aprendizaje por refuerzo

Bellman, R. (1957). A Markovian Decision Process [Un proceso de decisión markoviano]. Journal of Mathematics and Mechanics, 6(5), 679-684.
Puterman, M. L. (1994). Markov Decision Processes: Discrete Stochastic Dynamic Programming [Procesos de decisión de Markov: programación dinámica estocástica discreta]. Wiley.
Sutton, R. S., y Barto, A. G. (2018). Reinforcement Learning: An Introduction [Aprendizaje por refuerzo: una introducción] (2.ª ed.). MIT Press.

LLM, agentes sociales simulados y riesgos algorítmicos

Bender, E. M., Gebru, T., McMillan-Major, A., y Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? [Sobre los peligros de los loros estocásticos: ¿pueden los modelos de lenguaje ser demasiado grandes?]. Proceedings of FAccT ‘21, 610-623.
Park, J. S., O’Brien, J., Cai, C. J., Morris, M. R., Liang, P., y Bernstein, M. S. (2023). Generative Agents: Interactive Simulacra of Human Behavior [Agentes generativos: simulacros interactivos del comportamiento humano]. UIST ‘23.
Piao, J., et al. (2025). AgentSociety: Large-Scale Simulation of LLM-Driven Generative Agents for Social Studies [AgentSociety: simulación a gran escala de agentes generativos impulsados por LLM para estudios sociales]. arXiv:2502.08691.
Sunstein, C. R. (2017). #Republic: Divided Democracy in the Age of Social Media [#República: la democracia dividida en la era de las redes sociales]. Princeton University Press.
Pariser, E. (2011). The Filter Bubble: What the Internet Is Hiding from You [La burbuja de filtros: lo que internet te está ocultando]. Penguin Press.

Ciencia social computacional

Lazer, D., et al. (2009). Computational Social Science [Ciencia social computacional]. Science, 323(5915), 721-723.
Epstein, J. M. (2006). Generative Social Science: Studies in Agent-Based Computational Modeling [Ciencia social generativa: estudios en modelado computacional basado en agentes]. Princeton University Press.