El 17 de octubre, en una entrevista en la televisión pública checa, Yuval Noah Harari usó la metáfora de las vacas, que no pueden entender el sistema financiero por más que nos vean e interactúen con nosotros, para advertir que las inteligencias artificiales podrían llegar a dominar y complejizar el sistema financiero global hasta el punto de que no lo entenderemos: seremos las vacas del futuro.
¿Podemos conservar la capacidad de decidir ante una inteligencia artificial cada vez más autónoma? Este año escribí La Sociedad Hiperinteligente y La Soberanía Colectiva para sostener una posibilidad: desarrollar inteligencias artificiales mediadoras que fortalezcan la Inteligencia Colectiva y una gobernanza humana con límites éticos. La pregunta es si esa posibilidad sigue abierta o si la Inteligencia Colectiva quedará subordinada a la Superinteligencia.
Ya fuimos vacas una vez
La imagen es poderosa porque toca una fibra real. Una vaca reconoce al ganadero, anticipa sus rutinas, pero nunca sabrá que su destino se decide en un mercado de futuros.
No hace falta esperar al futuro para reconocer el riesgo. En 2008, bancos, calificadoras y reguladores utilizaban sofisticados modelos para estimar impagos, distribuir riesgos y valorar derivados. Su capacidad de cálculo no equivalía a comprender el sistema: supuestos sobre los precios de la vivienda y la relación entre riesgos hicieron subestimar la posibilidad de caídas simultáneas en distintas regiones.
El colapso no fue solo técnico: también puso en cuestión los supuestos y la capacidad de corregir el rumbo. La sofisticación del cálculo no garantizó una buena orientación. Ya fuimos vacas: millones de familias perdieron sus casas por decisiones tomadas en un lenguaje que no entendían y cuyos riesgos tampoco dominaban suficientemente quienes lo hablaban.
Lo que la metáfora acierta… y lo que oculta
Harari acierta en algo decisivo: un algoritmo toma millones de decisiones al día y ningún supervisor puede revisarlas todas. El poder escala, la rendición de cuentas no. Así, las malas decisiones no necesitan malicia: se vuelven invisibles en el ruido estadístico hasta que el daño ya no puede ocultarse.
Pero la metáfora también oculta algo. La vaca no está en el corral por ser menos inteligente, sino porque no tiene voz en el diseño de la granja. Su condición no depende de lo que entiende, sino de lo que puede decidir. La pregunta, entonces, no es si comprenderemos cada instrumento que invente una máquina —tampoco hoy comprendemos cada derivado que circula en los mercados—, sino si seguiremos decidiendo las reglas del juego en que operan.
La opacidad no es una fatalidad: es una trayectoria por defecto, y puede modificarse, aunque solo mediante intervención deliberada.
Resolver no es orientar
Resolver es encontrar respuestas dentro de un marco dado. Orientar es revisar ese marco: qué valores lo guían y qué futuros abre o clausura. Esta distinción recorre La Sociedad Hiperinteligente. La inteligencia artificial puede ayudar en ambas tareas; lo que no debemos delegar es la responsabilidad de decidir los fines y revisar sus consecuencias.
En mi propuesta, la diferencia es de enfoque: la Superinteligencia pone el acento en la potencia de un sistema; la Hiperinteligencia, en la capacidad de una red de personas, instituciones, máquinas y sistemas biológicos para coordinarse, aprender y corregirse. La imagen es vertical en el primer caso y horizontal en el segundo. No basta con responder preguntas cada vez más difíciles: necesitamos decidir juntos cuáles vale la pena hacerse.
La pandemia permite ilustrar la distinción. Revisar modelos epidemiológicos con epidemiólogos, sociólogos, expertos en logística y líderes comunitarios, y ajustarlos con datos locales, abre posibilidades de respuesta más flexibles y corregibles. No se trata de reemplazar la máquina, sino de orientar su uso. No hace falta entender cada ecuación; sí poder cuestionar sus supuestos.
El mayor riesgo de una sociedad altamente inteligente, entonces, no es equivocarse. Es perder la capacidad de reconocer y corregir sus errores antes de que el daño se vuelva normal, eficiente e invisible.
Un corral o una plaza
En La Soberanía Colectiva planteé que la inteligencia artificial, tal como hoy se desarrolla, tiende a concentrar poder —político, económico y epistémico— en quienes controlan los datos, el cómputo y los sistemas de decisión. Frente a ello distinguí dos figuras: la IA capturadora agrega voluntades, pero las distorsiona en favor de quien la controla; la mediadora traduce, organiza y amplifica la voluntad colectiva sin eliminar su diversidad.
La primera construye corrales; la segunda, plazas. Para reconocer una IA mediadora, propongo cinco preguntas: ¿hace explícito qué optimiza?, ¿preserva perspectivas diversas?, ¿puede corregirse?, ¿deja las decisiones cerca de quienes viven sus consecuencias?, ¿resiste la captura sin depender de la buena voluntad de su operador?
Ninguna de estas preguntas exige que el ciudadano entienda el sistema por dentro; exigen que rinda cuentas en un lenguaje humano y que exista alguien, con poder real, capaz de detenerlo, revisarlo o revertirlo. Un sistema que no puede corregirse no media: controla, aunque hable el idioma de la mediación.
Límites que no dependen de entenderlo todo
Si la comprensión total ya no es posible, la gobernanza humana necesita fronteras éticas que no se negocian: ninguna manipulación cognitiva sin consentimiento; ninguna delegación irreversible de decisiones sobre derechos fundamentales; ninguna vigilancia masiva sin autorización democrática; ninguna concentración irreversible de poder sobre la infraestructura de decisión colectiva; y ninguna opacidad total en sistemas con consecuencias colectivas.
Estos límites no requieren comprender cada detalle, pero sí mecanismos para hacerlos cumplir. No necesitamos saber cómo se calcula un puntaje de crédito para exigir que la persona afectada pueda apelar ante un ser humano, ni comprender cada instrumento financiero para impedir que un solo actor controle, sin contrapesos, la infraestructura en que se negocia.
El peligro es que los límites rara vez caen de golpe. Se erosionan excepción por excepción, emergencia por emergencia, hasta que lo excepcional se vuelve normal. Cada paso parece razonable. Por eso los límites no se defienden solo con principios: se defienden con instituciones que los vigilan.
¿Posibilidad o ilusión?
Volvamos a la pregunta inicial: ante agentes de IA cada vez más autónomos, ¿podemos conservar la capacidad de decidir?
La respuesta honesta es que no está garantizada, pero tampoco es una ilusión. Los avances en autonomía generativa no vuelven obsoleta la mediación; la vuelven urgente. Cuanto más capaces sean los sistemas, más costoso será construir mañana los mecanismos de corrección que hoy posterguemos.
Hay señales en ambas direcciones. Taiwán ha ensayado plataformas digitales para deliberar a gran escala; Estonia ha convertido al Estado en una plataforma de inteligencia distribuida; la comunidad germanófona de Bélgica institucionalizó la deliberación ciudadana. Al mismo tiempo, la rivalidad entre potencias empuja hacia ecosistemas cerrados que dejan al resto del mundo eligiendo alineamientos, no diseñando reglas.
En La Soberanía Colectiva propuse tres escenarios para 2045, con ponderaciones orientativas, no certezas: una bifurcación profunda entre ecosistemas incompatibles, cerca del 40 %, que deja al Sur Global y a América Latina atrapados en dependencias asimétricas; una convergencia regulada, 35 %, con estándares mínimos globales; y un escenario de bien común, 25 %, en el que la IA y la Hiperinteligencia se desarrollan como capacidades distribuidas, no como monopolio de potencias.
El escenario más deseable no es el de mayor peso en este ejercicio, pero sigue abierto. La posibilidad no garantiza el resultado: da una razón para actuar. Las fuerzas estructurales cuentan, pero también las decisiones de diseño, regulación y uso que gobiernos, empresas, organizaciones y ciudadanos tomemos en los próximos años.
Avanzar sin mapas, no sin brújula
Las vacas no eligieron la granja. Nosotros todavía podemos elegir entre el corral y la plaza. La condición de vaca no llegará el día en que dejemos de entender el sistema financiero; llegará el día en que dejemos de exigir que ese sistema responda ante nosotros.
No tenemos el mapa del territorio que vamos a cruzar. Pero sí una brújula: distribuir el poder, preservar la diversidad, mantener la capacidad de corregir y sostener límites que no se negocian. No garantiza el destino. Nos dice qué debemos cuidar mientras avanzamos.
¿Quién puede detener, revisar o revertir una decisión de IA en nuestra organización o comunidad? Esa pregunta puede abrir el diálogo. Quienes deseen explorar aplicaciones prácticas pueden escribirme directamente o consultar mis libros disponibles en Kindle.