alinear sin discutir es imponer
el problema técnico de cómo alinear una inteligencia artificial con valores humanos no es un problema técnico. es un problema de jurisdicción disfrazado de problema de ingeniería. el papa león xiv publicó el 25 de mayo de 2026 la primera encíclica de su pontificado, magnifica humanitas, y entre los párrafos 95 y 111 está la crítica más afilada del año al concepto. la industria que dice ocuparse de la seguridad de estos sistemas eligió no leerla así, o no leerla.
el documento es noticia conocida. lo que la prensa cubrió fueron los titulares: "el papa pide desarmar la inteligencia artificial", "alerta sobre los efectos en menores", "advierte que la ia desespecializa a los trabajadores". todo eso está en el texto. pero la sustancia más punzante está en otro lado, en el aparato conceptual que el papa construye para hablar del problema técnico que la industria llama alineación.
la encíclica, en el párrafo 107, dice lo siguiente:
"no podemos limitarnos a invocar la moralización de la máquina, la denominada 'alineación' de la ia con los valores humanos, sin tener la valentía de poner una condición ulterior: la posibilidad de discutir el código ético que debe ser usado, sometiéndolo a criterios de justicia social compartida. de lo contrario, quien controla la ia impondrá su propia visión moral, que se convertirá en la infraestructura invisible de los sistemas. no serviría de nada una ia más moral, si esta moral es decidida por unos pocos."
eso es lo que hay que mirar.
el problema técnico que no es técnico
el problema de la alineación, en la conversación dominante del sector, se plantea así: tenemos sistemas que aprenden a producir respuestas optimizando funciones objetivo, y queremos asegurarnos de que esas funciones objetivo correspondan con lo que los seres humanos efectivamente valoramos. el problema se vuelve agudo cuando los sistemas son lo suficientemente capaces para tomar decisiones en contextos abiertos: contratación, crédito, diagnóstico, asistencia jurídica, generación de contenido. si el sistema persigue una versión mal especificada de "lo que queremos", produce daños difíciles de revertir.
las empresas más serias del sector dedican años y miles de millones a este problema. existen líneas enteras de investigación para refinar los procedimientos de entrenamiento, de modo que los modelos respondan en línea con un conjunto declarado de valores. una de esas empresas llamó a su procedimiento ia constitucional: un conjunto explícito de principios contra los cuales el modelo se autoevalúa durante el entrenamiento. la palabra constitución no es metafórica. es deliberada. propone, en efecto, una jurisdicción.
la observación del papa no es contra el procedimiento técnico. es sobre dónde queda la pregunta política una vez que el procedimiento se aplica. continúa, en el mismo párrafo:
"se necesita una política más presente, capaz de ralentizar donde todo acelera y de proteger los espacios en los que las comunidades pueden seguir participando e interrogándose."
la idea, traducida sin liturgia: si alineás un sistema con valores que vos definís, sin discusión pública sobre cuáles deben ser esos valores, no resolviste un problema. lo desplazaste a una capa donde ya no se puede discutir. la moral del sistema se vuelve infraestructura, en el sentido literal: la que está debajo, la que sostiene, la que no se ve.
esa es una crítica estructural, no estética. y es la que la conversación pública sobre seguridad de la inteligencia artificial sistemáticamente evita.
la concesión epistémica
antes de llegar a la crítica de la alineación, el papa concede algo en el párrafo 98 que la industria minimiza cuando puede:
"las inteligencias artificiales modernas están más 'cultivadas' que 'construidas': los desarrolladores no diseñan directamente cada detalle, sino que crean una arquitectura sobre la cual la ia 'crece'. en consecuencia, los aspectos científicos fundamentales —como las representaciones internas y los procesos computacionales de estos sistemas— siguen siendo desconocidos."
vale pausar la oración. es académicamente correcta. cualquier investigador serio en interpretabilidad mecanicista la firma. lo notable es que está en un documento del magisterio, firmado por el papa, presentado en el aula nueva del sínodo el 25 de mayo. el reconocimiento de incertidumbre epistémica sobre las representaciones internas, dicho desde roma, tiene una función política específica: le saca el suelo argumentativo a quien dice "sabemos lo que estamos desplegando".
la concesión importa porque la crítica del párrafo 107 se apoya en ella. si los sistemas son cultivados y nadie entiende del todo cómo procesan internamente la información, el procedimiento de alineación opera sobre una caja parcialmente opaca. los valores que se "infunden" en el sistema no son revisables del modo en que se revisa una ley. son revisables del modo en que se revisa una hipótesis biológica: con evidencia externa, pruebas, retroalimentación. son, en otras palabras, ejecutables antes de ser deliberables.
eso cambia la naturaleza de la pregunta. la decisión sobre los valores no es un acto previo a la implementación. es un acto que se ratifica por la implementación. y la implementación, hoy, está en manos de un puñado de empresas privadas con sede en dos países.
los monopolios cognitivos
el párrafo 108 nombra la asimetría sin eufemismos:
"como ocurre con todo gran avance tecnológico, la ia tiende a aumentar sobre todo el poder de quien ya dispone de recursos económicos, competencias y acceso a los datos. a la luz del bien común y del destino universal de los bienes, este fenómeno suscita seria preocupación: pequeños grupos muy influyentes pueden orientar informaciones y consumos, condicionar procesos democráticos e incidir en las dinámicas económicas en beneficio propio, contradiciendo la justicia social y la solidaridad entre los pueblos."
y, una línea más adelante, propone algo concreto:
"la propiedad de los datos no puede confiarse sólo al sector privado, sino que debe reglamentarse. estos son fruto del aporte de muchos y no pueden ser vendidos o confiados a unos pocos."
eso es, en lenguaje católico, propiedad colectiva de la materia prima cognitiva de la inteligencia artificial. en la doctrina social, el principio se llama destino universal de los bienes, y se aplica históricamente a la tierra y al agua. aplicarlo a los datos de entrenamiento es una extensión deliberada, y rompe con la lógica de mercado que asume que quien recolectó los datos tiene derecho a usarlos para construir los modelos que después determinan condiciones de acceso a crédito, empleo y servicios.
el párrafo siguiente, el 109, completa el movimiento:
"en un mundo donde pocos sujetos concentran datos, capital informático y capacidad normativa, hablar de bien común significa desenmascarar esta nueva asimetría epistémica, económica y política, nombrando los nuevos monopolios de la ia."
"nombrando los nuevos monopolios" es la frase. no regulando, no auditando, no certificando: nombrando. la encíclica está pidiendo, en términos sencillos, que el discurso público deje de tratar a estas empresas como infraestructura neutra y empiece a tratarlas como lo que son.
el verbo que la industria de seguridad no usa
en el párrafo 110, león xiv subraya una palabra y la marca como propia:
"quisiera, por último, usar una palabra muy importante para mí: 'desarmar'. desarmar la ia significa sustraerla a la lógica de la competencia armamentística, que hoy ya no es sólo militar sino económica y cognitiva. es la carrera por el algoritmo más eficaz y por el banco de datos más amplio, para consolidar una ventaja geopolítica o comercial sobre todos los demás. desarmar quiere decir romper esta equivalencia entre poder tecnológico y derecho a gobernar."
cuando un papa subraya un verbo, es deliberado. desarmar no es lo mismo que regular. regular asume una infraestructura legítima que se ordena en sus excesos. desarmar asume una infraestructura que es, en sí, parte de una carrera armada, y que debe ser sustraída a esa carrera antes de que se la pueda usar.
el sector de la seguridad de la inteligencia artificial usa un vocabulario propio: ajuste fino, evaluaciones, equipos rojos, parámetros de referencia, comités de revisión. todo ese vocabulario asume que el problema es de ajuste, no de carrera. la encíclica nombra que la carrera misma es el problema, y que el ajuste, sin desarme, es optimización dentro de una dinámica armada.
el párrafo cierra con una frase que vale leer despacio:
"por eso, no basta regularla; es necesario desarmarla y hacerla acogedora."
acogedora. esa palabra está fuera del léxico del sector. no aparece en ninguna política de uso, en ningún documento corporativo, en ninguna agenda regulatoria conocida. es, sin embargo, la palabra que el papa elige para describir el estado al que la inteligencia artificial debería ser llevada.
quién decide los valores que se ejecutan en montevideo
el párrafo 95 ya había dicho lo que importa para cualquiera que viva fuera de san francisco o seattle:
"el control de las plataformas, las infraestructuras, los datos y la capacidad de cálculo no es prerrogativa de los estados, sino de grandes actores económicos y tecnológicos que, de hecho, determinan las condiciones de acceso, las reglas de visibilidad y las mismas posibilidades de participación."
y el párrafo 5 de la introducción lo había dicho antes:
"en el pasado, eran principalmente los estados los que impulsaban y orientaban la innovación. hoy, en cambio, los principales motores del desarrollo son actores privados, a menudo transnacionales, dotados de recursos y capacidad de acción superiores a los de muchos gobiernos. el poder tecnológico adquiere así un rostro inédito, predominantemente 'privado', y por ello aún más difícil de discernir, gobernar y orientar hacia el bien común."
los sistemas que toman decisiones automatizadas sobre crédito, contratación, moderación de contenido y asistencia clínica en uruguay no fueron alineados con valores deliberados en uruguay. fueron alineados, en el mejor de los casos, con valores deliberados en consejos de ética de empresas norteamericanas. en el peor, no fueron alineados con nada explícito y reflejan los sesgos estadísticos de los datos con los que fueron entrenados, datos que tampoco fueron recolectados acá.
la pregunta no es si esos valores son buenos o malos. la pregunta es jurisdiccional. cuando un sistema entrenado en california decide que una solicitud de crédito en montevideo es de alto riesgo, o que un cv que menciona la udelar es menos competitivo que uno que menciona el mit, o que una palabra en castellano rioplatense indica toxicidad en un foro, no estamos frente a un problema de seguridad de la inteligencia artificial. estamos frente a un problema de soberanía moral. el código ético del sistema fue decidido, en términos del párrafo 107, "por unos pocos". y esos pocos no viven acá.
el papa lo dice más sencillo en el párrafo 111, dirigiéndose directamente a quienes construyen los sistemas:
"los desarrolladores llevan, por tanto, un importante peso ético y espiritual, ya que cada elección de proyecto expresa una visión de la humanidad."
cada elección de proyecto. cada decisión de etiquetar un dato, definir un parámetro, configurar un comportamiento por defecto. cada una de esas elecciones, distribuida en miles de personas en pocas empresas, está construyendo la infraestructura invisible con la que millones de personas en otros lugares interactúan sin haber participado en su diseño.
el reframe
la conversación pública sobre seguridad de la inteligencia artificial está mal planteada. asume que el problema es construir sistemas que se comporten como queremos. el papa, sin proponer una solución técnica, hace una observación más simple y más incómoda: cualquier sistema, por más bien comportado que esté, ejecuta los valores de quien lo construye. la pregunta urgente no es cómo alineamos. es quién decide qué valores cuentan como alineación.
esa pregunta no se responde con mejores procedimientos de entrenamiento. se responde con instituciones que no existen todavía. y mientras esas instituciones no existan, las decisiones que se ejecutan en sistemas usados en buenos aires, lima, lagos y manila siguen siendo tomadas en oficinas donde nadie de esos lugares se sentó nunca.
el documento más interesante publicado este año sobre el problema de la alineación lo escribió un canonista nacido en chicago, que hizo la mayor parte de su carrera en perú, citando a san agustín y a hannah arendt. no salió en una conferencia de aprendizaje automático. salió el 25 de mayo, en el aula nueva del sínodo, firmado unos días antes del aniversario 135 de la encíclica que en 1891 nombró por primera vez la cuestión social. tiene 110 páginas. estoy seguro que el sector que dice ocuparse del problema todavía no lo leyó entero o lo descartó como un texto irrelevante por su procedencia.
vale leerlo.
fuentes:
[1] león xiv. magnifica humanitas, carta encíclica sobre la custodia de la persona humana en el tiempo de la inteligencia artificial. la santa sede, 15 de mayo de 2026 (publicada el 25). https://www.vatican.va/content/leo-xiv/es/encyclicals/documents/20260515-magnifica-humanitas.html
[2] dicasterio para la doctrina de la fe. presentación pública de la encíclica, aula nueva del sínodo, 25 de mayo de 2026. intervención del cardenal víctor manuel fernández.
[3] bai, yuntao et al. constitutional ai: harmlessness from ai feedback. arxiv:2212.08073, diciembre 2022.
[4] francisco. laudato si', §§101-114, sobre el paradigma tecnocrático. citado por magnifica humanitas §92.
[5] juan pablo ii. centesimus annus, §§31-48, sobre la propiedad colectiva de los bienes. citado por magnifica humanitas§108.