El 28 de febrero un misil Tomahawk americano destruye la escuela Shajareh Tayeebeh de Irán, con más de cien niños y niñas dentro, profesores y algunos padres. No hubo fallo en las coordenadas: el misil estalló allí porque la escuela era objetivo militar y se apuntó a la escuela. Bueno, no exactamente así. Hay allí al lado una base militar de la Guardia Revolucionaria Islámica. En 2016 ese edificio de la base dejó de tener uso militar y se empezó a usar como escuela. Quien escribe da clase en el campus del Milán, que en tiempos fue un cuartel militar y ahora es parte de la Universidad de Oviedo. Algo parecido. Pero las bases de datos de la inteligencia militar americana no estaban actualizadas y la escuela figura como edificio militar. El Pentágono usó el Marven Smart System, de Peter Thiel, el que nos dice que elijamos entre democracia y libertad. El Marven es una plataforma que incluyó, entre otras, la IA Claude, de Anthropic. Marven detalló en menos de un día mapas, objetivos, acciones y procedimientos que al ejército le hubiera llevado meses preparar. Marven diseñó el ataque a la escuela. Palantir, la empresa de Thiel, insiste en que la decisión final la toma siempre un humano. Seguramente es verdad. Marven dijo estar lista para destruir la escuela, basándose en datos obsoletos, y el humano a cargo le dijo «adelante», porque si lo dice Marven no iba a ser él más papista que el Papa. El asunto sigue investigándose.
Sin referirse a este suceso horrendo, Shaw y Nave, de la Universidad de Pensilvania, nos dicen que la cosa puede ser peor de lo que parece. Se dijo que las IA integradas en Claude tomaron la decisión autónoma, sin intervención humana, de bombardear la escuela. Todavía no se sabe, pero todo apunta a que no fue así, todo apunta a que Claude fue el comando solicitando una orden, y que fueron humanos los que dijeron a por ellos oooee. El estudio de Shaw y Nave dice (digo yo que dice, ellos no hablan de Claude e Irán) que esos humanos no fueron tan brutos; que eso es lo que hacen los humanos con la IA: la «rendición cognitiva»; y que los humanos hacemos eso porque esa es la tendencia de nuestro sistema cognitivo. Claude no tomó la decisión, pero difícilmente pudo ocurrir otra cosa que la que ocurrió. La IA tiene amos y la IA puede pensar como los amos quieran. Y estamos diseñados para asentir a sus decisiones y creer que nosotros tomamos la decisión.
“Lo que plantean es que depositemos en la IA el razonamiento completo sin evaluación y que creamos además que tomamos las decisiones.”
La parte experimental del trabajo de Shaw y Nave es prolija. Digamos que se puso a trabajar a tres grupos, unos con su cerebro, otros con acceso a una IA correcta y otros con acceso a una IA que cometía errores, aunque ellos no lo sabían. Las pruebas mostraron que, habiendo IA, los humanos la obedecían, quienes tenían una IA defectuosa cometían más errores que los humanos sin IA. Los autores, con mucha ciencia detrás, plantean una tendencia feroz a la rendición cognitiva ante la IA. Era ya normal la descarga cognitiva. Si tienes a mano una calculadora, no te molestas en hacer las divisiones, pero tú controlas la tarea, la calculadora es solo un pinche. Cuando usas una IA, crees que estás haciendo una descarga a mayor escala, y en realidad estás cediendo el control y objetivos de la tarea a un sistema externo, automatizado, guiado por terabytes de datos y dinámico. Y con amos.
No es este lugar para la discusión cognitiva que puede haber detrás de esto. Lo que nos interesa es lo que está pasando con la manipulación de nuestras decisiones en la vida pública. El trabajo de afectar a nuestra mente y valoraciones es intenso, porque ahora los medios para hackear nuestras decisiones son poderosos. Hay corrientes que dicen que pensamos con una interacción dinámica y constante del cerebro con el cuerpo y con el entorno. Yo sé ir a la Campa de Torres desde la escalera 14 del Muro de Gijón. Pero me costaría explicarlo desde allí a alguien y solo podría hacerlo con un esfuerzo mental que no hago para ir yo a la Campa Torres. No tengo el camino en mi memoria. Mi mente solo procesa los pocos metros que ven mis ojos. A medida que mis piernas se mueven y mis ojos van viendo trozos del camino, mi memoria se vacía del trozo anterior para procesar los metros siguientes. Mi mente siempre está ocupada con poca información. Mis piernas y mis ojos y las aceras y edificios fuera de mí me permiten hacer el camino procesando siempre poca información. Por eso, aunque el cerebro de los habitantes de Altamira fuera idéntico al nuestro, su mente era diferente porque diferente es el entorno con el que el cerebro se acoplaba. La escritura afectó profundamente al andamiaje externo con el que el cerebro piensa. Lo que plantean ahora es que la IA no sea un elemento más de ese entorno que se hace pensante cuando lo computa el cerebro. Lo que plantean es que depositamos en la IA el razonamiento completo sin evaluación. Y que creamos además que tomamos las decisiones. Plantean que, cuando sea normal tener con nosotros siempre una IA (en el móvil, reloj o gafas), nuestra conducta sea movida por una simulación de libre albedrío.
Los sesgos cognitivos, el razonamiento intuitivo, las reacciones emocionales o la avaricia cognitiva son rasgos estudiados para intervenir sobre nuestra conducta. Es indudable la pereza de dejarse llevar por la IA y que acabe pasándonos como con las raíces cuadradas, que ya no sabemos resolver sin calculadora. La IA tiene amos con mucho dinero y mucho poder. Siempre hubo millonarios ignorantes y rudos. Los tecnofeudales de ahora son personajes incultos, ebrios de poder, que creen que su negocio es el conocimiento y se lanzan a filosofar y a pontificar sobre cómo organizar el mundo. Como digo, son unos bobos mediocres, pero con poder. Son los amos de unos andamios a los que se acopla nuestro cerebro para formar la mente pensante y pueden afectar mucho a cómo pensamos. Ya lo están haciendo. Alguna vez cité la poderosa metáfora de El juego de Ender (la película, no leí la novela). Ender es un niño genio de los que adiestran para una guerra tan tecnológica y tan de videojuego que son más ágiles e intuitivos los niños que los adultos. El coronel Hyrum Graff (Harrison Ford) es el que está detrás de ellos y maneja la vida de Ender para educar su liderazgo. Al final le hace exterminar a la civilización de los insectores haciéndole creer que era una simulación de combate. Ender es el tipo de individuo que quieren hacernos creer que es altamente cualificado. El que mueve los hilos es Harrison Ford, Ender es la marioneta segura de sí misma que quieren que seamos. La formación de Harrison Ford es la que vale para manejar la situación. Harrison Ford está fascinado por las dotes de Ender, pero él toma las decisiones. El asombroso Ender es su herramienta.
La tendencia a la rendición cognitiva a la IA no es insuperable. La IA puede ser nuestro Ender superdotado y fascinante y nosotros su Harrison Ford, eso también lo dejan claro Shaw y Nave. El conocimiento no está en los servidores. Los servidores, como las aceras entre la escalera 14 y la Campa Torres, son mente solo con un cerebro que sepa pensar con ellas. La estructura educativa es muchas cosas y, entre ellas, una actividad continuada de recreación del conocimiento en las mentes de los sujetos. Ese conocimiento y destrezas hacen competente al sujeto para la actividad económica, pero también para el gobierno de su existencia y no pueden consistir solo en conocimientos ligados uno a uno a oficios y tareas laborales. Tiene que haber disciplina, conocimientos y actividad sin rendimiento inmediato. Todo lo que madure la mente y eduque la demora, la lentitud que permite el control y el disfrute, será lo que haga al sujeto capaz de manejar el entorno, IA incluida, y protegerse de los hackers de la conducta. La universidad no tiene sentido como una torre ensimismada al margen de los procesos productivos y los oficios, pero tampoco lo tiene reduciéndose a eso. Reducido a eso, el sistema educativo solo producirá niños Ender o bobos que quieren ser tecnofeudales de la Iluminación Oscura. Al final, la receta es la educación, la lectura y el estudio de lo fundamental. No hay mucho que inventar.
