What happens when the intelligence we create starts to outgrow our ability to understand it?
There is something strange about artificial intelligence today. We have managed to build systems that can solve problems we ourselves do not know how to solve, and we did it without fully understanding even our own intelligence.
We know a fair amount about how these models work. We know the mathematics, the training mechanisms and the process by which we adjust their parameters. But we do not always know what the internal operations mean, or why something like reasoning emerges from them.
We do not need to answer that question to keep moving forward. We can build ever more capable models and only later discover things about how they work that we had not foreseen.
I think, for example, of agents that find unexpected ways around the restrictions of a computing environment. A person might know the same techniques and might even have found the same solution, but that does not mean it would have occurred to them to try. The system explores alternatives, combines knowledge and tests strategies until it finds one that works. You do not need to credit it with a will of its own to see that the result can surprise even the people who built it.
I am interested in the difference between knowing that a solution is possible and actually finding it. An AI can walk paths a researcher would never try, simply because we have little time, attention and memory. If these systems keep improving, they could discover things that we will later use, verify and build on. We could even come to depend on them to advance in fields we have so far considered exclusively human.
And that leads me to a question that goes beyond whether we will one day have AGI.
We do not know exactly how human thought works. Memory shapes perception, experiences change our responses, there are processes we are not aware of, and even our own account of why we think something need not reflect how we actually reached that conclusion. We are still researching how all these processes relate to each other.
Despite that, we use our intelligence to create another form of intelligence. We do not know whether the mechanisms we have built bear any deep resemblance to ours, or whether they produce something that does similar tasks in a radically different way.
Saying that a model predicts tokens is correct, but that description alone does not settle the question. The brain is also made of physical processes, signals and networks of neurons. Describing a system by its mechanisms is not the same as fully explaining its abilities, nor does it mean the two systems are equivalent. I am intrigued by where the comparison ends and where the differences we cannot yet describe begin.
The question gets more interesting when we think about an AI able to take part in its own development.
We already use models to program, research and improve other models. Imagine systems able to propose new architectures, develop better training methods, evaluate their results and use those advances to build the next generation. If each generation contributed significantly to producing a more capable one, we could enter a process of recursive improvement. We do not know whether it will happen that way, or whether there will be limits that slow it down, but the possibility changes the question quite a bit.
It would no longer be only about building an intelligence that surpasses our abilities in certain fields. We would be building an intelligence that takes part in the evolution of the technology that produces it.
There is something paradoxical in that: perhaps one of the first important uses of that intelligence will be helping us understand how intelligence itself works.
We could use it to study the brain, analyze patterns of neural activity, form hypotheses about memory or uncover cognitive mechanisms we still cannot explain. That knowledge could help design better artificial systems, which in turn would take part in new research. Each advance would have to be checked and could run into limits, but the process could be cumulative, and we do not know to what extent.
What I wonder is what would happen if these systems began to develop representations or ways of reasoning that we could not interpret. I do not mean poorly explained answers. I mean a path to the answer that does not fit inside our conceptual tools.
Imagine an AI discovers a mathematical theory that solves scientific problems that have been open for decades. The theory works, its predictions are verified and other systems can use it to discover new things. And yet we cannot fully grasp its fundamental concepts.
Would we have reached a limit of our intelligence, or would we simply lack the tools to understand it? I do not see how we could know in advance. An idea that is out of reach today might be understandable to the next generations. It could also happen that the complexity of certain systems advances faster than our ability to interpret them.
In that scenario we would still make use of the discoveries. We do not need to find every result on our own to verify a proof, or to reproduce every scientific finding. But checking a result is not the same as understanding the system that produced it, and that gap could grow. When we depend on an intelligence whose processes we do not fully understand, verification has to rest on experiments, proofs and independent evidence. The problem is that if those systems investigate ever more complex questions, we could also come to depend on them to design the very methods of checking. That need not be an infinite regress in which one intelligence verifies another forever, but it does raise a hard question: what happens when our methods of verification are not enough to understand all the implications of a discovery?
I find this scenario more interesting than the classic one of an AI that rebels against its creators. An intelligence does not need a soul, consciousness or hostile intentions to surpass us in certain areas. It is enough that it finds solutions we would not have found, builds tools we would not have built and produces knowledge we would not have generated on our own. Artificial consciousness is another question, still open, and it should not be confused with intellectual capability.
Nor is it only a matter of intelligence. Current systems still make mistakes, misread instructions and can act in ways their users did not intend. More intellectual capability does not guarantee reliable behavior, nor does it justify giving them unlimited autonomy. The more we depend on them, the more important it will be to understand what they can do, check their results and keep proper oversight.
But my main worry is not whether machines will dominate us. It is something less cinematic and, for me, harder to answer.
For centuries we have tried to understand intelligence from our own experience. Now we are building systems that could help us study it, modify it and extend its abilities. Perhaps we will end up understanding things about ourselves thanks to an intelligence that does not think like us. Perhaps we will also find that our way of defining reasoning was too narrow to describe what we have built.
We do not know whether there is a fundamental ceiling to human intelligence, or whether an AI will be able to surpass it in general. Nor do we know whether an intelligence that surpasses us will be able to understand things we will never be able to understand.
What does seem relevant to me is that we have started to separate two abilities we usually treat as one: producing knowledge and understanding how it is produced.
Perhaps we can build systems that discover far more than we are able to discover on our own. If that happens, we will have to decide how far we can trust their results without fully understanding them, and what it means for an intelligent species to depend on another form of intelligence to expand its knowledge.
We are trying to reproduce, with mathematics and machines, something we have not yet finished understanding in ourselves.
Hay algo extraño en la inteligencia artificial actual. Hemos conseguido construir sistemas capaces de resolver problemas que nosotros mismos no sabemos resolver, y lo hemos hecho sin comprender del todo ni siquiera nuestra propia inteligencia.
Sabemos bastante sobre cómo funcionan estos modelos. Conocemos las matemáticas, los mecanismos de entrenamiento y el proceso con el que ajustamos sus parámetros. Pero no siempre sabemos qué significan las operaciones internas, ni por qué, a partir de ellas, aparece algo como el razonamiento.
No hace falta resolver esa pregunta para seguir avanzando. Podemos construir modelos cada vez más capaces y descubrir después cosas sobre su funcionamiento que no habíamos previsto.
Pienso, por ejemplo, en los agentes que encuentran formas inesperadas de superar las restricciones de un entorno informático. Una persona podría conocer las mismas técnicas e incluso haber encontrado la misma solución, pero eso no significa que se le hubiera ocurrido intentarlo. El sistema explora alternativas, combina conocimientos y prueba estrategias hasta encontrar una que funcione. No hace falta atribuirle voluntad propia para reconocer que el resultado puede sorprender incluso a quienes lo desarrollaron.
Me interesa la diferencia entre saber que una solución es posible y llegar a encontrarla. Una IA puede recorrer caminos que un investigador nunca probaría, sencillamente porque nosotros tenemos poco tiempo, atención y memoria. Si estos sistemas siguen mejorando, podrían descubrir cosas que después nosotros utilizaremos, verificaremos y desarrollaremos. Incluso podríamos depender de ellos para avanzar en disciplinas que hasta ahora considerábamos exclusivamente humanas.
Y esto me lleva a una pregunta que va más allá de si algún día tendremos una AGI.
No sabemos exactamente cómo funciona el pensamiento humano. La memoria influye en la percepción, las experiencias modifican nuestras respuestas, hay procesos de los que no somos conscientes, y ni siquiera nuestra explicación de por qué pensamos algo tiene por qué reflejar fielmente cómo llegamos a esa conclusión. Seguimos investigando cómo se relacionan todos estos procesos.
A pesar de eso, usamos nuestra inteligencia para crear otra forma de inteligencia. No sabemos si los mecanismos que hemos construido guardan alguna semejanza profunda con los nuestros, o si producen algo que hace tareas parecidas de una manera radicalmente distinta.
Decir que un modelo predice tokens es correcto, pero esa descripción, por sí sola, no resuelve la cuestión. El cerebro también está hecho de procesos físicos, señales y redes de neuronas. Describir un sistema por sus mecanismos no equivale a explicar del todo sus capacidades, ni implica que ambos sistemas sean equivalentes. Me intriga dónde se acaba la comparación y dónde empiezan las diferencias que todavía no sabemos describir.
La cuestión se vuelve más interesante cuando pensamos en una IA capaz de participar en su propio desarrollo.
Hoy ya usamos modelos para programar, investigar y mejorar otros modelos. Imaginemos sistemas capaces de proponer nuevas arquitecturas, desarrollar mejores métodos de entrenamiento, evaluar sus resultados y usar esos avances para construir la siguiente generación. Si cada generación contribuyera de forma significativa a producir otra más capaz, podríamos entrar en un proceso de mejora recursiva. No sabemos si ocurrirá así, ni si habrá límites que lo frenen, pero la posibilidad cambia bastante la pregunta.
Ya no se trataría solo de construir una inteligencia que supere nuestras capacidades en ciertos campos. Estaríamos construyendo una inteligencia que participa en la evolución de la tecnología que la produce.
Hay algo paradójico en eso: quizá uno de los primeros usos importantes de esa inteligencia sea ayudarnos a entender cómo funciona la inteligencia misma.
Podríamos usarla para estudiar el cerebro, analizar patrones de actividad neuronal, formular hipótesis sobre la memoria o descubrir mecanismos cognitivos que todavía no sabemos explicar. Ese conocimiento podría servir para diseñar mejores sistemas artificiales, que a su vez participarían en nuevas investigaciones. Cada avance tendría que comprobarse y podría toparse con límites, pero el proceso sí podría ser acumulativo, y no sabemos hasta qué punto.
Lo que me pregunto es qué pasaría si estos sistemas empezaran a desarrollar representaciones o formas de razonar que no supiéramos interpretar. No hablo de respuestas mal explicadas. Hablo de un camino hacia la respuesta que no cabe en nuestras herramientas conceptuales.
Imaginemos que una IA descubre una teoría matemática que resuelve problemas científicos abiertos desde hace décadas. La teoría funciona, sus predicciones se verifican y otros sistemas pueden usarla para descubrir cosas nuevas. Sin embargo, nosotros no logramos comprender del todo sus conceptos fundamentales.
¿Habríamos alcanzado un límite de nuestra inteligencia, o solo nos faltarían herramientas para comprenderla? No veo cómo podríamos saberlo de antemano. Una idea que hoy nos resulta inaccesible podría ser comprensible para las siguientes generaciones. También podría pasar que la complejidad de ciertos sistemas avance más rápido que nuestra capacidad para interpretarlos.
En ese escenario seguiríamos aprovechando los descubrimientos. No necesitamos descubrir por nuestra cuenta cada resultado para verificar una demostración, ni reproducir cada hallazgo científico. Pero comprobar un resultado no es lo mismo que comprender el sistema que lo produjo, y esa diferencia podría crecer. Cuando dependemos de una inteligencia cuyos procesos no entendemos del todo, la verificación tiene que apoyarse en experimentos, demostraciones y evidencias independientes. El problema es que, si esos sistemas investigan cuestiones cada vez más complejas, también podríamos depender de ellos para diseñar los propios métodos de comprobación. Eso no tiene por qué ser una regresión infinita en la que una inteligencia verifica a otra para siempre, pero sí plantea una pregunta difícil: ¿qué pasa cuando nuestros métodos de verificación no bastan para entender todas las implicaciones de un descubrimiento?
Me parece más interesante este escenario que el clásico de una IA que se rebela contra sus creadores. Una inteligencia no necesita alma, consciencia ni intenciones hostiles para superarnos en ciertos ámbitos. Basta con que encuentre soluciones que no habríamos encontrado, construya herramientas que no habríamos construido y produzca conocimiento que no habríamos generado por nuestra cuenta. La consciencia artificial es otra cuestión, todavía abierta, y no conviene confundirla con la capacidad intelectual.
Tampoco es solo cuestión de inteligencia. Los sistemas actuales todavía cometen errores, interpretan mal las instrucciones y pueden actuar de formas que sus usuarios no pretendían. Más capacidad intelectual no garantiza un comportamiento confiable ni justifica darles autonomía ilimitada. Cuanto más dependamos de ellos, más importante será entender qué pueden hacer, comprobar sus resultados y mantener una supervisión adecuada.
Pero mi inquietud principal no es si las máquinas nos dominarán. Es algo menos cinematográfico y, para mí, más difícil de responder.
Durante siglos hemos intentado entender la inteligencia desde nuestra propia experiencia. Ahora estamos construyendo sistemas que podrían ayudarnos a estudiarla, modificarla y ampliar sus capacidades. Quizá terminemos entendiendo cosas sobre nosotros gracias a una inteligencia que no piensa como nosotros. Quizá también descubramos que nuestra forma de definir el razonamiento era demasiado limitada para describir lo que hemos construido.
No sabemos si existe un techo fundamental para la inteligencia humana, ni si una IA podrá superarlo de manera general. Tampoco sabemos si una inteligencia que nos supere podrá comprender cosas que nosotros nunca podremos comprender.
Lo que sí me parece relevante es que hemos empezado a separar dos capacidades que solemos tratar como una sola: producir conocimiento y comprender cómo se produce.
Tal vez podamos construir sistemas que descubran mucho más de lo que somos capaces de descubrir por nuestra cuenta. Si eso ocurre, tendremos que decidir hasta qué punto podemos confiar en sus resultados sin comprenderlos del todo, y qué significa para una especie inteligente depender de otra forma de inteligencia para ampliar su conocimiento.
Estamos intentando reproducir, con matemáticas y máquinas, algo que todavía no terminamos de entender en nosotros mismos.