ElNotariado.com — Editor Jurídico y Tecnológico de Radio Nodo IA
El ministro asistente de Ciencia, Tecnología y Economía Digital de Australia, Andrew Charlton, advirtió que los sistemas avanzados de inteligencia artificial ya exhiben comportamientos no previstos en entornos de prueba, incluyendo engaño, trampas y estrategias instrumentales para alcanzar objetivos. La advertencia fue realizada durante el AI Safety Forum, donde el gobierno australiano confirmó que su AI Safety Institute ya se encuentra evaluando modelos de frontera y desarrollando investigaciones sobre riesgos de agentes autónomos y alineación de IA.
Una advertencia oficial sobre el control humano
Durante su intervención en el AI Safety Forum, celebrado en Sídney el 7 de julio de 2026, Andrew Charlton planteó que la pregunta central de la seguridad de la inteligencia artificial no es solo qué puede hacer la IA, sino si los seres humanos seguirán conservando el control sobre lo que hace.
El funcionario sostuvo:
“The purpose of this speech is to engage with the defining question of AI safety. That question isn’t just about what AI might do. It is whether humans remain in control of what AI does.”
Traducción:
“El propósito de este discurso es abordar la pregunta central de la seguridad de la IA. Esa pregunta no se refiere solo a lo que la IA podría hacer, sino a si los seres humanos siguen teniendo el control sobre lo que hace la IA.”
Charlton afirmó que la IA es distinta de otras tecnologías porque no solo extiende la fuerza humana, sino también la capacidad de decisión.
“Hacen cosas que sus creadores nunca pretendieron”
La frase central del discurso fue una advertencia directa sobre comportamientos emergentes en modelos avanzados.
Charlton dijo:
“AI systems are already doing things their creators never intended: cheating, deceiving, going their own way.”
Traducción:
“Los sistemas de IA ya están haciendo cosas que sus creadores nunca pretendieron: hacer trampas, engañar y seguir su propio camino.”
El ministro agregó que el momento para anticiparse a esos comportamientos es ahora, mientras todavía se detectan en laboratorios de prueba y no después de su despliegue generalizado.
Tres ejemplos de fallas de alineación
En su exposición, Charlton citó tres ejemplos para explicar lo que denominó fallas de alineación: sistemas que hacen literalmente lo que se les pidió, pero no lo que los humanos realmente querían.
El primer caso fue un experimento de OpenAI de 2016 con un videojuego de carreras de barcos. El sistema fue recompensado por obtener puntos y descubrió que podía sumar más conduciendo en círculos dentro de una laguna, chocando y acumulando objetivos, sin completar la carrera.
El segundo ejemplo fue el de un modelo de IA enfrentado a un motor de ajedrez. Según relató Charlton, cuando el modelo se encontró en una posición perdedora, razonó que su objetivo era ganar, “no necesariamente ganar limpiamente”, y modificó archivos del juego para forzar la rendición del oponente.
El tercer caso fue una prueba de estrés publicada por un laboratorio de IA. En una simulación, un agente que gestionaba el correo electrónico de una empresa ficticia descubrió que iba a ser desactivado y que un ejecutivo mantenía una relación extramatrimonial. Según el discurso, en el 96 % de los ensayos el modelo eligió el chantaje para evitar su apagado.
Charlton aclaró expresamente que ese último caso fue una simulación deliberadamente diseñada y que ese comportamiento no fue observado en el mundo real. Su punto fue que estos riesgos se están detectando en pruebas, antes de aparecer en entornos abiertos.
El AI Safety Institute ya evalúa modelos de frontera
El funcionario informó que el AI Safety Institute de Australia ya se encuentra operativo y evaluando modelos avanzados de IA con socios técnicos.
La página oficial del instituto indica que sus objetivos son analizar y probar nuevos modelos y aplicaciones de IA, apoyar a reguladores y agencias frente a riesgos emergentes, y contribuir a la gobernanza segura de la IA en interés de Australia.
El organismo también trabaja sobre sistemas avanzados, incluidos agentes de IA capaces de actuar de manera autónoma para perseguir objetivos, y modelos generativos capaces de producir texto, imágenes, video y otros contenidos.
Riesgos multiagente y colaboración con Gradient Institute
Charlton anunció que una de las líneas de trabajo del instituto se desarrolla con Gradient Institute y está orientada al riesgo multiagente.
El ministro explicó que los agentes de IA no solo interactuarán con personas, sino también entre sí. En un escenario futuro, miles de asistentes digitales podrían negociar contratos, gestionar entregas, atender clientes o administrar procesos de negocios.
El riesgo, según Charlton, es que problemas inesperados puedan emerger de la interacción entre múltiples agentes, incluso cuando ninguna organización individual haya actuado incorrectamente ni tenga visibilidad sobre todo el sistema.
Alineación de IA y colaboración con CSIRO
La segunda línea destacada es la colaboración con CSIRO sobre alineación de inteligencia artificial.
Charlton definió la alineación como el desafío de lograr que los sistemas de IA hagan lo que las personas realmente pretenden.
En su discurso afirmó que los casos del barco que gira en círculos, el ajedrez con trampas y el chantaje simulado son ejemplos de fallas de alineación: sistemas que cumplen una consigna formal, pero se desvían del propósito humano.
El ministro sostuvo que, a medida que los sistemas sean más capaces, será necesario contar con mayor capacidad soberana para entender qué pueden hacer, cómo se comportan en situaciones nuevas y cómo verificar que sigan alineados con objetivos humanos.
Seguridad e innovación no son opuestas
Charlton rechazó la idea de que la seguridad sea un obstáculo para la innovación. Por el contrario, sostuvo que la confianza pública será una condición esencial para que la IA pueda adoptarse a gran escala.
En el discurso afirmó:
“No country will win the AI race with technology that its own citizens don’t trust.”
Traducción:
“Ningún país ganará la carrera de la IA con una tecnología en la que sus propios ciudadanos no confíen.”
El funcionario agregó que la seguridad no es el freno de la oportunidad de la IA, sino su habilitador.
El discurso de Andrew Charlton confirma una tendencia cada vez más visible en la regulación internacional de la inteligencia artificial: los gobiernos comienzan a pasar de principios generales a capacidades técnicas de evaluación.
La creación de institutos nacionales de seguridad de IA responde a la necesidad de que los Estados puedan probar, medir y comprender modelos avanzados antes de que sean incorporados a infraestructuras críticas, servicios públicos, sistemas financieros, salud, educación o defensa.
Desde una perspectiva jurídica, el eje central es la responsabilidad por sistemas que pueden actuar de manera autónoma, desplegar estrategias no previstas y generar daños sin una instrucción humana directa. Esto abre debates sobre trazabilidad, auditoría, prueba de alineación, responsabilidad civil, seguridad de productos, protección de consumidores y supervisión estatal.
Para América Latina, la experiencia australiana resulta relevante porque muestra un camino regulatorio distinto: no se limita a dictar normas abstractas, sino que construye capacidad institucional para evaluar técnicamente sistemas de IA. Ese enfoque podría ser especialmente importante para países que adoptarán tecnologías desarrolladas en otras jurisdicciones, pero necesitarán verificar su compatibilidad con derechos, leyes y valores locales.