Aprendizaje por refuerzo profundo contra el jamming satelital: métodos y resultados medidos

El aprendizaje por refuerzo profundo (DRL) permite que las constelaciones LEO elijan espectro, potencia y rutas para esquivar interferencias con resultados medibles: hasta 97% de satisfacción de usuario y 33.33% menos éxito de jamming con QADRL. Aquí reviso los métodos, los datos y sus límites reales.

¿Qué es el anti-jamming con aprendizaje por refuerzo profundo en satélites?

El aprendizaje por refuerzo profundo, mejor conocido como DRL por sus siglas en inglés, es básicamente la unión del aprendizaje por refuerzo con las redes neuronales profundas. ¿Cómo funciona? La red neuronal se encarga de extraer las características útiles del entorno y de aproximar la función Q, de manera que el agente va aprendiendo una política óptima a partir de lo que ya vivió. Si lo llevamos al terreno de los satélites, ese agente decide cosas bien concretas: qué canal usar, en qué ranura de tiempo transmitir, con cuánta potencia hacerlo o por cuál ruta de retransmisión mandar los datos. El objetivo suena fácil de decir pero es complicado de conseguir: hallar huecos espectrales y esquivar al interferidor antes de que empiece a degradar el enlace.

El estudio de L Jia, publicado en 2024 y con 94 citas, ordena bastante bien el panorama. Dentro de las soluciones basadas en aprendizaje por refuerzo entran el Q-learning, el bandit multi-brazo (MAB), el aprendizaje por refuerzo profundo y el aprendizaje por refuerzo con transferencia. La idea de fondo es que los usuarios legítimos esquivan el jamming encontrando y aprovechando huecos espectrales, y el DRL viene siendo el marco que combina el refuerzo con el aprendizaje profundo para lograrlo de manera adaptativa. Justo ese carácter adaptativo marca la diferencia frente a los métodos tradicionales, de los que hablaremos más adelante.

Vale la pena distinguir entre los tipos de interferidor, porque de eso depende la estrategia que se va a seguir. Un jammer proactivo transmite sin importar si hay datos en el aire, y dentro de esa categoría entran el constante y el aleatorio. En cambio, un jammer reactivo tiene capacidad de sensado y solo ataca cuando detecta que hay una transmisión en curso. Esa diferencia obliga al agente a modelar el comportamiento del adversario, y no solo las condiciones del canal. Por lo que he visto al revisar literatura técnica, los esquemas que pasan por alto esta distinción suelen fallar justo en el momento en que el jammer cambia de modo.

El marco de teoría de juegos —y en particular el juego de Stackelberg— modela la interacción entre el interferidor y el defensor como una competencia secuencial, tipo líder y seguidor. Varios trabajos lo combinan con DRL para decidir primero como defensor y luego responder como atacante, o al revés. Han y Huo propusieron un esquema espacial anti-jamming para el Internet de Satélites basado en DRL y juego de Stackelberg, que logra un menor costo de enrutamiento y un mejor desempeño anti-jamming que los enfoques existentes. Hoy por hoy, esa mezcla de juego y aprendizaje es una de las líneas más sólidas del área.

¿Cómo habilita el DRL multi-agente el acceso al espectro en constelaciones LEO?

En una constelación LEO no hay un satélite nada más tomando decisiones: hay decenas o hasta cientos coordinando el acceso al espectro sobre zonas geográficas muy amplias. Ahí es donde entra el DRL multi-agente, que reparte la decisión entre varios agentes distribuidos y busca que el resultado colectivo quede lo más cerca posible del óptimo. Un ejemplo es el trabajo de W Cao de 2025 sobre acceso al espectro anti-jamming con DRL multi-agente en satélites LEO: reporta una satisfacción de usuario cercana al óptimo, de aproximadamente 97%, con una sobrecarga de enlace mínima, tasas de datos altas y cobertura geográfica amplia. Además, el método equilibra el costo de entrenamiento con el desempeño anti-jamming, un punto que muchas veces se pasa por alto en las comparaciones.

El detalle importa, y mucho, porque entrenar varios agentes al mismo tiempo sale caro. Cada agente tiene que observar su entorno, decidir cómo actuar y luego recibir su recompensa; si hablamos de constelaciones grandes, todo eso se traduce en una carga computacional que se multiplica rápido. Cao reporta mejoras en la evitación de jamming y en la satisfacción del usuario, además de una sobrecarga computacional reducida, lo cual deja ver que el diseño de las recompensas y la coordinación entre agentes están bien calibrados. Desde mi punto de vista, ese equilibrio entre costo y desempeño es justo lo que vuelve al método algo utilizable más allá del simulador.

En un trabajo de 2026, W Li se centra justamente en los problemas de anti-jamming para constelaciones de satélites LEO, apoyándose en DRL multi-agente distribuido. La aportación va en la misma línea medular: tomar decisiones descentralizadas que sostengan el enlace ante la interferencia, y hacerlo sin depender de un controlador central. Coordinarse de forma distribuida tiene su ventaja, pues elimina el punto único de falla y permite que la constelación continúe operando aun cuando algún nodo termine comprometido o quede aislado.

El acceso al espectro es, básicamente, el recurso que está en disputa. Los agentes tienen que elegir canales y ranuras de tiempo, y lo hacen dentro de un espacio de estados enorme que no deja de crecer conforme aumentan los satélites y los interferidores. Justo por eso el DRL, y no una regla fija, se ha vuelto el enfoque dominante. En la tabla que sigue se resumen los resultados medidos que más se repiten en la literatura reciente.

Resultados medidos: satisfacción de usuario, tasa de éxito de jamming y sobrecarga

Los números duros son el mejor antídoto contra el optimismo desmedido. Por eso, a continuación van los datos que reportan los trabajos que revisamos, cada uno con su fuente y su alcance. Conviene leerlos como señales de hacia dónde va la cosa, no como verdades absolutas: al final, cada resultado sale de un entorno de simulación distinto y eso siempre pesa.

Ese 97% de satisfacción de usuario que reporta Cao es, casi seguro, el dato que más se repite cuando se cita este trabajo, pero vale la pena mirarlo con lupa: habla de una satisfacción cercana al óptimo dentro de su propia configuración de simulación, no de algo que ya esté corriendo en una red comercial. Lo interesante está en cómo lo consigue, porque lo logra con una sobrecarga de enlace mínima, o sea, sin saturar el canal con señalización extra. Ese es justo el tipo de resultado que un operador sí tomaría en cuenta para evaluarlo en serio.

Ese 33.33% de reducción en la tasa de éxito del jamming que logra QADRL frente a CADRL es un dato muy concreto, y viene de un escenario adversarial donde el atacante también está aprendiendo. O sea, no se trata de una mejora contra un jammer fijo, sino contra otro agente que aprende sobre la marcha. Esa diferencia le sube bastante el valor al resultado, porque es justo en el escenario adversarial donde de verdad se pone a prueba la robustez.

Los otros dos datos apuntan a eficiencia. El esquema de Han y Huo baja el costo de enrutamiento además de mejorar el anti-jamming, y el método de X Chang de 2022, citado 28 veces, extrae patrones de jamming analizando diferencias de espectro entre ranuras de tiempo adyacentes, lo que reduce la complejidad computacional y supera a los enfoques basados en CNN. En conjunto, la tendencia es clara: menos cómputo y mejor desempeño.

¿Cómo funciona el DRL adversarial cuántico contra el jamming basado en IA?

El jamming también se volvió inteligente. Un atacante con IA puede aprender a predecir las decisiones del defensor y anticiparse. Contra eso aparece el aprendizaje por refuerzo profundo adversarial cuántico, QADRL, propuesto para redes de satélites LEO por Silvirianti en 2025 y por G Kaddoum en 2026. El objetivo declarado es mitigar ataques de jamming basados en IA, y el resultado reportado es una reducción del 33.33% en la tasa de éxito del jamming frente al DRL adversarial clásico, CADRL, junto con un aumento del throughput.

La lógica del enfoque adversarial es que el defensor entrena contra un atacante que también aprende, de modo que la política resultante no se sobreajusta a un patrón fijo de interferencia. La capa cuántica busca ampliar el espacio de estrategias explorables y mejorar la capacidad de generalización del agente. Es un campo joven y conviene ser prudente: los resultados provienen de simulación y las arquitecturas cuánticas todavía enfrentan restricciones de hardware.

Aun así, la dirección es significativa. Si el jamming basado en IA se vuelve común, los defensores necesitarán contramedidas que también aprendan, y el DRL adversarial es la respuesta natural. La comparación QADRL contra CADRL es útil precisamente porque aísla el efecto de la componente cuántica frente a una línea base adversarial sólida, en lugar de comparar contra un jammer trivial.

Para quien sigue el tema desde el lado de infraestructura, la pregunta práctica es cuándo estas técnicas salen del papel. En mi experiencia, la respuesta suele depender menos del algoritmo y más de la capacidad de cómputo a bordo y de la latencia tolerable. Un agente adversarial cuántico exige más recursos que un DQN simple, y ese costo debe justificarse frente a la amenaza real.

¿Qué tipos de aprendizaje por refuerzo se usan en la investigación anti-jamming?

La encuesta de L Jia de 2024, citada 94 veces, es el mejor mapa del terreno. Las soluciones basadas en aprendizaje por refuerzo para anti-jamming incluyen Q-learning, bandit multi-brazo (MAB), aprendizaje por refuerzo profundo y aprendizaje por refuerzo con transferencia. Cada familia tiene su perfil de costo y de velocidad de convergencia, y elegir mal la familia es una causa frecuente de resultados decepcionantes.

El Q-learning tabular es simple y funciona cuando el espacio de estados es pequeño, pero se vuelve intratable en constelaciones LEO. El bandit multi-brazo modela la selección de canal como una decisión repetida entre opciones con recompensa desconocida, lo que encaja bien cuando el estado importa poco y la exploración es el problema central. El DRL, al aproximar la función Q con redes profundas, escala a espacios grandes y por eso domina la literatura reciente.

El aprendizaje por refuerzo con transferencia ataca otro problema: la velocidad. SB Janiar propuso en 2023, con 48 citas, un enfoque de transferencia para que el agente DRL aprenda rápido en redes inalámbricas dinámicas y pueda confrontar ataques de jamming sin entrenar desde cero cada vez. En entornos que cambian constantemente, esa capacidad de reutilizar conocimiento previo vale tanto como la precisión final de la política.

Y Xu propuso en 2019 una estrategia anti-jamming basada en DRL para MANET, con una Deep Q-Network que genera las decisiones de transmisión en el transmisor. La variante adaptativa de DQN maneja condiciones de jamming cambiantes y aprende una política óptima para evitar la interferencia más rápido y de forma más eficiente que una línea base de Q-learning. Ese resultado, aunque anterior, sigue siendo la referencia estándar para comparar velocidad de aprendizaje.

Transferencia y DQN adaptativo para jamming dinámico

El jamming real no se queda quieto. Cambia de frecuencia, de potencia y de objetivo, y un agente entrenado para un patrón fijo se degrada rápido. Por eso la transferencia y las variantes adaptativas de DQN ocupan un lugar central. La idea es que el agente no reaprenda desde cero cuando el entorno cambia, sino que reutilice lo aprendido y ajuste solo lo necesario. En redes inalámbricas dinámicas, esa diferencia se traduce en segundos de convergencia frente a minutos.

El trabajo de SB Janiar de 2023 plantea exactamente ese escenario: el agente DRL debe aprender rápido para confrontar ataques en redes que cambian. El de Y Xu de 2019 muestra que una variante adaptativa de DQN supera a una línea base de Q-learning en velocidad y eficiencia para evitar jamming. Ambos apuntan a lo mismo: la adaptabilidad es el producto, no un extra.

Hay un límite que la propia literatura reconoce. La estabilidad de los algoritmos anti-jamming basados en aprendizaje profundo está fuertemente influida por las muestras. Si la distribución de datos de entrenamiento no cubre los escenarios que aparecen en operación, el agente puede fallar de forma abrupta. X Feng abordó en 2023 esta inestabilidad con un esquema de decisión inteligente que, según sus simulaciones, elige el mejor esquema anti-jamming según el entorno complejo y mejora la calidad de comunicación.

En mi experiencia revisando estos sistemas, la lección práctica es que el DRL no elimina la ingeniería. La exige. Diseñar recompensas, curar muestras y validar contra jammers diversos pesa más que la elección del optimizador. Los métodos tradicionales, como el salto de frecuencia, el espectro ensanchado, el control de potencia o las bibliotecas de casos, usan un solo enfoque y no se ajustan adaptativamente; ahí está su debilidad y también la razón por la que el DRL ganó terreno.

Salto de frecuencia rápida, radar cognitivo y relevos UAV: otros frentes del DRL anti-jamming

El DRL anti-jamming no se limita a las constelaciones LEO. En sistemas de salto de frecuencia rápida (FFH), S Cheng introdujo en 2025 el concepto de conjunto de frecuencias disponibles (AFS) y aplicó DRL para decidir sobre ese conjunto. La idea es que el agente no salte a ciegas, sino que seleccione frecuencias con base en lo aprendido, mejorando la evasión sin sacrificar el rendimiento del enlace.

En radar cognitivo, W Jiang usó DRL multi-agente en 2023, con 69 citas, para mejorar la toma de decisiones anti-jamming mediante una red adversarial de decisión. Z Zheng aplicó en 2022, con 27 citas, el DRL al diseño de formas de onda para radar aerotransportado, automatizando el diseño al sensar información ambiental de entrada. Son dominios distintos, pero comparten el patrón: el agente aprende a configurar el transmisor en respuesta al entorno.

En comunicaciones marítimas, C Liu propuso en 2023, con 37 citas, una política de relevo UAV basada en aprendizaje por refuerzo para resistir ataques de jamming. AS Ali mostró en 2023 cómo derrotar jammers proactivos usando DRL, con una simulación personalizada y un agente de red neuronal totalmente conectada. La variedad de aplicaciones confirma que el enfoque es general, no un truco de un solo dominio.

Lo que une a todos estos frentes es la misma mecánica: el agente observa, decide y aprende de la recompensa. Cambia el espacio de acciones, cambia la física del canal y cambia el tipo de interferidor, pero el ciclo de aprendizaje se mantiene. Por eso los avances en un dominio suelen trasladarse a otro con ajustes moderados.

¿Qué límites y riesgos conviene tener presentes?

El primer límite es la dependencia de las muestras. La estabilidad de los algoritmos anti-jamming basados en aprendizaje profundo está fuertemente influida por los datos de entrenamiento, y un agente puede comportarse de forma errática ante escenarios no vistos. Esto no es un detalle menor: en un satélite en órbita, un fallo de política no se corrige con un reinicio rápido.

El segundo límite es el costo computacional. El DRL multi-agente y el QADRL exigen recursos que compiten con otras funciones a bordo. Cao reporta mejoras con sobrecarga computacional reducida, lo que indica que el problema es abordable, pero cada arquitectura tiene su propio presupuesto. La elección entre un DQN adaptativo y un esquema adversarial cuántico debe justificarse por la amenaza concreta.

El tercer límite es la evaluación. Casi todos los resultados citados provienen de simulaciones, y comparar números entre entornos distintos es arriesgado. El 97% de satisfacción de usuario y el 33.33% de reducción de éxito de jamming son valiosos como referencias, no como promesas. Un despliegue real enfrenta además regulación de espectro, latencia de enlace y restricciones de energía que los simuladores simplifican.

Dicho esto, la dirección de la investigación es consistente. El DRL supera a las líneas base de Q-learning en velocidad y eficiencia, los métodos mejorados superan a los enfoques basados en CNN, y los esquemas espaciales reducen el costo de enrutamiento. Si algo muestra la literatura reciente es que la adaptabilidad dejó de ser opcional frente a interferidores que también aprenden.

¿Qué conclusión deja el estado del arte anti-jamming con DRL?

El panorama es el de una disciplina que pasó de demostrar que el DRL funciona a medir cuánto cuesta y cuánto rinde. Los resultados de 2025 y 2026 se concentran en eficiencia: menos sobrecarga, menos cómputo, más throughput. El DRL multi-agente para acceso al espectro en LEO y el QADRL adversarial cuántico son las dos líneas más activas, y ambas reportan mejoras concretas frente a sus líneas base.

Para quien opera o evalúa infraestructura satelital, la recomendación práctica es empezar por el problema, no por el algoritmo. Si el jammer es fijo, un DQN adaptativo puede bastar. Si el atacante aprende, el DRL adversarial se vuelve necesario. Si la constelación es grande y distribuida, el enfoque multi-agente es el camino. La literatura ofrece opciones para cada perfil, con datos que permiten comparar antes de invertir en desarrollo.

Queda pendiente la validación fuera del simulador. Los números son prometedores, pero el salto a hardware en órbita es donde se prueban de verdad. Mientras eso ocurre, seguir la evidencia publicada en IEEE, MDPI Electronics, TechRxiv, Springer y arXiv es la forma más confiable de mantenerse al día en un campo que cambia cada año.

Preguntas frecuentes sobre DRL anti-jamming satelital

¿Cómo ayuda el aprendizaje por refuerzo profundo a que los satélites eviten el jamming?

Los agentes de DRL aprenden decisiones de transmisión a partir de su experiencia histórica, usando redes neuronales profundas para extraer características y aproximar la función Q. Aplicados a constelaciones LEO, salto de frecuencia rápida o relevos UAV, seleccionan canales, ranuras de tiempo o potencia para esquivar interferidores y mejorar la calidad de comunicación.

¿Qué resultados logran los métodos anti-jamming con DRL multi-agente?

Un método de acceso al espectro con DRL multi-agente para satélites LEO alcanzó una satisfacción de usuario cercana al óptimo de aproximadamente 97%, con sobrecarga de enlace mínima, altas tasas de datos y cobertura geográfica amplia, equilibrando el costo de entrenamiento con el desempeño anti-jamming.

¿Cómo se compara el DRL adversarial cuántico con el DRL adversarial clásico?

El enfoque de aprendizaje por refuerzo profundo adversarial cuántico (QADRL) para redes de satélites LEO superó al DRL adversarial clásico (CADRL), reduciendo la tasa de éxito del jamming en 33.33% y aumentando el throughput, además de mitigar ataques de jamming basados en IA.

¿Qué tipos de aprendizaje por refuerzo se usan para anti-jamming?

Las soluciones revisadas incluyen Q-learning, bandit multi-brazo (MAB), aprendizaje por refuerzo profundo y aprendizaje por refuerzo con transferencia. El DRL combina refuerzo con aprendizaje profundo y emplea redes neuronales profundas para extraer características útiles y aproximar la función Q.