Aprendizaje por refuerzo multiagente contra el jamming en redes de satélites LEO

El aprendizaje por refuerzo multiagente (MARL) permite que las constelaciones LEO eludan el jamming y la interferencia cocanal aprendiendo políticas de acceso al espectro y de posicionamiento. Los estudios reportan hasta 33.33% menos éxito de jamming y cerca de 50% más throughput en escenarios cooperativos.

¿Por qué las redes de satélites LEO son vulnerables al jamming y a la interferencia cocanal?

Las constelaciones en órbita baja terrestre (LEO) se mueven con patrones orbitales que, aunque predecibles, dejan sus enlaces al descubierto. Eso las vuelve un blanco fácil para interferencias maliciosas. Y no es lo mismo que pasa con los satélites geoestacionarios: los LEO no se quedan quietos, cambian de posición todo el tiempo, así que las topologías de red son dinámicas y la mitigación centralizada del jamming se complica bastante. A esto se suma que la distancia entre satélites y transmisores terrestres suele ser corta, lo que intensifica la interferencia cocanal, incluso cuando se usan arreglos de antenas grandes. De acuerdo con investigación reciente publicada en IEEE, MDPI Electronics y ScienceDirect, un solo satélite difícilmente logra separar en el espacio la señal deseada del jammer que tiene cerca. Por eso la resiliencia real necesita cooperación distribuida entre varios nodos de la constelación.

¿Cómo habilita el aprendizaje por refuerzo profundo multiagente el acceso al espectro anti-jamming?

En el MARL, cada satélite se entrena como un agente que aprende políticas de selección de subbanda y posicionamiento a partir de lo que observa localmente. Cao et al. (2025, MDPI Electronics 14(16):3307) proponen un esquema sustentado en una red de descomposición de valor (VDN) para el acceso al espectro anti-jamming en redes LEO. La idea es que cada agente mire su entorno inmediato y vaya ajustando su comportamiento para esquivar tanto el jamming malicioso como la interferencia cocanal. El aprendizaje se apoya en un crítico centralizado durante el entrenamiento, pero la ejecución se mantiene descentralizada; gracias a eso, el sistema se adapta a topologías que cambian todo el tiempo sin requerir coordinación en tiempo real. Con este diseño se busca un punto de equilibrio entre el costo de entrenamiento y el desempeño anti-jamming, un compromiso que pesa mucho cuando hablamos de constelaciones con cientos o miles de satélites.

¿Qué papel juega el entrenamiento centralizado con ejecución descentralizada?

El marco CTDE —entrenamiento centralizado con ejecución descentralizada— es el eje de los métodos MARL que se aplican a las redes LEO. Durante el entrenamiento, un crítico centralizado tiene acceso a información global, lo que ayuda a estabilizar el aprendizaje y a descomponer el valor conjunto en valores por agente, tal como hace VDN. Ya en operación, cada satélite actúa únicamente con sus observaciones locales, lo que reduce la latencia y la dependencia de los enlaces de comunicación entre satélites. Li et al. (2026, IEEE) validan este enfoque con su método DMDRLA para mega constelaciones LEO, y muestran que el CTDE permite equilibrar los costos de entrenamiento con la optimización del desempeño. La clave está en que los agentes aprenden a cooperar sin necesidad de un controlador central durante la misión.

¿Cómo apoya el beamforming basado en teoría de juegos el anti-jamming distribuido en el enlace ascendente?

En el enlace ascendente, la interferencia se plantea como un juego convexo-cóncavo entre un transmisor terrestre y un jammer, y cada uno busca optimizar sus matrices de covarianza espacial. Para resolverlo se usa un solver min-max que alterna actualizaciones de mejor respuesta con descenso de gradiente proyectado, y así se llega a un equilibrio de Nash para el beamforming. El análisis que apareció en alphaXiv en febrero de 2026 emplea geometrías orbitales realistas de Starlink y trazado de rayos con Sionna. Cuando los satélites cooperan de forma distribuida, la distribución de capacidad se desplaza hacia arriba incluso bajo interferencia fuerte, lo que supera lo que lograría la mitigación con un solo satélite. Esto importa bastante para las mega constelaciones, que tienen que lidiar con jammers de proximidad aunque cuenten con arreglos de antenas grandes.

¿Qué muestran las simulaciones sobre el costo de entrenamiento frente al desempeño anti-jamming?

Los estudios de simulación coinciden en algo: el MARL alcanza un equilibrio práctico entre lo que cuesta entrenar y qué tan bien aguanta el jamming. Cao et al. reportan que su enfoque basado en VDN balancea ambos factores bajo topologías dinámicas e interferencia. Li et al. validan resultados parecidos para mega constelaciones, donde el entrenamiento centralizado reduce la varianza del aprendizaje sin sacrificar la ejecución distribuida. Silvirianti et al. (2025, TechRxiv), por su parte, muestran que su método QADRL baja la tasa de éxito del jamming en 33.33% frente al DRL adversarial clásico (CADRL). En conjunto, estos resultados apuntan a que la inversión en entrenamiento se traduce en resiliencia operativa medible, aunque el costo escala con el número de agentes.

¿Qué ganancias de desempeño y comportamientos emergentes se han reportado?

Nguyen et al. (arXiv 2512.08341, enviado en diciembre de 2025 para IEEE ICC 2026) reportan un caso que vale la pena destacar en redes de relés UAV cooperativos bajo jamming. Con un esquema CTDE —crítico centralizado durante el entrenamiento, actores descentralizados en la ejecución—, los agentes terminan desarrollando una estrategia anti-jamming emergente, es decir, sin que nadie la haya programado explícitamente, y así logran mitigar la interferencia del jammer y mantener los enlaces de comunicación. El resultado: un aumento de alrededor del 50% en el throughput total del sistema y una tasa de colisiones prácticamente nula. No es el único caso. Aref et al., con radios cognitivos de banda ancha (WACR), muestran que los agentes aprenden políticas de selección de subbanda que evitan la señal del jammer. Y trabajos como los de Elleuch et al. (2021) y Yao et al. (2018) también reportan aprendizaje cooperativo entre usuarios en escenarios multiusuario.

¿Cómo se comparan los principales métodos MARL anti-jamming en LEO?

La literatura reciente sobre anti-jamming en redes LEO ofrece varios enfoques y cada uno reporta métricas distintas, así que compararlos de forma directa no siempre es sencillo. En la siguiente tabla traté de reunir los métodos más citados, junto con sus mecanismos y los resultados que reportan, tomando como base publicaciones de IEEE, MDPI Electronics, TechRxiv y alphaXiv.

La comparación muestra que no existe un método único dominante. VDN y DMDRLA priorizan la eficiencia del entrenamiento en constelaciones grandes, mientras QADRL y el beamforming con teoría de juegos atacan el jamming desde el espectro y el dominio espacial. El caso de UAV relé demuestra que el MARL puede generar comportamientos emergentes sin programación explícita, un indicio de que los agentes satelitales podrían desarrollar estrategias adaptativas similares en órbita.

¿Cuáles son los riesgos y limitaciones de estas aproximaciones?

A pesar de los avances, las redes LEO enfrentan topologías dinámicas, jamming malicioso, interferencia cocanal y dinámicas orbitales predecibles que exponen su geometría. La mitigación con un solo satélite rara vez logra separar espacialmente la señal deseada de los jammers cercanos, incluso con arreglos de antenas grandes. Oliver et al. (2025) exploran el aprendizaje por refuerzo profundo multiagente descentralizado para una constelación autónoma de 20 satélites de conciencia situacional espacial, lo que sugiere que la escalabilidad sigue siendo un reto. Además, el costo de entrenamiento crece con el número de agentes y la simulación realista requiere geometrías orbitales y trazado de rayos costosos. La investigación continúa en arXiv, ScienceDirect y TechRxiv para cerrar estas brechas.

¿Hacia dónde apunta la investigación en anti-jamming para mega constelaciones?

La tendencia apunta a combinar planificación estadística con aprendizaje por refuerzo, como en el salto de haz híbrido para tráfico desigual y jamming complejo en satélites LEO (2026). Hu et al. (2026, ScienceDirect) abordan el enrutamiento anti-jamming en el segmento espacial mediante teoría de juegos y aprendizaje por refuerzo para redes LSN en evolución. La cooperación distribuida entre satélites mejora la resiliencia frente a enlaces individuales paralizados por jammers de proximidad. En conjunto, la literatura sugiere que el MARL, el CTDE y el beamforming basado en juegos serán pilares para proteger mega constelaciones como Starlink en escenarios de interferencia inteligente. La validación con geometrías realistas y trazado de rayos es cada vez más común en las publicaciones recientes.

Preguntas frecuentes

¿Cómo contrarresta el aprendizaje por refuerzo multiagente el jamming en redes de satélites LEO?

Los agentes aprenden políticas de acceso al espectro y posicionamiento a partir de observaciones locales, guiados por un crítico centralizado durante el entrenamiento. Cao et al. usan una red de descomposición de valor con entrenamiento centralizado y ejecución descentralizada, lo que permite a los satélites evitar jamming malicioso e interferencia cocanal equilibrando el costo de entrenamiento con el desempeño anti-jamming.

¿Qué es el método de acceso al espectro anti-jamming basado en VDN para satélites LEO?

Cao et al. proponen un enfoque de aprendizaje por refuerzo profundo multiagente basado en una red de descomposición de valor (VDN) para el acceso al espectro anti-jamming en redes LEO, con entrenamiento centralizado y ejecución descentralizada. Las simulaciones muestran que equilibra los costos de entrenamiento con el desempeño anti-jamming bajo topologías dinámicas e interferencia.

¿Puede la cooperación distribuida entre satélites mejorar la resiliencia anti-jamming del enlace ascendente?

Sí. Al modelar la interferencia del enlace ascendente como un juego convexo-cóncavo entre un transmisor terrestre y un jammer, un solver min-max que combina actualizaciones alternadas de mejor respuesta con descenso de gradiente proyectado converge a un beamforming de equilibrio de Nash. Con geometrías orbitales de Starlink y trazado de rayos Sionna, la cooperación distribuida eleva la capacidad bajo interferencia fuerte.

¿Desarrollan los agentes MARL estrategias anti-jamming sin programación explícita?

En el estudio de Nguyen et al. sobre relés UAV, los agentes desarrollan una estrategia anti-jamming emergente sin programación explícita, aprendiendo a posicionarse para mitigar la interferencia del jammer y mantener los enlaces de comunicación. El marco elevó el throughput total del sistema en aproximadamente 50% con una tasa de colisiones cercana a cero.