Deep reinforcement learning anti-jamming til satellitter: metoder og resultater i LEO-konstellationer

Forskning i deep reinforcement learning til anti-jamming viser, hvordan agenter i LEO-satellitkonstellationer undgår forstyrrelser via spektrumadgang, frekvensspring og koordinerede beslutninger. Quantum adversarial DRL reducerer jammernes succesrate med 33,33 % sammenlignet med klassisk adversarial DRL.

Hvad er deep reinforcement learning anti-jamming for satellitter?

Deep reinforcement learning (DRL) til anti-jamming er i bund og grund en metode, hvor agenten lærer at træffe beslutninger om transmission ud fra tidligere erfaringer frem for at følge en fastlagt regelbog. Dybe neurale netværk trækker de relevante træk ud af spektrumdata og tilnærmer Q-funktionen, så agenten løbende kan vælge kanaler, tidslommer, effekt eller relay-ruter, der holder sig uden om jammerangreb. L Jia skrev i 2024 en oversigtsartikel, der er citeret 94 gange, og her kombinerer deep RL netop reinforcement learning med deep learning — målet er at finde eller udnytte de spektrale huller. Det gør tilgangen særligt velegnet til satellitnetværk, hvor forstyrrelserne skifter hurtigt, og hvor klassiske teknikker som frekvensspring og spread spectrum typisk bare følger én forudbestemt strategi.

Hvordan hjælper deep reinforcement learning satellitter med at undgå jamming?

I praksis fungerer DRL-agenten som en adaptiv beslutningstager, der hele tiden holder øje med spektret og justerer sin politik derefter. Det er faktisk kernen i det hele: i stedet for at følge faste regler lærer agenten løbende af miljøet. Når den bruges i LEO-konstellationer, i fast frequency hopping (FFH) eller i UAV-relays, vælger den kanaler, tidslommer eller sendeeffekt for at undgå jammeren, samtidig med at kommunikationskvaliteten holdes nogenlunde intakt. S Cheng tog i 2025 begrebet available frequency set (AFS) i brug og anvendte DRL på netop FFH-systemer. Lidt tilbage i tiden, nærmere bestemt i 2019, viste Y Xu, at et Deep Q-Network (DQN) kan træffe transmissionsbeslutninger hos senderen, og at en adaptiv DQN-variant kan håndtere skiftende jammerforhold både hurtigere og mere effektivt end en Q-learning-baseline. På den måde erstattes de statiske regler altså af en politik, der lærer af miljøet.

Hvordan muliggør multi-agent DRL spektrumadgang i LEO-satellitter?

Multi-agent DRL går ud på at koordinere de distribuerede beslutninger hen over en hel LEO-konstellation, så satellitterne ikke ender med at slås om præcis de samme spektrale huller. W Cao (2025) viser, at en multi-agent DRL-metode til spektrumadgang opnår en brugertilfredshed tæt på det optimale, omkring 97 %, og det sker med minimal link-overhead, høje datahastigheder og bred geografisk dækning. Metoden formår at balancere træningsomkostningerne op imod anti-jamming-ydeevnen, og samtidig forbedres både undgåelsen af jamming og brugertilfredsheden, alt imens det beregningsmæssige overhead reduceres. Hos W Li (2026) er fokus specifikt rettet mod anti-jamming-problemer i LEO-satellitkonstellationer ved hjælp af distribueret multi-agent DRL. Tanken er, at hver satellit – eller en gruppe af satellitter – optræder som en agent og deler sin læring på en måde, der fortsat kan skaleres, efterhånden som konstellationen vokser.

Hvilke resultater opnår multi-agent DRL anti-jamming-metoder?

Hvis man ser på de konkrete målinger, er de blandt de stærkeste argumenter for at bruge DRL i satellitnetværk. Den multi-agent DRL-metode til spektrumadgang i LEO-satellitter, som W Cao præsenterede i 2025, opnåede en brugertilfredshed tæt på det optimale, nemlig omkring 97 procent. Samtidig blev link-overhead holdt på et minimum, og datahastigheden var høj. Metoden dækkede desuden et bredt geografisk område og formåede at balancere træningsomkostningerne op imod anti-jamming-ydeevnen.

Tabellen viser, at gevinsterne ikke kun handler om at undgå jamming – det handler også om at gøre det med færre ressourcer. Det betyder noget i satellitkonstellationer, hvor båndbredde, strøm og regnekraft er knappe goder. Samtidig peger kilderne på en vigtig begrænsning: Stabiliteten af deep learning-baserede anti-jamming-algoritmer afhænger i høj grad af de samples, agenten bliver trænet på. Det er værd at have med i baghovedet, når man vurderer, hvor robust en given løsning egentlig er.

Quantum adversarial DRL mod AI-baserede jammerangreb

Quantum adversarial deep reinforcement learning (QADRL) er blevet udviklet specifikt til LEO-satellitnetværk, hvor formålet er at håndtere jammerangreb, der selv benytter maskinlæring til at tilpasse sig forsvaret. Silvirianti (2025) og G Kaddoum (2026) viser, at QADRL klarer sig bedre end klassisk adversarial DRL (CADRL): jammerens succesrate falder med 33,33 %, samtidig med at throughput stiger. Det er ikke nogen lille forbedring, for adversarial DRL kan ellers være ret sårbar over for jammerstrategier, der netop er trænet til at gennemskue den pågældende forsvarsmodel. I QADRL kombineres kvanteinspirerede teknikker med adversarial DRL, så agenten ikke bare reagerer på kendte mønstre, men også kan stå imod en modstander, der aktivt prøver at lære forsvaret at kende. Kort sagt rykker anti-jamming her fra statisk undgåelse til en løbende duel mellem to adaptive systemer.

Hvilke typer reinforcement learning bruges i anti-jamming-forskning?

L Jia lavede i 2024 en oversigtsartikel, der siden er blevet citeret 94 gange, og den kortlægger et ret bredt spektrum af RL-baserede anti-jamming-løsninger. Her støder man blandt andet på Q-learning, multi-armed bandit (MAB), deep reinforcement learning og transfer RL. Deep RL kan beskrives som en integreret ramme, der kombinerer RL og deep learning, hvor dybe neurale netværk udtrækker nyttige features og tilnærmer Q-funktionen. Legitime brugere undgår jamming ved at finde eller tage spektrale huller i brug. SB Janiar foreslår i en anden artikel fra 2023, citeret 48 gange, en transfer learning-tilgang (TL), så DRL-agenten hurtigt kan lære i dynamiske trådløse netværk og dermed konfrontere jammerangreb. At metoderne spreder sig på den måde, siger egentlig noget om, at der ikke findes én universel løsning — nærmere et spektrum af tilgange, der hver især passer til forskellige scenarier.

Transfer learning og adaptiv DQN til dynamiske jammerforhold

Transfer learning og adaptiv DQN er to svar på samme problem: jammerforhold ændrer sig hurtigere, end en agent kan trænes fra bunden. SB Janiar (2023) bruger transfer learning, så DRL-agenten hurtigt kan tilpasse sig dynamiske trådløse netværk og modstå jammerangreb. Y Xu (2019) viser med et adaptivt DQN, at agenten kan håndtere skiftende jammerbetingelser og lære en optimal politik hurtigere og mere effektivt end en Q-learning-baseline. X Chang (2022), citeret 28 gange, analyserer spektrumforskelle mellem tilstødende tidslommer for at udtrække jammer-mønstre og reducere beregningskompleksiteten, hvilket overgår traditionelle CNN-baserede tilgange. Sammen gør disse teknikker DRL anvendelig i miljøer, hvor både jammeren og kanalen er i konstant bevægelse.

Anvendelser ud over satellitter: MANET, UAV-relays og kognitiv radar

DRL til anti-jamming er ikke begrænset til satellitter. Y Xu (2019) anvendte DQN i MANET, hvor senderen genererer transmissionsbeslutninger og en adaptiv DQN-variant håndterer skiftende jammerforhold. C Liu (2023), citeret 37 gange, undersøger RL-baserede UAV-relay-politikker til anti-jamming i maritim kommunikation, hvor relayets placering og rute besluttes adaptivt. Han og Huo foreslår en spatial anti-jamming-ordning for Internet of Satellites baseret på DRL og Stackelberg-spil, som giver lavere routing-omkostninger og bedre anti-jamming-ydeevne end eksisterende tilgange. X Feng (2023) beskriver et intelligent anti-jamming-beslutningssystem, der adresserer ustabilitet i deep learning-algoritmer og i simulation vælger den bedste anti-jamming-strategi ud fra det komplekse miljø. Endelig viser W Jiang (2023), citeret 69 gange, multi-agent DRL til forbedret anti-jamming-beslutningstagning i kognitiv radar gennem et adversarialt beslutningsnetværk, mens Z Zheng (2022), citeret 27 gange, bruger DRL til at automatisere radar-waveformdesign ved at sanse miljøinformation.

Begrænsninger og hvad man skal være opmærksom på

På trods af de stærke resultater er der klare begrænsninger. Stabiliteten af deep learning-baserede anti-jamming-algoritmer påvirkes i høj grad af de samples, de trænes på, hvilket betyder, at en agent kan blive skæv, hvis træningsdata ikke dækker de jammerstrategier, den møder i drift. Traditionelle anti-jamming-metoder som frekvensspring, spread spectrum, tidslomme- og effektstyring, hastighedsstyring, anti-jamming-casebiblioteker og particle swarm bruger en enkelt tilgang og kan ikke tilpasse strategien adaptivt. DRL løser noget af dette, men tilføjer kompleksitet og træningsomkostninger. Derfor handler implementering i praksis om at balancere ydeevne mod beregnings- og træningsomkostninger samt om at vælge mellem single-agent og multi-agent arkitekturer alt efter, om scenariet kræver central eller distribueret beslutningstagning.

Ofte stillede spørgsmål om DRL anti-jamming i satellitnetværk

Hvordan hjælper deep reinforcement learning satellitter med at undgå jamming?

DRL-agenter lærer transmissionsbeslutninger ud fra historiske erfaringer og bruger dybe neurale netværk til at udtrække features og tilnærme Q-funktionen. Anvendt i LEO-konstellationer, fast frequency hopping eller UAV-relays vælger de kanaler, tidslommer eller effekt for at undgå jammeren og forbedre kommunikationskvaliteten.

Hvilke resultater opnår multi-agent DRL anti-jamming-metoder?

En multi-agent DRL-metode til spektrumadgang i LEO-satellitter opnåede næsten optimal brugertilfredshed på cirka 97 % med minimal link-overhead, høje datahastigheder og bred geografisk dækning. Metoden balancerer træningsomkostninger mod anti-jamming-ydeevne og forbedrer både undgåelse af jamming og brugertilfredshed med reduceret beregningsmæssigt overhead.

Hvordan adskiller quantum adversarial DRL sig fra klassisk adversarial DRL?

Quantum adversarial deep reinforcement learning (QADRL) til LEO-satellitnetværk overgik klassisk adversarial DRL (CADRL) ved at reducere jammerens succesrate med 33,33 % og øge throughput, samtidig med at AI-baserede jammerangreb blev afbødet. Det gør QADRL mere robust over for modstandere, der selv bruger maskinlæring til at tilpasse sig forsvaret.

Hvilke typer reinforcement learning bruges til anti-jamming?

Oversigter over RL-baserede anti-jamming-løsninger omfatter Q-learning, multi-armed bandit (MAB), deep reinforcement learning og transfer RL. Deep RL kombinerer RL med deep learning og bruger dybe neurale netværk til at udtrække nyttige features og tilnærme Q-funktionen, så agenten kan finde og udnytte spektrale huller.