MARL kombinerer lokal spektrumadgang med centraliseret træning og decentral eksekvering, så LEO-satellitter kan undgå jamming og co-channel-interferens. Spilteoretisk beamforming og distribuerede agenter løfter kapaciteten, når stærk interferens rammer uplink.

Hvorfor er LEO-satellitnetværk sårbare over for jamming og co-channel-interferens?

LEO-satellitnetværk og mega-konstellationer som Starlink lever i et rum, der på én gang er forudsigeligt og udsat. Baneparametrene kender vi, geometrierne ligger frit fremme, og topologien ændrer sig hele tiden, fordi satellitterne suser rundt om Jorden på under to timer. Netop den kombination gør det muligt for en modstander at placere en jammer tæt på en ønsket uplink og overdøve signalet – selv når satellitten er udstyret med store antennearrays.

Samtidig løber tusindvis af samtidige brugere ind i co-channel-interferens, altså situationer hvor signaler i samme frekvensbånd overdøver eller forstyrrer hinanden. Forskningen på området – fra IEEE, MDPI Electronics, arXiv og ScienceDirect – peger i retning af, at det er svært at løse med tiltag på en enkelt satellit alene. Selv med store antennearrays kniber det med at skille det ønskede uplink-signal ud fra en jammer, der befinder sig tæt på. Der er derfor brug for koordinerede, distribuerede strategier i stedet for isolerede løsninger om bord på hver satellit.

Risikobilledet er ikke kun teknisk. Når jammere bliver intelligente og begynder at tilpasse sig løbende, er statiske frekvensplaner og faste effektniveauer simpelthen ikke nok. Her kommer multi-agent reinforcement learning (MARL) ind i billedet: agenterne skal lære politikker, der hele tiden justerer sig i forhold til både interferensen og modstanderens adfærd.

Hvordan muliggør multi-agent deep reinforcement learning anti-jamming spektrumadgang?

Kort sagt bygger MARL til anti-jamming på, at hver satellit eller bruger fungerer som en selvstændig agent, der træffer beslutninger om sub-bånd, tidsslots og i visse tilfælde også positionering – og det gør de ud fra lokale observationer, ikke et centralt overblik. Cao et al. (2025, MDPI Electronics 14(16):3307) præsenterer netop en sådan tilgang: en VDN-baseret multi-agent deep reinforcement learning-metode til anti-jamming spektrumadgang i LEO-satellitnetværk. VDN er en forkortelse for value decomposition network, og ideen er ret ligetil – man splitter den fælles værdifunktion op i individuelle værdier per agent. På den måde kan agenterne koordinere deres valg, uden at de behøver dele alle rådata med hinanden undervejs.

Tilgangen hviler på centraliseret træning med decentral eksekvering – det, man i fagsprog kalder CTDE. Ideen er egentlig ret ligetil: mens modellen trænes, har man en central kritiker, der kan overskue hele systemets tilstand og dermed guide hver enkelt agent i den rigtige retning. Men når politikken først skal ud at køre i virkeligheden, klarer hver satellit sig udelukkende med sine egne lokale observationer. Det er der en ganske praktisk pointe i. Man slipper nemlig for et centralt kontrolpunkt, som en jammer ellers bare kunne slå ud, og samtidig bevarer man den koordination, som agenterne trods alt fik opbygget under træningen.

Aref og hans kolleger har undersøgt noget, der ligner en nær beslægtet tilgang, nemlig kognitive anti-jamming-systemer bygget på såkaldte wideband autonomous cognitive radios, forkortet WACR. Idéen er her, at agenten gradvist lærer en politik for valg af sub-bånd, som konsekvent undviger jammerens signal såvel som andre former for interferens. Allerede tidligt – med Elleuch et al. (2021) og Yao et al. (2018) – blev det demonstreret, at når brugerne lærer i samarbejde i multi-user-scenarier, opnår de markant bedre anti-jamming-adfærd, end hvad tilfældet er for agenter, der hver især optimerer deres egne mål uafhængigt af hinanden.

Hvilken rolle spiller centraliseret træning med decentral eksekvering?

CTDE fungerer reelt som bindeleddet mellem det rodede, distribuerede netværk og den mere overskuelige centrale optimering. Mens træningen kører, kan en central kritiker belønne agenterne ud fra fælles mål — samlet gennemstrømning, lav kollisionsrate og en lav jammer-succesrate. Det betyder særligt meget i LEO-konstellationer, fordi den enkelte satellits handlinger ikke står alene: de påvirker direkte interferensbilledet for de andre.

Decentral eksekvering betyder i praksis, at den enkelte satellit ikke har brug for andet end sine egne observationer og den politik, den nu engang har lært. Det skærer kommunikationsoverheadet mellem satellitterne ned, og samtidig står systemet markant stærkere, hvis en inter-satellit-link skulle falde ud et øjeblik. Man bevarer altså den globale belønning fra træningsfasen, og det er faktisk pointen: agenterne undgår at havne i lokale optimummer, hvor de bare skubber interferensen videre til naboen i stedet for at løse problemet.

Nguyen et al. (arXiv 2512.08341, indsendt 9. december 2025, IEEE ICC 2026) viser dette i et MARL-opsætning til collaborative UAV-relay-netværk under jamming. Med en centraliseret kritiker og decentraliserede aktører udviklede agenterne en emergent anti-jamming-strategi – altså uden at nogen havde programmeret den eksplicit. De lærte selv at positionere sig, så de både dæmpede jammerinterferensen og holdt kommunikationslinkene intakte. Det gav et samlet systemgennemstrømning, der var cirka 50 procent højere, og en kollisionsrate tæt på nul.

Hvordan understøtter spilteoretisk beamforming distribueret uplink-anti-jamming?

En anden tilgang i feltet kombinerer reinforcement learning med spilteori. I et arbejde fra alphaXiv (6. februar 2026) undersøges distribueret uplink-anti-jamming i LEO mega-konstellationer nemlig gennem spilteoretisk beamforming. Her modelleres uplink-interferensen som et konveks-konkavt spil mellem en jordbaseret sender og en jammer, hvor begge parter forsøger at optimere deres rumlige kovariansmatricer – altså en form for strategisk kamp om det bedste signalrum.

Løsningen findes i en min-max-solver, hvor man skiftevis opdaterer bedste svar og lader projected gradient descent finpudse løsningen, indtil den konvergerer mod en Nash-ligevægt for beamforming. Det lyder måske lidt tørt, men det er faktisk her, det bliver interessant. Testene er nemlig ikke kørt i et tomt rum — de bruger realistiske Starlink-banengeometrier og Sionna ray-tracing, og det gør en mærkbar forskel. Resultaterne føles mere vedkommende, end hvad man typisk ser fra rene syntetiske kanalmodeller. Når interferensen bliver kraftig, sker der noget bemærkelsesværdigt: distribueret samarbejde skubber kapacitetsfordelingen opad. Grunden er ret ligetil — flere satellitter kan koordinere deres stråleformer i stedet for at ende med at konkurrere om præcis de samme rumlige retninger.

Pointen er, at anti-jamming ikke kun handler om at vælge et andet frekvensbånd. Det handler også om fysisk lag, hvor man ved hjælp af rumlig separering kan undertrykke jammeren. Når beamforming kombineres med lærende agenter, får man et system, der både tilpasser sig frekvensmæssigt og rumligt. Det er svært at opnå med en enkelt satellit, men naturligt i en mega-konstellation, hvor mange noder kan samarbejde.

Hvad viser simuleringer om træningsomkostninger versus anti-jamming-ydeevne?

Et tilbagevendende tema i litteraturen er afvejningen mellem træningsomkostninger og anti-jamming-ydeevne. Cao et al. (2025) og Li et al. (2026, IEEE) rapporterer begge, at deres simuleringer balancerer træningsomkostninger med anti-jamming-ydeevne. Li et al. bruger en distribueret multi-agent deep reinforcement learning-tilgang (DMDRLA) målrettet mega-LEO-konstellationer og viser, at man kan optimere ydeevnen uden at træningsomkostningerne løber løbsk.

Det er en vigtig pointe for kommercielle operatører. En politik, der kræver måneders central træning på enorme datasæt, er ikke nødvendigvis operationelt brugbar, selv hvis den teoretisk er stærk. Ved at bruge value decomposition og CTDE kan man genbruge træning på tværs af agenter og dermed reducere den samlede træningsbyrde.

Hybrid beam hopping for uneven traffic og kompleks jamming i LEO-satellitter (2026) kombinerer statistisk planlægning med reinforcement learning. Den statistiske del håndterer forudsigelig trafik og kendte banemønstre, mens RL-delen tager sig af det uforudsigelige og intelligente jamming. Denne opsplitning er et godt eksempel på, hvordan man holder træningsomkostningerne nede uden at miste adaptivitet.

Nedenstående tabel opsummerer de vigtigste rapporterede resultater på tværs af kilder. Tallene er hentet fra de respektive arbejder og skal ses som indikative, ikke som ensartede benchmarks.

Hvilke præstationsgevinster og emergente adfærdsmønstre er rapporteret?

De rapporterede gevinster spænder fra reduktion i jammer-succesrate til markant højere gennemstrømning. Silvirianti et al. (2025, TechRxiv) undersøger bekæmpelse af AI-baseret jamming i LEO-satellitnetværk og viser, at QADRL reducerer jammer-succesraten med 33,33 procent sammenlignet med klassisk adversarial DRL (CADRL). Det er en direkte sammenligning mellem to lærende modstandere, hvilket gør resultatet særligt relevant i en trusselskontekst, hvor jammeren også lærer.

Nguyen et al. rapporterer omkring 50 procent højere samlet systemgennemstrømning og en næsten nul kollisionsrate i MARL-setup med UAV-relays. Oliver et al. (2025) viser decentral multi-agent deep reinforcement learning til en autonom Space Situational Awareness-konstellation med 20 satellitter, hvilket indikerer, at metoderne også skalerer til andre opgaver end ren kommunikation.

Det mest interessante er måske de emergente strategier. Agenterne i Nguyen et al. blev ikke programmeret til at undgå jamming. De lærte det selv ved at afveje dæmpning af jammerinterferens mod vedligeholdelse af kommunikationslinks. Det peger på, at MARL kan håndtere trusselsbilleder, som udviklerne ikke havde forudset i detaljer.

For operatører betyder det en mere modstandsdygtig konstellation, hvor enkelte satellitter ikke længere er det svage led. Distribueret samarbejde løfter kapaciteten under stærk interferens, og systemet kan omfordele ressourcer dynamisk i stedet for at kollapse, når en nærliggende jammer rammer en enkelt uplink.

Hvilke begrænsninger og åbne udfordringer er der ved MARL-anti-jamming?

Der er stadig væsentlige begrænsninger. LEO-netværk har dynamisk topologi, ondsindet jamming, co-channel-interferens og forudsigelig banedynamik med eksponerede geometrier. Selv med store antennearrays har enkeltsatellit-mitigering svært ved at separere det ønskede uplink-signal fra jammere i nærheden. Det gør distribueret koordination nødvendig, men også mere kompleks.

Træning af multi-agent-systemer kræver store mængder simulerede data og kan være følsom over for ændringer i miljøet. Hvis jammeren skifter taktik, skal politikken kunne tilpasse sig uden at skulle trænes forfra. Flere af arbejderne peger på, at netop balancen mellem træningsomkostninger og ydeevne er et centralt forskningsspørgsmål, ikke et løst problem.

Derudover er der spørgsmål om standardisering, sikkerhed og hvordan man validerer politikker i virkelige konstellationer. Størstedelen af resultaterne kommer fra simuleringer, om end med realistiske banengeometrier og ray-tracing. Vejen fra simuleret Nash-ligevægt til operationel drift i en mega-konstellation er stadig et aktivt forskningsområde i 2026.

Hvad betyder MARL-anti-jamming for fremtidens mega-konstellationer?

For operatører af mega-konstellationer peger forskningen i retning af, at anti-jamming skal være distribueret, adaptivt og lærende. VDN, CTDE, DMDRLA og QADRL er ikke bare akademiske forkortelser; de repræsenterer en arkitektur, hvor satellitter deler en fælles træningserfaring, men handler selvstændigt i rummet. Det giver både skalerbarhed og robusthed.

Kombinationen med spilteoretisk beamforming gør det muligt at håndtere intelligente jammere på det fysiske lag, mens reinforcement learning håndterer spektrumadgang og routing. Hu et al. (2026, ScienceDirect) arbejder netop med space segment anti-jamming routing i LEO-satellitnetværk, hvor spilteori og reinforcement learning adresserer intelligent jamming i udviklende LSN'er.

Min vurdering er, at de mest interessante fremskridt i de kommende år vil komme i krydsfeltet mellem statistisk planlægning, spilteori og MARL. Hybrid beam hopping og distribuerede agenter er allerede i gang med at vise, at man kan kombinere forudsigelighed med adaptivitet. Det er den kombination, der gør mega-konstellationer modstandsdygtige over for både kendte og ukendte trusler.

Hvordan hænger MARL, VDN og CTDE sammen i praksis?

I praksis er arkitekturen ofte bygget op omkring en central kritiker og flere decentrale aktører. Hver satellit eller bruger observerer sin lokale kanaltilstand, vælger et sub-bånd eller en stråleform og modtager en belønning. Den centrale kritiker bruger hele systemets tilstand til at opdatere værdifunktioner, mens VDN nedbryder den fælles værdi til per-agent bidrag.

Det gør det muligt at træne på tværs af mange agenter uden at kræve, at alle deler rådata i realtid. Under eksekvering kører hver agent sin egen politik, hvilket passer godt til LEO-miljøet, hvor kommunikation mellem satellitter kan være ustabil. Resultatet er et system, der kan skalere fra ti til tusindvis af noder.

Tabellen nedenfor opsummerer de centrale metoder og deres rolle i anti-jamming-kæden. Den er tænkt som en hurtig oversigt for læsere, der vil forstå sammenhængen mellem forkortelserne.

Hvilke konkrete resultater kan man tage med sig?

De mest konkrete resultater er: QADRL reducerer jammer-succesraten med 33,33 procent sammenlignet med CADRL; MARL-baseret UAV-relay løfter den samlede gennemstrømning med cirka 50 procent og nærmer sig nul kollisioner; og distribueret satellitsamarbejde forbedrer modstandsdygtigheden sammenlignet med enkeltsatellit-links, der lammede af jammere i nærheden. Det er tal, der gør metoderne relevante for kommercielle operatører.

Samtidig skal man huske, at resultaterne kommer fra forskellige simuleringer med forskellige antagelser. De er ikke direkte sammenlignelige, men de peger i samme retning: lærende, distribuerede systemer klarer sig bedre end statiske eller centraliserede alternativer under intelligent jamming.

For danske og europæiske aktører inden for satellitkommunikation er implikationen, at investeringer i adaptiv spektrumstyring og distribueret koordination kan betale sig. Jo flere satellitter i konstellationen, jo større bliver gevinsten ved at lade dem lære at samarbejde.

Hvad er de vigtigste tekniske mekanismer bag MARL-anti-jamming?

Mekanismerne spænder fra value decomposition til spilteoretiske solvere. VDN dekomponerer den fælles værdifunktion i per-agent værdier, så man kan træne centraliseret og eksekvere decentralt. Spilteoretisk beamforming optimerer rumlige kovariansmatricer, og min-max-solveren bruger skiftende best-response-opdateringer plus projected gradient descent til at nå Nash-ligevægt.

Ray-tracing med Starlink-banengeometrier giver mere realistiske kanalmodeller end simple analytiske modeller. Det betyder, at resultaterne i højere grad afspejler virkelige udfordringer som blokering, spredning og dynamiske geometrier. For ingeniører er det en vigtig detalje, fordi anti-jamming-ydeevne ofte afhænger af de præcise kanalforhold.

Endelig er emergent adfærd en central mekanisme. Agenter, der ikke er programmeret til at undgå jamming, lærer alligevel at positionere sig og vælge spektrum for at maksimere belønningen. Det gør systemet mere fleksibelt over for nye trusler, end regelsæt og foruddefinerede politikker kan være.

Hvordan ser vejen videre ud for forskning og drift?

Forskningen bevæger sig mod at kombinere statistisk planlægning, spilteori og multi-agent reinforcement learning i hybride systemer. Hybrid beam hopping for uneven traffic og kompleks jamming i LEO-satellitter (2026) er et eksempel på, hvordan man lader statistiske modeller håndtere det forudsigelige og RL håndtere det uforudsigelige. Det reducerer træningsomkostninger og øger robustheden.

En anden retning er at gøre politikkerne mere forklarlige og verificerbare, så operatører kan stole på dem i kritiske situationer. Det er især vigtigt, når beslutninger træffes autonomt i rummet, hvor der ikke er tid til menneskelig indgriben. Standardisering og fælles benchmarks vil også være afgørende for at sammenligne løsninger på tværs af forskningsgrupper.

Samlet set peger litteraturen på, at MARL ikke er en enkeltstående teknik, men en arkitektur for distribueret intelligens i mega-konstellationer. Kombinationen af centraliseret træning, decentral eksekvering og spilteoretisk beamforming giver et solidt fundament for anti-jamming i LEO-netværk, og de rapporterede resultater er lovende nok til, at feltet vil vokse i de kommende år.

Ofte stillede spørgsmål om MARL og anti-jamming i LEO-satellitter

Hvordan bekæmper multi-agent reinforcement learning jamming i LEO-satellitnetværk?

Agenter lærer spektrumadgangs- og positioneringspolitikker ud fra lokale observationer, guidet af en central kritiker under træning. Cao et al. bruger et value decomposition network med centraliseret træning og decentral eksekvering, så satellitter kan undgå ondsindet jamming og co-channel-interferens, samtidig med at træningsomkostninger og anti-jamming-ydeevne balanceres.

Hvad er den VDN-baserede metode til anti-jamming spektrumadgang i LEO-satellitter?

Cao et al. foreslår en value decomposition network (VDN)-baseret multi-agent deep reinforcement learning-metode til anti-jamming spektrumadgang i LEO-satellitnetværk med centraliseret træning og decentral eksekvering. Simuleringer viser, at metoden balancerer træningsomkostninger med anti-jamming-ydeevne under dynamiske topologier og interferens.

Kan distribueret satellitsamarbejde forbedre uplink-anti-jamming-modstandsdygtigheden?

Ja. Ved at modellere uplink-interferens som et konveks-konkavt spil mellem en jordbaseret sender og en jammer konvergerer en min-max-solver med skiftende best-response-opdateringer og projected gradient descent mod Nash-ligevægt for beamforming. Med Starlink-banengeometrier og Sionna ray-tracing flytter distribueret samarbejde kapacitetsfordelingen opad under stærk interferens.

Udvikler MARL-agenter anti-jamming-strategier uden eksplicit programmering?

I Nguyen et al.s UAV-relay-studie udvikler agenterne en emergent anti-jamming-strategi uden eksplicit programmering. De lærer at positionere sig for både at dæmpe jammerinterferens og vedligeholde kommunikationslinks. Rammeværket løftede den samlede systemgennemstrømning med cirka 50 procent og opnåede en næsten nul kollisionsrate.