Aprendizado por Reforço Multiagente contra Interferência em Redes de Satélites LEO

Pesquisas recentes mostram como o aprendizado por reforço multiagente (MARL) e o treinamento centralizado com execução descentralizada ajudam constelações LEO a escapar de interferência maliciosa e co-canal. Analiso os principais resultados, os limites e o que ainda falta provar.

Por que redes de satélites LEO são tão vulneráveis a interferência e ao co-canal?

Constelações em órbita baixa (LEO) se tornaram infraestrutura crítica de conectividade, mas carregam uma fragilidade que é estrutural, não acidental: a topologia muda o tempo todo, a geometria dos enlaces é previsível e a exposição física é ampla. Quem quer interferir sabe onde os satélites vão estar e em que momento o feixe aponta para uma região específica. Junte a isso a interferência co-canal entre feixes vizinhos — e o cenário já fica hostil mesmo sem nenhum jammer dedicado.

Mitigar o problema em um único satélite esbarra em limites físicos. Mesmo contando com arranjos de antenas grandes, separar espacialmente o sinal de uplink desejado de um jammer muito próximo é complicado, já que os dois chegam praticamente da mesma direção. Nesse cenário, a cooperação distribuída entre vários satélites deixa de ser um luxo e se torna requisito de resiliência.

Entre 2025 e 2026, uma série de artigos acadêmicos publicados em veículos como IEEE, MDPI Electronics, arXiv, ScienceDirect, TechRxiv e alphaXiv aborda justamente esse gargalo. A questão que atravessa todos eles é bem direta: como agentes autônomos, cada um enxergando apenas uma fatia limitada do cenário, conseguem aprender políticas de acesso ao espectro e de posicionamento capazes de diminuir a taxa de sucesso de um jammer sem, ao mesmo tempo, fazer o custo de treinamento explodir?

Como o aprendizado por reforço profundo multiagente viabiliza o acesso ao espectro antijamming?

A lógica por trás do MARL aplicado a redes LEO é fácil de resumir, mas bem complicada de colocar em prática: cada satélite funciona como um agente que enxerga só uma fatia do ambiente — qualidade do enlace, nível de interferência, ocupação das sub-bandas — e, a partir disso, decide suas ações de acesso ao espectro. No treinamento, um crítico central tem visão do estado global e serve de guia para esses agentes; já em operação, cada um toma decisões por conta própria, sem precisar de um coordenador central lá em órbita.

Cao et al. (2025, MDPI Electronics 14(16):3307) propõem uma abordagem baseada em value decomposition network (VDN) para acesso antijamming ao espectro em redes LEO. A ideia do VDN é decompor o valor conjunto da equipe em valores individuais por agente, o que viabiliza o treinamento com recompensa global e, ao mesmo tempo, permite a execução distribuída. Os resultados das simulações mostram que o método consegue equilibrar o custo de treinamento e o desempenho antijamming em cenários com topologias dinâmicas e interferência.

Li et al. (2026, IEEE) enveredam por um caminho semelhante com o DMDRLA, uma abordagem de aprendizado por reforço profundo multiagente distribuído pensada especificamente para mega-constelações LEO. A validação por simulação, mais uma vez, esbarra no mesmo trade-off: dá para otimizar o desempenho sem transformar o custo de treinamento em algo inviável. Nos dois trabalhos, o ganho não sai de um satélite que resolve tudo sozinho — ele emerge da política coletiva que os agentes aprendem em conjunto.

Antes de seguir, vale olhar para alguns trabalhos que abriram caminho nessa área. Elleuch et al. (2021), por exemplo, já investigavam o aprendizado por reforço multiagente distribuído para antijamming, com aprendizado cooperativo entre os usuários. Na mesma linha, Yao et al. (2018) exploraram a cooperação multiagente em cenários com vários usuários. Já Aref et al. deram um passo além e levaram essa ideia para os rádios cognitivos autônomos de banda larga (WACRs), nos quais o sistema aprende uma política de seleção de sub-bandas capaz de evitar tanto o sinal do jammer quanto a interferência.

Em 2025, Silvirianti et al., em um artigo no TechRxiv, encararam de frente justamente o problema da interferência baseada em IA em redes LEO. O método proposto, chamado QADRL, conseguiu reduzir a taxa de sucesso do jamming em 33,33% quando comparado ao CADRL, que é um baseline clássico de DRL adversarial. É um número bem concreto, ainda mais num campo que continua dominado por resultados de simulação, e serve como um bom parâmetro para calibrarmos o que dá para esperar na prática.

Qual é o papel do treinamento centralizado com execução descentralizada?

O paradigma CTDE — treinamento centralizado com execução descentralizada — é o que torna o MARL viável na prática em constelações. Funciona assim: durante o treinamento, um crítico central enxerga informações que nenhum satélite conseguiria obter sozinho, o que ajuda a acelerar a convergência e a diminuir a variância do aprendizado. Já na fase de inferência, cada ator se vira apenas com suas observações locais — ou seja, não precisa de enlaces de coordenação em tempo real e ainda aguenta bem falhas parciais da constelação.

Nguyen et al. (arXiv 2512.08341, submetido em 9 de dezembro de 2025, IEEE ICC 2026) levam esse framework para redes colaborativas de relays com UAVs operando sob interferência. Com o crítico centralizado e os atores descentralizados, o throughput total do sistema subiu cerca de 50%, e a taxa de colisão ficou praticamente em zero. Mas o ponto que chama mais atenção é outro: a estratégia antijamming surgiu sozinha, sem nenhuma programação explícita. Na prática, os agentes aprenderam por conta própria a se posicionar de modo a equilibrar dois objetivos ao mesmo tempo — mitigar o jammer e manter os enlaces de comunicação ativos.

Oliver et al. (2025) seguem por um caminho parecido, só que aplicado a uma constelação autônoma de 20 satélites voltada à consciência situacional espacial. E aí aparece de novo aquela lógica que já virou quase um consenso na área: soltar a execução de forma descentralizada é o que garante escalabilidade, enquanto concentrar o treinamento é o que sustenta a qualidade da política aprendida.

Na prática, o CTDE resolve um dilema de engenharia. Se a coordenação fosse centralizada em tempo real, dependeria de enlaces inter-satélite confiáveis e de baixa latência — exatamente o que um ataque de interferência costuma degradar primeiro. Ao transferir a inteligência coordenada para a fase de treinamento, o sistema se torna resiliente já na sua concepção.

Como o beamforming baseado em teoria dos jogos apoia o antijamming distribuído no uplink?

O trabalho do alphaXiv (6 de fevereiro de 2026) ataca o uplink distribuído em mega-constelações LEO com uma formulação de jogo convexo-côncavo entre o transmissor terrestre e o jammer. Cada lado otimiza matrizes de covariância espacial: o transmissor quer concentrar energia na direção útil, o jammer quer maximizar a degradação. É um jogo de minimax clássico em roupagem moderna.

A solução combina um solver min-max com atualizações alternadas de melhor resposta e descida de gradiente projetada, convergindo para o equilíbrio de Nash do beamforming. Os autores usam geometrias orbitais realistas do Starlink e ray-tracing com Sionna, o que dá credibilidade aos resultados além do papel.

O resultado prático é que a cooperação distribuída desloca a distribuição de capacidade para cima sob interferência forte. Em vez de um único enlace heroicamente resistente, vários enlaces moderadamente degradados somam capacidade agregada. Isso muda a métrica de sucesso: não é sobre salvar um feixe, é sobre preservar o serviço da constelação como um todo.

Hu et al. (2026, ScienceDirect) exploram roteamento antijamming no segmento espacial de redes LEO, combinando teoria dos jogos e aprendizado por reforço para lidar com jammers inteligentes em redes em evolução. A mensagem convergente é que camadas diferentes — espectro, feixe, rota — precisam de defesas coordenadas, não de soluções isoladas.

O que as simulações mostram sobre custo de treinamento versus desempenho antijamming?

O trade-off entre custo de treinamento e desempenho aparece em praticamente todos os estudos recentes. Treinar MARL em constelações exige simular ambientes massivos, com muitos agentes, canais variáveis e jammers adaptativos. Sem cuidado, o custo computacional cresce mais rápido que o ganho de desempenho.

A tabela abaixo resume os principais resultados reportados nas fontes que analisei, com os números exatos que consegui verificar.

A leitura que faço desses números é cautelosa. São resultados de simulação, não de constelações comerciais em operação sob ataque real. O valor de 33,33% do QADRL é preciso, mas vem de um cenário específico de comparação com CADRL. Os 50% de throughput do estudo com UAVs são promissores, porém o domínio é diferente do LEO.

Ainda assim, o padrão é consistente: métodos com CTDE e decomposição de valor conseguem ganhos relevantes sem custo de treinamento proibitivo. O que falta é padronização de benchmarks. Sem ambientes comuns de avaliação — com geometrias orbitais, modelos de jammer e métricas acordadas —, comparar números entre papers continua sendo exercício de interpretação.

Quais ganhos de desempenho e comportamentos emergentes já foram reportados?

Os ganhos reportados se dividem em três famílias. A primeira é redução de exposição: QADRL corta a taxa de sucesso de jamming em 33,33% contra CADRL. A segunda é aumento de capacidade: o beamforming distribuído desloca a distribuição de capacidade para cima sob interferência forte, e a cooperação distribuída supera enlaces de satélite único paralisados por jammers próximos. A terceira é eficiência de coordenação: cerca de 50% mais throughput com colisões quase nulas no estudo de relays com UAVs.

O comportamento emergente é o achado mais instigante. Em Nguyen et al., os agentes desenvolveram uma estratégia antijamming sem programação explícita — aprenderam a se posicionar para equilibrar mitigação do jammer e manutenção dos enlaces. Isso sugere que políticas treinadas podem se adaptar a jammers não vistos durante o treinamento, desde que a estrutura do ambiente seja semelhante.

Também há trabalhos mais aplicados, como o hybrid beam hopping para tráfego desigual e jamming complexo em satélites LEO, que integra planejamento estatístico e aprendizado por reforço. A combinação de métodos clássicos com RL aparece como caminho pragmático: o planejamento estatístico lida com a parte previsível da órbita, e o RL cobre a parte adversarial.

Meu ceticismo saudável: comportamento emergente é difícil de auditar e de certificar. Para operadoras de constelação, uma política que funciona mas não é explicável pode ser um risco regulatório e operacional. Esse é um tema que a literatura ainda trata de forma superficial.

Quais riscos e limitações ainda cercam o MARL antijamming em LEO?

Os riscos começam pela própria física. Redes LEO têm topologia dinâmica, interferência co-canal e dinâmica orbital previsível com geometrias expostas. A previsibilidade ajuda o operador, mas também ajuda o jammer, que sabe exatamente quando e onde apontar. Mitigação em satélite único continua limitada mesmo com antenas grandes, porque a separação espacial entre sinal desejado e jammer próximo é intrinsecamente difícil.

Há limitações de simulação. Ray-tracing com geometrias Starlink é melhor que modelos abstratos, mas ainda não captura todo o ambiente radioelétrico real, incluindo interferência terrestre não maliciosa, clima e falhas de hardware. E há a questão do custo: treinar e re-treinar políticas para constelações com milhares de satélites é caro, e a frequência de re-treinamento necessária ainda não está clara.

Do ponto de vista de segurança, políticas aprendidas podem ser exploradas por jammers adversariais que também usam aprendizado de máquina. É um jogo de escalada, e cada avanço defensivo documentado vira informação pública para quem ataca.

Por fim, governança. Quem certifica uma política de espectro aprendida? Que métricas de segurança se aplicam a decisões tomadas por agentes autônomos em órbita? Essas perguntas são tão importantes quanto os ganhos de throughput, e a literatura técnica ainda responde pouco sobre elas.

O que esperar da adoção prática em mega-constelações?

A transição do papel para a operação vai depender de três fatores. Primeiro, padronização de benchmarks com geometrias orbitais realistas e modelos de jammer compartilhados. Segundo, eficiência computacional: políticas que rodem em hardware embarcado com restrições severas de energia e processamento. Terceiro, explicabilidade suficiente para passar por processos de certificação e seguro.

O CTDE oferece uma vantagem estrutural nesse caminho, porque separa o que é caro (treinamento) do que é crítico (execução). Operadoras podem treinar em terra, com poder computacional abundante, e embarcar apenas os atores. Isso reduz o risco de depender de coordenação em tempo real via enlaces inter-satélite, que são justamente o alvo preferencial de interferência.

Para quem investe em infraestrutura espacial, a leitura é que resiliência antijamming deixa de ser diferencial e passa a ser requisito de serviço. Constelações que não incorporarem camadas de defesa adaptativas vão competir em desvantagem em contratos governamentais e militares, onde interferência é ameaça cotidiana e não hipótese remota.

Vale lembrar que nada disso constitui recomendação de investimento. Os resultados que analisei vêm de simulações acadêmicas publicadas em IEEE, MDPI, arXiv, ScienceDirect, TechRxiv e alphaXiv, e a distância entre simulação e operação comercial segue sendo o principal ponto em aberto.

Perguntas frequentes sobre MARL antijamming em satélites LEO

Agentes MARL desenvolvem estratégias antijamming sem programação explícita?

No estudo de relays com UAVs de Nguyen et al., os agentes desenvolveram uma estratégia antijamming emergente sem programação explícita, aprendendo a se posicionar para equilibrar a mitigação da interferência do jammer com a manutenção dos enlaces de comunicação. O framework elevou o throughput total do sistema em cerca de 50%, com taxa de colisão próxima de zero.