Apprentissage par renforcement multi-agents distribué pour l'anti-brouillage : accès spectral, VDN et constellations LEO

L'anti-brouillage devient un problème de coordination distribuée : chaque satellite, drone ou radio cognitive décide seul, mais apprend collectivement. Voici les mécanismes, les algorithmes (VDN, QMix, CTDE) et les gains chiffrés rapportés par la recherche.

Pourquoi les réseaux de satellites LEO sont-ils si vulnérables au brouillage et aux interférences co-canal ?

Les constellations LEO circulent à quelques centaines de kilomètres d'altitude seulement : chaque liaison reste donc à portée d'un émetteur terrestre malveillant. Autre faiblesse, leur trajectoire est très prévisible, ce qui rend le ciblage presque trivial. Et il ne faut pas oublier la densité spectrale : des dizaines, parfois des centaines de satellites se partagent les mêmes faisceaux et des fréquences qui se chevauchent. Résultat, les interférences co-canal viennent s'empiler sur le brouillage volontaire.

Ce qui complique vraiment les choses, c'est la topologie en cascade. Dans une mégaconstellation LEO, les satellites ne se contentent pas de dialoguer avec une station au sol : ils s'appuient sur des liens inter-satellites pour acheminer les données, garder la synchronisation et gérer les handovers. Conséquence directe : il suffit qu'un seul de ces liens se dégrade pour qu'une panne se propage à l'échelle régionale, un peu comme un bouchon qui remonte toute une autoroute. Et ce n'est pas un scénario d'école : le brouillage cible souvent les canaux de contrôle, ou bien exploite les interférences co-canal pour saturer quelques nœuds bien choisis. Autrement dit, en environnement contesté, compter sur un canal de contrôle centralisé qui reste disponible n'est pas raisonnable — c'est même la première hypothèse à céder. C'est justement ce que les approches multi-agents distribuées cherchent à dépasser : au lieu de reposer sur un point unique, chaque satellite apprend à décider localement à partir de ce qu'il observe, tout en s'appuyant sur une coordination apprise hors ligne.

Comment l'apprentissage par renforcement multi-agents permet-il l'accès spectral anti-brouillage ?

Dans un système MARL, chaque satellite ou chaque radio joue le rôle d'un agent qui ne dispose que d'observations locales : la puissance reçue, le niveau d'interférence, l'état de sa file d'attente ou encore sa position. C'est le principe même de l'apprentissage distribué. Durant l'entraînement, un critique centralisé vient évaluer le résultat conjoint des actions de tous les agents. Puis, au fil des épisodes, ceux-ci apprennent progressivement des politiques d'accès spectral et de formation de faisceaux capables d'éviter le brouillage et les interférences co-canal. Le tout sans qu'un plan de fréquences ait été conçu à la main, ce qui constitue justement l'un des atouts majeurs de cette approche.

Plutôt que de confier la réallocation des fréquences à un algorithme central — point unique de défaillance et goulot d'étranglement dès que le réseau grossit —, cette approche laisse un équilibre coopératif émerger des décisions locales de chaque nœud. Concrètement, chaque radio ou satellite observe son propre environnement (puissance reçue, niveau d'interférence, état des files d'attente, position) et choisit sa bande ou son faisceau sans attendre d'instruction descendante. C'est précisément ce qui répond à la question « how does multi-agent reinforcement learning enable anti-jamming spectrum access » : l'accès spectral anti-brouillage n'est plus planifié de l'extérieur, il se construit par apprentissage. Elleuch et al. (2021) en donnent une illustration convaincante : dans leurs simulations, des utilisateurs qui apprennent de manière coopérative améliorent leurs débits de transmission, éliminent les interférences mutuelles et affichent la vitesse de convergence la plus élevée de leur comparaison. Autrement dit, la coopération ne coûte pas en performance ici — elle accélère l'apprentissage tout en réduisant les collisions spectrales, ce qui explique l'intérêt croissant pour ce paradigme dans les réseaux sans fil saturés.

Le cadre dépasse d'ailleurs largement le seul cas des satellites. Aref et al. se sont ainsi intéressés à l'anti-brouillage dans un contexte de radios cognitives autonomes à large bande (WACR, Wideband Autonomous Cognitive Radios) évoluant en environnement multi-agents. L'enjeu ne se limite pas à esquiver un brouilleur : il s'agit de dégager des politiques réellement optimales, capables de tenir ensemble deux objectifs souvent contradictoires, la lutte anti-brouillage et l'évitement des interférences entre agents qui se partagent le même spectre. La donne change encore lorsque les canaux ne se recouvrent plus franchement, mais seulement en partie. C'est précisément le terrain des travaux de Zhang et al. (2021) sur l'accès multi-utilisateur à des canaux partiellement recouvrants (POC). Avec un découpage net des bandes, la décision resterait simple ; ce chevauchement partiel, lui, brouille la frontière entre « mon canal » et « celui du voisin », ce qui complique à la fois l'attribution des ressources et l'évaluation des interférences subies.

Quel rôle joue l'entraînement centralisé avec exécution décentralisée (CTDE) ?

Le CTDE fonctionne en séparant clairement deux moments. À l'entraînement, un critique centralisé garde une vue d'ensemble : il observe l'état global et les récompenses conjointes de tous les agents. Il peut donc juger les décisions collectivement et déterminer la part de responsabilité de chaque satellite, ce qui stabilise l'apprentissage et rend la coordination vraiment possible. À l'exécution, en revanche, ce critique disparaît du paysage : chaque satellite applique simplement sa propre politique à partir de ses observations locales, typiquement la puissance reçue, le niveau d'interférence ou l'état de sa file d'attente. Plus besoin d'une liaison temps réel vers un contrôleur au sol, ni vers l'ensemble des autres satellites. Et c'est là que se joue l'essentiel : dans un environnement contesté, les liens de communication sont eux-mêmes pris pour cible par le brouillage. Un schéma d'exécution qui reposerait sur un échange permanent d'informations s'effondrerait en même temps qu'eux. Le CTDE contourne cette fragilité sans pour autant renoncer à la coordination apprise.

Dans MDPI Electronics 14(16):3307 (2025), Cao et al. se penchent sur l'accès spectral anti-brouillage dans les réseaux de satellites LEO, en s'appuyant sur un réseau de décomposition de valeur (VDN). Leur architecture repose sur un entraînement centralisé couplé à une exécution décentralisée (CTDE), ce qui présente un double avantage : d'un côté, l'entraînement gagne en efficacité ; de l'autre, la surcharge de communication diminue sensiblement. Li et al. (IEEE, 2026) poussent la logique un cran plus loin avec DMDRLA, une méthode DRL multi-agents distribuée pensée pour les mégaconstellations LEO. Leurs simulations ont ceci d'intéressant qu'elles ne cachent pas la difficulté du problème : elles mettent clairement en regard le coût d'entraînement et le gain en performances.

Quels algorithmes alimentent l'anti-brouillage distribué : VDN, QMix et MP-DQN ?

Le VDN, pour Value Decomposition Network, repose sur une idée simple mais redoutablement efficace : au lieu d'apprendre une fonction de valeur d'action jointe unique — difficile à interpréter et à entraîner dès que le nombre d'agents augmente —, on la décompose en valeurs par agent. Chaque satellite, chaque radio ou chaque nœud se voit alors attribuer une part interprétable de la récompense globale, ce qui revient ni plus ni moins à faire de l'attribution de crédit (« credit assignment ») à l'échelle de dizaines, voire de centaines de nœuds. Sans ce mécanisme, l'apprentissage devient vite instable : un agent ne sait pas si sa contribution individuelle a réellement amélioré la situation collective, et les gradients se noient dans le bruit. C'est exactement le rôle central que joue le VDN dans les travaux de Cao et al. sur l'accès spectral en réseau LEO, où l'entraînement centralisé avec exécution décentralisée (CTDE) exploite cette décomposition pour améliorer l'efficacité d'apprentissage tout en réduisant la surcharge de communication entre agents.

À côté de VDN, dont la factorisation reste la plus simple à implémenter, d'autres algorithmes explorent le même terrain avec des besoins légèrement différents. Cai et al. (2025), par exemple, appliquent QMix à la prise de décision coopérative de brouillage : là où VDN présuppose une somme linéaire des valeurs individuelles, QMix ajoute un réseau de mélange qui pondère la contribution de chaque agent en fonction de l'état global, ce qui permet de saisir des interactions plus fines entre les nœuds. De leur côté, Wang et al. (2025) proposent un algorithme MARL qui empile plusieurs raffinements d'apprentissage : rejeu d'expérience priorisé pour réutiliser les transitions les plus informatives, régularisation par entropie pour préserver l'exploration, et recentrage des récompenses pour stabiliser l'estimation des valeurs. Ces choix ne relèvent pas du détail cosmétique : dans un environnement brouillé où les récompenses sont rares et bruitées, ils pèsent directement sur la vitesse de convergence et sur la robustesse des politiques apprises. Le tableau ci-dessous récapitule les familles d'approches et leur usage typique.

Le choix entre ces méthodes n’est pas neutre, et il engage directement la façon dont on veut faire coopérer des dizaines, voire des centaines d’agents. Le VDN privilégie la simplicité et une attribution de crédit lisible : chaque agent se voit associer une valeur propre, ce qui facilite l’interprétation des décisions et allège l’entraînement, mais suppose que la contribution de chacun s’additionne proprement au résultat collectif. QMix gagne en expressivité au prix d’une complexité accrue : il autorise des interactions plus fines entre agents, au risque d’un coût de calcul et d’un besoin de réglage plus élevés. Quant au CTDE, il faut bien voir qu’il s’agit d’une architecture d’entraînement plutôt que d’un algorithme isolé : il se combine avec l’un ou l’autre selon la nature de l’action, discrète ou continue, et selon le degré de coordination exigé par la tâche. Autrement dit, le choix dépend moins d’une hiérarchie de performance que du compromis accepté entre efficacité d’apprentissage, finesse de la coordination et coût de mise en œuvre.

Quels gains de performance et quels compromis les simulations rapportent-elles ?

Nguyen et al. (arXiv 2512.08341, soumis le 9 décembre 2025, pour IEEE ICC 2026) s'intéressent à un scénario particulièrement délicat : des réseaux de relais UAV collaboratifs qui doivent continuer à transmettre malgré la présence de brouilleurs. Leur approche repose sur une architecture dans laquelle un critique centralisé évalue les décisions conjointes pendant l'entraînement, tandis que chaque agent agit de façon décentralisée en vol, à partir de ses seules observations locales. Ce choix n'est pas anodin : il évite de faire dépendre la coordination de liaisons radio qui seraient elles-mêmes la cible du brouillage. Les simulations rapportent un débit système total supérieur d'environ 50 % par rapport aux schémas de référence, ainsi qu'un taux de collision proche de zéro entre agents. Le résultat le plus frappant reste toutefois qualitatif : sans qu'aucune règle anti-brouillage ne leur ait été explicitement programmée, les agents font émerger d'eux-mêmes une stratégie coopérative pour contourner le brouilleur et se répartir les ressources spectrales. Autrement dit, la performance ne vient pas seulement de l'algorithme, mais de la dynamique collective qui s'installe entre les agents au fil de l'apprentissage.

Le compromis est réel. La coordination améliore les résultats anti-brouillage mais coûte du temps d'entraînement et de l'efficacité d'échantillonnage ; il faut souvent des millions d'épisodes simulés avant que les politiques soient déployables. Le CTDE évite en revanche de dépendre de liens qui pourraient eux-mêmes être brouillés, ce qui le rend particulièrement adapté aux constellations LEO et aux essaims de drones où la connectivité permanente n'est pas garantie.

D'autres travaux confirment cette dynamique. Janiar et al. (2023) ajoutent l'apprentissage par transfert pour qu'un agent DRL apprenne vite dans des réseaux sans fil dynamiques sous attaques de brouillage. Yang et al. (arXiv 2508.11687, 11 août 2025) formalisent les agents anti-brouillage intelligents pour les communications UAV selon une boucle Perception-Décision-Action, en combinant théorie des jeux et apprentissage par renforcement.

En quoi les applications aux relais UAV et aux radars diffèrent-elles des constellations LEO ?

Les relais UAV se distinguent par une mobilité rapide et une topologie changeante : la politique doit se réadapter en continu, ce qui explique le recours à l'apprentissage par transfert et aux mécanismes d'exploration renforcée. La boucle Perception-Décision-Action décrite par Yang et al. illustre ce besoin de réactivité, là où un satellite LEO suit une trajectoire prévisible et peut se permettre une politique plus stable.

Le radar agile en fréquence pose un problème encore différent. Feng Xie et al. (Journal of Radars, 12(6):1290-1304, 2023) proposent un DRL dans le domaine complexe pour l'anti-brouillage radar : le temps de décision moyen descend à 405,3 ms, contre deux algorithmes RL classiques pris comme référence. Ici, la contrainte n'est pas la coordination entre nœuds mais la latence de décision face à une menace évolutive, ce qui déplace le curseur entre exploration et exploitation.

Quelles compétences et quels outils pour mettre en œuvre une approche MARL anti-brouillage ?

Sur le plan pratique, une implémentation sérieuse suppose de maîtriser trois briques : un simulateur de canal crédible (interférences co-canal, évanouissements, brouillage intelligent), une architecture CTDE avec attribution de crédit, et une métrique d'évaluation qui ne se limite pas au débit moyen. Le taux de collision, le temps de convergence et le coût d'entraînement sont tout aussi déterminants pour juger une politique déployable.

La littérature récente fournit des points de départ utiles : le VDN pour l'accès spectral LEO, QMix pour la décision coopérative, et les variantes de DRL complexe pour les charges à faible latence. La recommandation qui revient le plus souvent est de commencer par un petit nombre d'agents, de valider l'attribution de crédit, puis de monter en échelle — la dégradation des performances avec le nombre de nœuds étant le principal risque identifié dans les travaux sur les mégaconstellations.

Questions fréquentes sur l'anti-brouillage par apprentissage multi-agents

Comment l'apprentissage par renforcement multi-agents permet-il l'accès spectral anti-brouillage ?

Chaque satellite ou radio agit comme un agent qui n'utilise que des observations locales : puissance reçue, niveaux d'interférence, état de la file d'attente et position. Pendant l'entraînement, un critique centralisé évalue le résultat joint ; au fil des épisodes, les agents apprennent des politiques d'accès spectral et de faisceaux qui évitent le brouillage et les interférences co-canal, sans plan de fréquences conçu manuellement.

Qu'est-ce que l'entraînement centralisé avec exécution décentralisée en anti-brouillage ?

Le CTDE permet à un critique centralisé de voir l'état et les récompenses joints pendant l'entraînement, ce qui stabilise l'apprentissage et rend la coordination possible. À l'exécution, chaque satellite ne s'appuie que sur sa propre politique et ses observations locales : aucune liaison vers un contrôleur au sol ou vers tous les autres satellites n'est requise dans un environnement contesté.

Quels gains de performance les systèmes anti-brouillage CTDE rapportent-ils ?

Nguyen et al. (arXiv 2512.08341, soumis le 9 décembre 2025, pour IEEE ICC 2026) associent un critique centralisé à des acteurs décentralisés dans des réseaux de relais UAV collaboratifs sous brouillage. Les résultats montrent un débit système total supérieur d'environ 50 % et un taux de collision proche de zéro, avec une stratégie anti-brouillage émergente développée sans programmation explicite.

Pourquoi les réseaux de satellites LEO sont-ils vulnérables au brouillage et aux interférences co-canal ?

Les satellites LEO orbitent à quelques centaines de kilomètres, si bien que chaque liaison reste à portée d'une interférence terrestre, et leurs trajectoires sont très prévisibles. Des dizaines ou centaines de satellites partagent des faisceaux et des fréquences qui se recouvrent : les interférences co-canal s'ajoutent au brouillage volontaire, et un lien inter-satellite dégradé peut provoquer une panne régionale en cascade.