Les voitures autonomes sont capables de traiter d’énormes quantités d’informations en quelques secondes, mais leurs décisions restent souvent difficiles à comprendre pour les humains. Un véhicule peut freiner de manière inattendue, hésiter près d’un autre usager de la route ou choisir un itinéraire qui semble illogique, laissant les conducteurs de sécurité et les passagers incertains quant à ce que le système a réellement détecté.

Des chercheurs ont désormais développé une méthode conçue pour rendre ces décisions plus faciles à interpréter. Ce système, appelé Concept-Wrapper Network (CW-Net), traduit le raisonnement interne d’un modèle de conduite autonome en concepts clairs et lisibles par l’humain, sans modifier les performances du véhicule lui-même.

<h3>Transformer une boîte noire en explications claires</h3>

Les véhicules autonomes modernes s’appuient sur des planificateurs basés sur l’apprentissage automatique qui servent de centre de décision. Ils traitent les données provenant des caméras et du lidar, construisent une représentation de l’environnement et calculent la trajectoire que le véhicule doit suivre ensuite.

Le problème est que ces systèmes d’apprentissage profond fonctionnent souvent comme des « boîtes noires ». Les ingénieurs peuvent voir les données d’entrée et la décision finale, mais il est difficile de comprendre exactement pourquoi le modèle a agi d’une certaine manière.

CW-Net est conçu pour combler ce fossé. Il convertit les informations internes en concepts compréhensibles tels que « approche d’un véhicule à l’arrêt » ou « proximité d’un cycliste ». Ces explications sont générées en temps réel, parallèlement à la trajectoire planifiée.

Les chercheurs ont entraîné le système à l’aide d’un jeu de données contenant 130 millions d’exemples de scènes de conduite autonome, chacun étant annoté avec plusieurs concepts. CW-Net a également été conçu pour reproduire fidèlement les décisions du planificateur original, afin que l’ajout de cette couche explicative n’altère pas les performances de conduite.

<h3>Un cycliste révèle un problème caché</h3>

L’équipe a testé la technologie sur un robotaxi Motional, sur une piste privée, avec un conducteur de sécurité au volant.

Une expérience a mis en évidence l’importance cruciale de l’explicabilité. Le véhicule s’arrêtait systématiquement à l’approche d’un cycliste, et le conducteur de sécurité supposait initialement que le système autonome avait correctement identifié celui-ci.

CW-Net a révélé une réalité bien différente : le modèle n’avait pas été correctement configuré pour détecter le cycliste et avait en fait sélectionné une trajectoire susceptible de provoquer une collision. Le véhicule ne s’est arrêté que parce que son système de freinage d’urgence s’est activé lorsqu’il s’est trouvé trop proche.

Cette distinction est essentielle. Une voiture qui s’arrête avec succès peut donner l’impression de prendre la bonne décision, alors même que son système de planification sous-jacent a échoué.

Grâce à une explication plus claire, un conducteur de sécurité pourrait identifier le problème plus tôt, réduire sa vitesse ou reprendre le contrôle manuel avant que la situation ne devienne dangereuse. Les ingénieurs pourraient également utiliser ces mêmes informations pour repérer les faiblesses du modèle et les corriger.

<h3>Aider les humains à anticiper la suite</h3>

Les chercheurs ont également mené des études de simulation en ligne plus vastes, utilisant des situations de conduite réelles enregistrées sur les routes de Las Vegas. Les participants ayant reçu les explications de CW-Net sont devenus nettement plus aptes à prédire le comportement du véhicule autonome.

Cela est important car la sécurité ne dépend pas uniquement de la capacité du système automatisé à faire le bon choix. Les superviseurs humains doivent aussi savoir quand la technologie risque de se comporter de manière inattendue.

Julie Shah, professeure au MIT et co-auteure principale de l’étude publiée dans *Nature*, explique que des explications compréhensibles peuvent améliorer le modèle mental qu’une personne se fait d’un système autonome et aider les ingénieurs à perfectionner la technologie. Elle souligne que les utilisateurs doivent pouvoir compter sur un système et anticiper son comportement pour qu’il soit utilisé en toute sécurité.

L’auteur principal, Eoin Kenny, insiste également sur le fait que l’interprétabilité est particulièrement cruciale dans les environnements à haut risque. Selon lui, les explications doivent refléter les véritables raisons derrière les décisions du modèle, plutôt que de fournir après coup un récit plausible mais trompeur.

<h3>Pourquoi l’explicabilité est essentielle pour les robotaxis</h3>

Les véhicules autonomes deviennent de plus en plus performants, mais des erreurs inattendues restent possibles. Un système qui se contente d’indiquer ce qu’il compte faire ne suffit pas si les humains ne comprennent pas pourquoi.

L’avantage majeur de CW-Net est qu’il vise à exposer la logique sous-jacente à une décision sans remplacer ni simplifier le modèle de conduite original. Cette recherche ne signifie pas que chaque véhicule autonome peut désormais s’expliquer parfaitement. L’équipe prévoit d’élargir le nombre de concepts que CW-Net peut reconnaître et d’explorer de nouvelles approches d’entraînement susceptibles d’améliorer à la fois les performances et l’interprétabilité.

Néanmoins, cette étude met en lumière une orientation importante pour la technologie des voitures autonomes. Des robotaxis plus sûrs pourraient dépendre non seulement de meilleures décisions, mais aussi de la capacité à rendre ces décisions suffisamment compréhensibles pour que les humains puissent détecter rapidement quand quelque chose ne va pas.