Dernière revue :
Qu'est-ce que l'IA explicable (XAI) ? Définition, méthodes et obligations
L'IA explicable (XAI, pour explainable AI) regroupe les méthodes qui permettent de comprendre pourquoi un système d'IA a produit un résultat donné, et de l'expliquer à la personne concernée. En Europe, c'est aussi une exigence juridique : depuis l'arrêt de la CJUE du 27 février 2025, une personne visée par une décision automatisée peut exiger une explication de la procédure et des principes concrètement appliqués.
Deux notions voisines sont souvent confondues. L'interprétabilité désigne la capacité à comprendre le fonctionnement interne d'un modèle : un arbre de décision ou une grille de score se lisent directement. L'explicabilité désigne la capacité à justifier un résultat précis, en termes compréhensibles, y compris pour un modèle opaque comme un réseau de neurones. Pour les modèles « boîtes noires », deux méthodes dominent. LIME (Ribeiro, Singh et Guestrin, 2016) approxime localement le modèle par un modèle simple autour d'une décision. SHAP (Lundberg et Lee, 2017) attribue à chaque variable sa contribution au résultat, par exemple « l'ancienneté a pesé -12 points ». Pour les grands modèles de langage, le sujet reste un champ de recherche : Anthropic a publié en mars 2025 des travaux de « traçage de circuits » qui suivent une partie des étapes internes d'un modèle. La même équipe a montré en avril 2025 que la réflexion affichée par un modèle de raisonnement n'est pas une explication fiable : Claude 3.7 Sonnet ne mentionnait qu'en moyenne 25 % du temps un indice qu'il avait pourtant utilisé. Côté droit, l'article 22 du RGPD encadre les décisions entièrement automatisées produisant des effets juridiques. Dans l'arrêt Dun & Bradstreet Austria (C-203/22, 27 février 2025), la CJUE précise que la personne peut exiger une explication « concise, transparente, compréhensible » de la procédure et des principes appliqués. La simple communication d'un algorithme ne suffit pas. L'AI Act ajoute l'article 13 (transparence des systèmes à haut risque envers les déployeurs) et l'article 86 (droit à l'explication d'une décision individuelle), applicables aux systèmes de l'annexe III à partir du 2 décembre 2027 depuis l'Omnibus.
Exemple concret
Cas réel, à l'origine de l'arrêt de 2025 : en Autriche, un opérateur mobile refuse à une cliente un abonnement de 10 euros par mois, sur la foi d'un score de solvabilité calculé automatiquement par Dun & Bradstreet Austria. La cliente demande à comprendre. L'entreprise invoque le secret des affaires. La CJUE tranche : l'entreprise doit expliquer quelles données ont été utilisées et comment, de façon compréhensible, et si elle estime que cela révèle un secret d'affaires, elle doit transmettre les informations à l'autorité ou au juge, qui arbitre.
Cas illustratif : une société de crédit à la consommation française utilise un modèle de score. À chaque refus, le conseiller dispose des trois facteurs qui ont le plus pesé (calculés avec SHAP) et d'une phrase type : « taux d'endettement supérieur à 35 %, ancienneté professionnelle inférieure à un an ». Le client peut contester, un analyste réexamine le dossier. L'entreprise répond ainsi à l'article 22 du RGPD et prépare l'article 86 de l'AI Act.
Comparaison
| Interprétabilité | Explicabilité | |
|---|---|---|
| Question posée | Comment le modèle fonctionne-t-il ? | Pourquoi ce résultat pour ce cas ? |
| Porte sur | Le modèle entier | Une décision précise |
| Exemples de méthodes | Grille de score, arbre de décision, régression linéaire ; traçage de circuits pour les LLM (recherche) | SHAP, LIME, contre-exemples (« si votre revenu avait été de X, la réponse aurait changé ») |
| Public visé | Data scientists, auditeurs | Personne concernée, conseiller, régulateur |
| Texte de référence | AI Act, article 13 (transparence envers le déployeur) | RGPD, articles 15 et 22 ; AI Act, article 86 |
Questions fréquentes
C'est quoi l'IA explicable ?
C'est l'ensemble des méthodes qui permettent de comprendre et de justifier le résultat d'un système d'IA : quels facteurs ont pesé, dans quel sens, avec quelle importance. L'objectif est qu'un humain (utilisateur, client, régulateur) puisse vérifier une décision et la contester.
Quelle est la différence entre explicabilité et interprétabilité ?
L'interprétabilité porte sur le modèle lui-même : on comprend son fonctionnement en le lisant (grille de score, arbre de décision). L'explicabilité porte sur un résultat : on justifie une décision précise, même quand le modèle est opaque, par exemple avec SHAP ou LIME.
Quelles sont les méthodes d'IA explicable ?
Les plus utilisées sont SHAP, qui attribue à chaque variable sa contribution au résultat, et LIME, qui approxime le modèle par un modèle simple autour d'une décision. Pour les grands modèles de langage, les méthodes d'interprétabilité (traçage de circuits) relèvent encore de la recherche.
L'explicabilité de l'IA est-elle obligatoire ?
Oui, dans plusieurs cas. Le RGPD (articles 15 et 22) impose d'expliquer une décision entièrement automatisée ayant des effets importants, ce que la CJUE a précisé le 27 février 2025. L'AI Act impose la transparence des systèmes à haut risque (article 13) et un droit à l'explication (article 86), à partir du 2 décembre 2027 pour l'annexe III.
Faut-il communiquer l'algorithme pour expliquer une décision ?
Non. Selon la CJUE (affaire C-203/22), la simple communication d'une formule ou d'un algorithme ne constitue pas une explication suffisante. Il faut décrire la procédure et les principes concrètement appliqués, de façon compréhensible. Un secret d'affaires peut être invoqué, mais c'est alors l'autorité ou le juge qui arbitre.
Un modèle de raisonnement qui affiche sa réflexion est-il explicable ?
Pas vraiment. Anthropic a montré en avril 2025 que les modèles de raisonnement omettent souvent des éléments qu'ils ont utilisés : Claude 3.7 Sonnet mentionnait un indice fourni dans 25 % des cas en moyenne, DeepSeek R1 dans 39 %. La réflexion affichée n'est pas une preuve du raisonnement réel.
À voir aussi
Pour aller plus loin
Reasoning models don't always say what they think, Anthropic, 3 avril 2025
Sources
- Arrêt de la Cour de justice de l'Union européenne (première chambre) du 27 février 2025, CK contre Magistrat der Stadt Wien, en présence de Dun & Bradstreet Austria GmbH, affaire C-203/22. https://curia.europa.eu/juris/liste.jsf?num=C-203/22
- Règlement (UE) 2024/1689 (AI Act), articles 13 et 86, et règlement (UE) 2026/1744 (Omnibus numérique sur l'IA) pour le calendrier, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- Reasoning models don't always say what they think, Anthropic Alignment Science, 3 avril 2025. https://www.anthropic.com/research/reasoning-models-dont-say-think
- A Unified Approach to Interpreting Model Predictions (SHAP), Lundberg et Lee, NeurIPS 2017, arXiv:1705.07874. https://arxiv.org/abs/1705.07874