# Qu'est-ce que le red teaming IA ? Définition et enjeux pour l'entreprise > Le red teaming, emprunté à la cybersécurité, est la pratique de tester un système d'IA en simulant des tentatives d'usage adverse : contournement des règles, extraction de données sensibles, génération de contenus interdits. Il vise à identifier les vulnérabilités avant qu'un acteur malveillant ne les exploite en production. ## Définition Le red teaming IA combine trois approches. Le red teaming manuel : des experts (souvent issus de la cybersécurité, de la linguistique, du droit) tentent de faire dérailler le modèle par des prompts élaborés, des jeux de rôle, des contournements de garde-fous. Le red teaming automatisé : des modèles d'attaque génèrent des milliers de prompts adverses pour explorer l'espace des vulnérabilités. Les programmes de bug bounty : des chercheurs externes, rémunérés en proportion des failles trouvées, testent le système en continu. Depuis 2024, le red teaming est devenu un standard documentaire pour les laboratoires de pointe. Anthropic publie sa Responsible Scaling Policy, réécrite en février 2026, et pour chaque nouveau modèle une fiche système (system card) qui détaille les tests adverses internes et externes. Les instituts publics d'évaluation de l'IA (UK AI Security Institute, US Center for AI Standards and Innovation) effectuent du red teaming externe sur les modèles frontières avant déploiement. L'AI Act européen exige des tests adverses documentés pour les modèles d'IA à usage général présentant un risque systémique (article 55), une obligation applicable depuis août 2025, que l'AI Office de la Commission peut sanctionner depuis le 2 août 2026. ## Exemple En mai 2025, Anthropic a activé ses protections de niveau ASL-3 pour le lancement de Claude Opus 4 : des classifieurs qui bloquent une catégorie étroite de contenus liés aux armes chimiques, biologiques, radiologiques et nucléaires (CBRN), un programme de bug bounty dédié à leur contournement et une surveillance des jailbreaks. En septembre 2025, l'entreprise a publié le bilan des tests adverses menés sur ces protections par le US Center for AI Standards and Innovation (CAISI) et le UK AI Security Institute, sur Claude Opus 4 et 4.1 avant leur déploiement. Les équipes gouvernementales ont trouvé plusieurs failles, dont des injections de prompt et des attaques par chiffrement ou substitution de caractères. Anthropic a corrigé ces failles et revu l'architecture de ses protections. Ces modèles sont aujourd'hui retirés de l'API d'Anthropic, mais la pratique s'est poursuivie : avant le lancement de Claude Fable 5.1 en septembre 2026, la société Trajectory Labs a consacré environ 74 heures et plus de 6 500 requêtes à tenter de lui faire produire des exploits, sans trouver de jailbreak universel. ## Pour un dirigeant Quatre clauses à exiger dans tout contrat avec un éditeur IA pour les systèmes à enjeu (juridique, financier, médical, RH). Premièrement, l'obligation de fournir un rapport de red teaming pré-déploiement pour chaque version majeure du modèle, avec liste anonymisée des vulnérabilités identifiées et corrigées. Deuxièmement, la fréquence minimale de red teaming continu pendant la durée du contrat : trimestrielle pour les cas critiques, semestrielle pour les autres. Troisièmement, la transparence sur les organismes tiers impliqués (laboratoires académiques, instituts publics d'évaluation, sociétés spécialisées) : un red teaming purement interne est insuffisant. Quatrièmement, le droit à une réévaluation contradictoire à vos frais, par un tiers de votre choix, sur vos cas d'usage spécifiques. Ces clauses ne sont pas du sur-mesure haut de gamme : elles sont aujourd'hui acceptées par les fournisseurs sérieux du marché. ## Questions fréquentes **Qu'est-ce que le red teaming appliqué à l'IA ?** Emprunté à la cybersécurité, c'est la pratique qui consiste à tester un système d'IA en simulant des usages adverses : contournement des règles, extraction de données sensibles, génération de contenus interdits. L'objectif est d'identifier les vulnérabilités avant qu'un acteur malveillant ne les exploite en production. **Quelles sont les trois approches du red teaming ?** Le red teaming manuel, où des experts (cybersécurité, linguistique, droit) tentent de faire dérailler le modèle. Le red teaming automatisé, où des modèles d'attaque génèrent des milliers de prompts adverses. Les programmes de bug bounty, où des chercheurs externes, rémunérés selon les failles trouvées, testent le système en continu. **Le red teaming est-il une obligation réglementaire ?** Pour les modèles d'IA à usage général présentant un risque systémique, l'AI Act européen exige des tests adverses documentés (article 55), une obligation applicable depuis août 2025. Depuis 2024, le red teaming est devenu un standard documentaire pour les laboratoires de pointe, et les instituts publics d'évaluation de l'IA (UK AI Security Institute, US Center for AI Standards and Innovation) en mènent sur les modèles frontières avant déploiement. **Quelles clauses exiger d'un éditeur IA ?** Quatre, pour les systèmes à enjeu. Un rapport de red teaming pré-déploiement pour chaque version majeure, avec liste anonymisée des vulnérabilités corrigées. Une fréquence minimale de red teaming continu (trimestrielle pour les cas critiques, semestrielle sinon). La transparence sur les organismes tiers impliqués. Le droit à une réévaluation contradictoire à vos frais, par un tiers de votre choix, sur vos cas d'usage. **Un red teaming interne suffit-il ?** Non. Un red teaming purement interne est insuffisant. La transparence sur les organismes tiers impliqués (laboratoires académiques, instituts publics d'évaluation, sociétés spécialisées) est une clause à exiger. Ces exigences sont aujourd'hui acceptées par les fournisseurs sérieux du marché. ## À lire aussi - [Garde-fous](https://wyp.agency/glossaire/garde-fous/) - [Alignement](https://wyp.agency/glossaire/alignement/) - [Biais algorithmique](https://wyp.agency/glossaire/biais-algorithmique/) - [Hallucination](https://wyp.agency/glossaire/hallucination/) - [AI Act](https://wyp.agency/glossaire/ai-act/) - [Évaluation des LLM (evals, LLM as a judge)](https://wyp.agency/glossaire/evaluation-llm/) - [Injection de prompt (prompt injection)](https://wyp.agency/glossaire/injection-de-prompt/) ## Sources - Strengthening our safeguards through collaboration with US CAISI and UK AISI, Anthropic, septembre 2025 (https://www.anthropic.com/news/strengthening-our-safeguards-through-collaboration-with-us-caisi-and-uk-aisi) - AI Safety Level 3 Deployment Safeguards Report, Anthropic, mai 2025 (https://www.anthropic.com/asl3-deployment-safeguards) - Activating AI Safety Level 3 protections, Anthropic, 22 mai 2025 (https://www.anthropic.com/news/activating-asl3-protections) - Règlement (UE) 2024/1689 sur l'intelligence artificielle (AI Act), article 55 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj) - System Card: Claude Fable 5.1 & Claude Mythos 5.1, Anthropic, 1er septembre 2026 (https://www-cdn.anthropic.com/0339e6a7c5c7b87f5c07798616dc32c215d14235/Claude%20Fable%205.1%20&%20Claude%20Mythos%205.1%20System%20Card.pdf) - Responsible Scaling Policy, Anthropic (version 3.4, 8 juillet 2026) (https://www.anthropic.com/responsible-scaling-policy) --- Fiche du glossaire IA de WYP.agency · https://wyp.agency/glossaire/red-teaming/ · Dernière mise à jour : 2026-10-14