Qu'est-ce que le red teaming IA ? Définition et enjeux pour l'entreprise

Le red teaming IA combine trois approches. Le red teaming manuel : des experts (souvent issus de la cybersécurité, de la linguistique, du droit) tentent de faire dérailler le modèle par des prompts élaborés, des jeux de rôle, des contournements de garde-fous. Le red teaming automatisé : des modèles d'attaque génèrent des milliers de prompts adverses pour explorer l'espace des vulnérabilités. Les programmes de bug bounty : des chercheurs externes, rémunérés en proportion des failles trouvées, testent le système en continu. Depuis 2024, le red teaming est devenu un standard documentaire pour les laboratoires de pointe. Anthropic publie ses Responsible Scaling Policy (AI Safety Levels) avec exigences de red teaming par niveau de capacité. Les AI Safety Institutes (UK AISI, US CAISI) effectuent du red teaming externe sur les modèles frontières avant déploiement. L'AI Act européen impose le red teaming pour les systèmes à haut risque.