# ¿Qué es el red teaming IA? Definición y retos para la empresa > El red teaming, tomado de la ciberseguridad, es la práctica de probar un sistema de IA simulando intentos de uso adverso: rodeo de las reglas, extracción de datos sensibles, generación de contenidos prohibidos. Busca identificar las vulnerabilidades antes de que un actor malicioso las explote en producción. ## Definición El red teaming IA combina tres enfoques. El red teaming manual: expertos (procedentes a menudo de la ciberseguridad, la lingüística, el derecho) intentan hacer descarrilar el modelo mediante prompts elaborados, juegos de rol, rodeos de salvaguardas. El red teaming automatizado: modelos de ataque generan miles de prompts adversariales para explorar el espacio de las vulnerabilidades. Los programas de bug bounty: investigadores externos, remunerados en proporción de las fallas encontradas, prueban el sistema en continuo. Desde 2024, el red teaming se ha convertido en un estándar documental para los laboratorios punteros. Anthropic publica su Responsible Scaling Policy, reescrita en febrero de 2026, y para cada nuevo modelo una ficha de sistema (system card) que detalla las pruebas adversariales internas y externas. Los institutos públicos de evaluación de la IA (UK AI Security Institute, US Center for AI Standards and Innovation) efectúan red teaming externo sobre los modelos de frontera antes del despliegue. El AI Act europeo exige pruebas adversariales documentadas para los modelos de IA de uso general con riesgo sistémico (artículo 55), una obligación aplicable desde agosto de 2025, que la Oficina de IA de la Comisión puede sancionar desde el 2 de agosto de 2026. ## Ejemplo En mayo de 2025, Anthropic activó sus protecciones de nivel ASL-3 para el lanzamiento de Claude Opus 4: clasificadores que bloquean una categoría estrecha de contenidos relacionados con armas químicas, biológicas, radiológicas y nucleares (CBRN), un programa de bug bounty dedicado a eludirlos y una vigilancia de los jailbreaks. En septiembre de 2025, la empresa publicó el balance de las pruebas adversariales realizadas sobre esas protecciones por el US Center for AI Standards and Innovation (CAISI) y el UK AI Security Institute, sobre Claude Opus 4 y 4.1 antes de su despliegue. Los equipos gubernamentales encontraron varias fallas, entre ellas inyecciones de prompt y ataques por cifrado o sustitución de caracteres. Anthropic corrigió esas fallas y revisó la arquitectura de sus protecciones. Esos modelos ya están retirados de la API de Anthropic, pero la práctica ha continuado: antes del lanzamiento de Claude Fable 5.1 en septiembre de 2026, la empresa Trajectory Labs dedicó unas 74 horas y más de 6 500 solicitudes a intentar que generara exploits, sin encontrar un jailbreak universal. ## Para un directivo Cuatro cláusulas a exigir en todo contrato con un editor de IA para los sistemas con riesgo (jurídico, financiero, médico, RR.HH.). Primero, la obligación de proporcionar un informe de red teaming previo al despliegue para cada versión mayor del modelo, con lista anonimizada de las vulnerabilidades identificadas y corregidas. Segundo, la frecuencia mínima de red teaming continuo durante la duración del contrato: trimestral para los casos críticos, semestral para los demás. Tercero, la transparencia sobre los organismos terceros implicados (laboratorios académicos, institutos públicos de evaluación, sociedades especializadas): un red teaming puramente interno es insuficiente. Cuarto, el derecho a una reevaluación contradictoria a su cargo, por un tercero de su elección, sobre sus casos de uso específicos. Estas cláusulas no son personalización de alta gama: son hoy aceptadas por los proveedores serios del mercado. ## Preguntas frecuentes **¿Qué es el red teaming aplicado a la IA?** Tomado de la ciberseguridad, es la práctica de probar un sistema de IA simulando usos adversos: rodeo de las reglas, extracción de datos sensibles, generación de contenidos prohibidos. El objetivo es identificar las vulnerabilidades antes de que un actor malicioso las explote en producción. **¿Cuáles son los tres enfoques del red teaming?** El red teaming manual, donde expertos (ciberseguridad, lingüística, derecho) intentan hacer descarrilar el modelo. El red teaming automatizado, donde modelos de ataque generan miles de prompts adversariales. Los programas de bug bounty, donde investigadores externos, remunerados según las fallas encontradas, prueban el sistema en continuo. **¿Es el red teaming una obligación regulatoria?** Para los modelos de IA de uso general con riesgo sistémico, el AI Act europeo exige pruebas adversariales documentadas (artículo 55), una obligación aplicable desde agosto de 2025. Desde 2024, el red teaming se ha convertido en un estándar documental para los laboratorios punteros, y los institutos públicos de evaluación de la IA (UK AI Security Institute, US Center for AI Standards and Innovation) lo realizan sobre los modelos de frontera antes del despliegue. **¿Qué cláusulas exigir a un editor de IA?** Cuatro, para los sistemas con riesgo. Un informe de red teaming previo al despliegue para cada versión mayor, con lista anonimizada de las vulnerabilidades corregidas. Una frecuencia mínima de red teaming continuo (trimestral para los casos críticos, semestral en los demás). La transparencia sobre los organismos terceros implicados. El derecho a una reevaluación contradictoria a su cargo, por un tercero de su elección, sobre sus casos de uso. **¿Basta un red teaming interno?** No. Un red teaming puramente interno es insuficiente. La transparencia sobre los organismos terceros implicados (laboratorios académicos, institutos públicos de evaluación, sociedades especializadas) es una cláusula a exigir. Estas exigencias son hoy aceptadas por los proveedores serios del mercado. ## Para seguir - [Salvaguardas](https://wyp.agency/es/glosario/salvaguardas/) - [Alineación](https://wyp.agency/es/glosario/alineacion/) - [Sesgo algorítmico](https://wyp.agency/es/glosario/sesgo-algoritmico/) - [Alucinación](https://wyp.agency/es/glosario/alucinacion/) - [AI Act](https://wyp.agency/es/glosario/ai-act/) - [Evaluación de LLM (evals, LLM as a judge)](https://wyp.agency/es/glosario/evaluacion-llm/) - [Inyección de prompt (prompt injection)](https://wyp.agency/es/glosario/inyeccion-de-prompt/) ## Fuentes - Strengthening our safeguards through collaboration with US CAISI and UK AISI, Anthropic, septiembre de 2025 (https://www.anthropic.com/news/strengthening-our-safeguards-through-collaboration-with-us-caisi-and-uk-aisi) - AI Safety Level 3 Deployment Safeguards Report, Anthropic, mayo de 2025 (https://www.anthropic.com/asl3-deployment-safeguards) - Activating AI Safety Level 3 protections, Anthropic, 22 de mayo de 2025 (https://www.anthropic.com/news/activating-asl3-protections) - Reglamento (UE) 2024/1689 sobre inteligencia artificial (AI Act), artículo 55 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj) - System Card: Claude Fable 5.1 & Claude Mythos 5.1, Anthropic, 1 de septiembre de 2026 (https://www-cdn.anthropic.com/0339e6a7c5c7b87f5c07798616dc32c215d14235/Claude%20Fable%205.1%20&%20Claude%20Mythos%205.1%20System%20Card.pdf) - Responsible Scaling Policy, Anthropic (versión 3.4, 8 de julio de 2026) (https://www.anthropic.com/responsible-scaling-policy) --- Ficha del glosario de IA de WYP.agency · https://wyp.agency/es/glosario/red-teaming/ · Última actualización : 2026-10-14