Nuevo · Presidenciales francesas 2027: qué proponen los candidatos sobre la IA (en francés). Explorar el observatorio →

Última revisión:

¿Qué es la IA explicable (XAI)? Definición, métodos y obligaciones

La IA explicable (XAI, explainable AI) agrupa los métodos que permiten entender por qué un sistema de IA produjo un resultado concreto y explicárselo a la persona afectada. En Europa es también una exigencia jurídica: desde la sentencia del TJUE de 27 de febrero de 2025, quien es objeto de una decisión automatizada puede exigir una explicación del procedimiento y de los principios efectivamente aplicados.

Dos nociones cercanas se confunden a menudo. La interpretabilidad es la capacidad de entender el funcionamiento interno de un modelo: un árbol de decisión o una tabla de puntuación se leen directamente. La explicabilidad es la capacidad de justificar un resultado concreto en términos comprensibles, incluso para un modelo opaco como una red neuronal. Para los modelos de «caja negra» predominan dos métodos. LIME (Ribeiro, Singh y Guestrin, 2016) aproxima localmente el modelo con uno simple alrededor de una decisión. SHAP (Lundberg y Lee, 2017) atribuye a cada variable su contribución al resultado, por ejemplo «la antigüedad restó 12 puntos». Para los grandes modelos de lenguaje el tema sigue siendo un campo de investigación: en marzo de 2025 Anthropic publicó trabajos de «rastreo de circuitos» que siguen parte de los pasos internos de un modelo. El mismo equipo mostró en abril de 2025 que el razonamiento que muestra un modelo de razonamiento no es una explicación fiable: Claude 3.7 Sonnet solo mencionaba, de media, el 25 % de las veces una pista que sí había utilizado. En el plano jurídico, el artículo 22 del RGPD regula las decisiones totalmente automatizadas con efectos jurídicos. En la sentencia Dun & Bradstreet Austria (C-203/22, 27 de febrero de 2025), el TJUE precisa que la persona puede exigir una explicación «concisa, transparente, inteligible» del procedimiento y de los principios aplicados. La mera comunicación de un algoritmo no basta. El AI Act añade el artículo 13 (transparencia de los sistemas de alto riesgo frente a los responsables del despliegue) y el artículo 86 (derecho a explicación de una decisión individual), aplicables a los sistemas del anexo III a partir del 2 de diciembre de 2027 tras el Ómnibus.

Ejemplo concreto

Caso real, origen de la sentencia de 2025: en Austria, un operador móvil negó a una clienta un contrato de 10 euros al mes a partir de una puntuación de solvencia calculada automáticamente por Dun & Bradstreet Austria. La clienta pidió entender. La empresa alegó secreto comercial. El TJUE resolvió que la empresa debe explicar qué datos se usaron y cómo, de forma comprensible, y que si considera que eso revela un secreto comercial, debe transmitir la información a la autoridad de control o al tribunal, que pondera los intereses.

Caso ilustrativo: una empresa francesa de crédito al consumo utiliza un modelo de puntuación. En cada denegación, el asesor dispone de los tres factores que más pesaron (calculados con SHAP) y de una frase tipo: «ratio de endeudamiento superior al 35 %, antigüedad laboral inferior a un año». El cliente puede impugnar y un analista revisa el expediente. La empresa cumple así el artículo 22 del RGPD y se prepara para el artículo 86 del AI Act.

Comparación

Explicabilidad e interpretabilidad: qué las distingue
InterpretabilidadExplicabilidad
Pregunta¿Cómo funciona el modelo?¿Por qué este resultado en este caso?
AlcanceEl modelo enteroUna decisión concreta
Métodos de ejemploTabla de puntuación, árbol de decisión, regresión lineal; rastreo de circuitos para LLM (investigación)SHAP, LIME, contrafactuales («si sus ingresos hubieran sido X, la respuesta habría cambiado»)
PúblicoCientíficos de datos, auditoresPersona afectada, asesor, regulador
Texto de referenciaAI Act, artículo 13 (transparencia frente al responsable del despliegue)RGPD, artículos 15 y 22; AI Act, artículo 86

Preguntas frecuentes

¿Qué es la IA explicable?

Es el conjunto de métodos que permiten entender y justificar el resultado de un sistema de IA: qué factores pesaron, en qué sentido y con qué importancia. El objetivo es que una persona (usuario, cliente, regulador) pueda verificar una decisión e impugnarla.

¿Cuál es la diferencia entre explicabilidad e interpretabilidad?

La interpretabilidad se refiere al modelo en sí: se entiende su funcionamiento al leerlo (tabla de puntuación, árbol de decisión). La explicabilidad se refiere a un resultado: se justifica una decisión concreta, aunque el modelo sea opaco, por ejemplo con SHAP o LIME.

¿Cuáles son los métodos de IA explicable?

Los más usados son SHAP, que atribuye a cada variable su contribución al resultado, y LIME, que aproxima el modelo con uno simple alrededor de una decisión. Para los grandes modelos de lenguaje, los métodos de interpretabilidad (rastreo de circuitos) siguen siendo investigación.

¿Es obligatoria la explicabilidad de la IA?

Sí, en varios casos. El RGPD (artículos 15 y 22) obliga a explicar una decisión totalmente automatizada con efectos significativos, como precisó el TJUE el 27 de febrero de 2025. El AI Act exige transparencia a los sistemas de alto riesgo (artículo 13) y un derecho a explicación (artículo 86), desde el 2 de diciembre de 2027 para el anexo III.

¿Hay que comunicar el algoritmo para explicar una decisión?

No. Según el TJUE (asunto C-203/22), la mera comunicación de una fórmula o de un algoritmo no es una explicación suficiente. Hay que describir el procedimiento y los principios efectivamente aplicados, de forma comprensible. Puede alegarse un secreto comercial, pero entonces la autoridad o el juez pondera.

¿Es explicable un modelo de razonamiento que muestra su reflexión?

No realmente. Anthropic mostró en abril de 2025 que los modelos de razonamiento omiten a menudo elementos que utilizaron: Claude 3.7 Sonnet mencionaba una pista recibida el 25 % de las veces de media, DeepSeek R1 el 39 %. El razonamiento mostrado no prueba el razonamiento real.

Ver también

Para profundizar

Reasoning models don't always say what they think, Anthropic, 3 de abril de 2025 (recurso externo)

Fuentes

  1. Sentencia del Tribunal de Justicia de la Unión Europea (Sala Primera) de 27 de febrero de 2025, CK contra Magistrat der Stadt Wien, Dun & Bradstreet Austria GmbH, asunto C-203/22. https://curia.europa.eu/juris/liste.jsf?num=C-203/22 (consultado el 2026-09-30)
  2. Reglamento (UE) 2024/1689 (AI Act), artículos 13 y 86, y Reglamento (UE) 2026/1744 (Ómnibus digital sobre IA) para el calendario, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2024/1689/oj (consultado el 2026-09-30)
  3. Reasoning models don't always say what they think, Anthropic Alignment Science, 3 de abril de 2025. https://www.anthropic.com/research/reasoning-models-dont-say-think (consultado el 2026-09-30)
  4. A Unified Approach to Interpreting Model Predictions (SHAP), Lundberg y Lee, NeurIPS 2017, arXiv:1705.07874. https://arxiv.org/abs/1705.07874 (consultado el 2026-09-30)

← Volver al glosario

Dirección copiada