Riesgos y gobernanza de la IA: 27 nociones clave

AI ActEl AI Act es el reglamento europeo 2024/1689, primer marco jurídico mundial que clasifica los sistemas de IA por nivel de riesgo y que impone obligaciones diferenciadas: prohibición para los usos inaceptables, exigencias estrictas para los sistemas de alto riesgo, transparencia para los demás.
AI Act para directivosEl AI Act, en vigor desde el 1 de agosto de 2024, clasifica los sistemas de IA por nivel de riesgo, y el Ómnibus digital aplazó hasta finales de 2027 las obligaciones sobre el alto riesgo. Este aplazamiento no exime a un comité de dirección de cartografiar sus usos, formar (artículo 4), dejar trazas y designar un responsable.
Alfabetización en IA (artículo 4)La alfabetización en IA designa las capacidades, los conocimientos y la comprensión que permiten utilizar sistemas de IA con conocimiento de causa y ser conscientes de sus oportunidades, riesgos y posibles perjuicios. Desde el 2 de febrero de 2025, el artículo 4 del AI Act obliga a toda organización que suministra o despliega IA a adoptar medidas para desarrollarla en sus equipos, sin imponer una formación tipo ni un certificado.
AlineaciónLa alineación es el conjunto de técnicas que buscan orientar el comportamiento de un modelo de IA hacia los objetivos y los valores humanos de su usuario o de su editor. Transforma un modelo bruto, capaz de producir cualquier cosa, en un asistente útil, honesto y que rechaza las solicitudes contrarias a las reglas fijadas.
Asegurar jurídicamente la IA generativaProhibir la IA generativa empuja los usos a la sombra, y dejarla hacer expone a la empresa. Una política escrita, una herramienta validada y una supervisión humana de los resultados cubren el RGPD, el AI Act y la responsabilidad de la empresa sin frenar a nadie.
Auditar la madurez en IAAuditar la madurez en IA consiste en medir lo que se usa realmente, qué datos circulan por ello y qué marco existe, y situar después a la organización entre negación, prohibición, encuadre y gobernanza. Sin un inventario de usos, una organización no puede afirmar que controla sus riesgos de IA.
Barómetro Shadow AI 2026En 2026, el uso no supervisado de la IA generativa en el trabajo ya no es marginal. Dos tercios de los profesionales de oficina que usan la IA para su trabajo lo han hecho con una herramienta que creían prohibida, y el 88 % ya ha compartido información profesional con una IA pública: correos, actas de reuniones, datos de clientes.
Datos de entrenamientoLos datos de entrenamiento son el conjunto de textos, imágenes, códigos y otros contenidos utilizados para entrenar un modelo de IA. Su composición determina lo que el modelo sabe, lo que ignora, sus sesgos y sus riesgos jurídicos. Una parte mayor del contencioso IA actual se refiere a su procedencia y a su licitud.
Deepfake (ultrafalsificación)Un deepfake (ultrafalsificación) es una imagen, un sonido o un vídeo generado o manipulado por una IA que se parece a una persona, un lugar o un suceso reales y puede confundirse con algo auténtico. En Europa, el AI Act obliga a indicar que ese contenido es artificial. En Francia, el artículo 226-8 del Código Penal castiga su difusión sin consentimiento y sin mención.
Delegar a agentes IAUn agente de IA no es una herramienta que se lanza, es una decisión que se delega. Mientras la doctrina de delegación no esté escrita, cada agente creado la traza en lugar del directivo, y la suma de esas elecciones por defecto, dispersas, compone la verdadera política de IA de la empresa.
Encuadrar el shadow AIEncuadrar el shadow AI es redactar una política de IA legible, proporcionar una herramienta validada y bien alojada, y hacer que una persona revise todo resultado de alto impacto. Formar antes de sancionar.
Etiquetado de contenidos generados por IA (artículo 50)El etiquetado de contenidos generados por IA designa las señales, legibles por máquina (marca de agua invisible, metadatos) o por una persona (etiqueta, mención), que indican que una imagen, un vídeo, un audio o un texto ha sido producido o modificado por una IA. El artículo 50 del AI Act lo exige desde el 2 de agosto de 2026: los proveedores marcan técnicamente los resultados de sus sistemas generativos, y las empresas que difunden ultrasuplantaciones (deepfakes) o ciertos textos de interés público deben indicarlo.
Gobernanza de la IA en el CAC 40 (estudio 2026)En sus documentos de registro universal del ejercicio 2025, las 40 empresas del CAC 40 describen usos de la inteligencia artificial y 38 presentan una estrategia de IA. Pero solo 19 mencionan una política o carta de IA, 9 indican haberla hecho pública y 14 designan un órgano directivo encargado de pilotar la IA (estudio WYP.agency, octubre de 2026).
Huella de carbono de la IALa huella de carbono de la IA es el conjunto de las emisiones de gases de efecto invernadero ligadas a su ciclo de vida: entrenamiento de los modelos, fabricación de los componentes, funcionamiento de los centros de datos e inferencia en uso. Se está convirtiendo en una partida de consumo significativa a escala mundial.
Human in the loop (humano en el bucle)El human in the loop (humano en el bucle) designa un modo de funcionamiento en el que una persona valida, corrige o rechaza cada decisión de un sistema de IA antes de que produzca efectos. Se distingue del human on the loop, donde la IA actúa sola bajo la vigilancia de un humano capaz de intervenir, y del human out of the loop, donde ningún humano interviene durante el funcionamiento.
IA explicable (XAI)La IA explicable (XAI, explainable AI) agrupa los métodos que permiten entender por qué un sistema de IA produjo un resultado concreto y explicárselo a la persona afectada. En Europa es también una exigencia jurídica: desde la sentencia del TJUE de 27 de febrero de 2025, quien es objeto de una decisión automatizada puede exigir una explicación del procedimiento y de los principios efectivamente aplicados.
IA frugalLa IA frugal designa un servicio de IA cuya necesidad frente a una solución menos consumidora se ha demostrado, que aplica buenas prácticas para reducir su impacto ambiental y cuyos usos se han cuestionado para mantenerse dentro de los límites planetarios. Es la definición de la AFNOR Spec 2314, referencial francés publicado en junio de 2024 y descargable gratuitamente.
IA responsableLa IA responsable designa una forma de diseñar, comprar y utilizar la IA que respeta principios verificables: equidad, respeto de los derechos y de la privacidad, transparencia, robustez, responsabilidad claramente asignada y sobriedad ambiental. La referencia internacional son los cinco principios de la OCDE, adoptados en mayo de 2019 y revisados en mayo de 2024.
Inyección de prompt (prompt injection)La inyección de prompt (prompt injection) es un ataque que consiste en introducir instrucciones en el texto que procesa una IA para desviar su comportamiento: ignorar sus consignas, revelar datos, desencadenar una acción. Clasificada por OWASP como el primer riesgo de las aplicaciones basadas en LLM (LLM01:2025), afecta sobre todo a los asistentes y agentes que leen contenidos externos: páginas web, emails, documentos, CV.
ISO/IEC 42001ISO/IEC 42001 es la norma internacional, publicada en diciembre de 2023 por ISO y la CEI, que fija los requisitos de un sistema de gestión de la inteligencia artificial (SGIA): política, funciones, evaluación de riesgos e impactos, controles y mejora continua. Es voluntaria y certificable, pero no es una norma armonizada del AI Act: un certificado ISO 42001 no otorga presunción de conformidad con el reglamento europeo.
Red teamingEl red teaming, tomado de la ciberseguridad, es la práctica de probar un sistema de IA simulando intentos de uso adverso: rodeo de las reglas, extracción de datos sensibles, generación de contenidos prohibidos. Busca identificar las vulnerabilidades antes de que un actor malicioso las explote en producción.
RGPD e IAEl RGPD encuadra todo tratamiento de datos personales por un sistema de IA operado en la Unión Europea o dirigido a personas que se encuentran en ella. Cuatro obligaciones se aplican con prioridad: finalidad explícita, minimización de los datos, derechos de acceso y de oposición, y estudio de impacto para los tratamientos de riesgo elevado.
SalvaguardasLas salvaguardas son capas técnicas de control, añadidas en entrada o en salida de un modelo de IA, que detectan y bloquean los comportamientos indeseables: prompts maliciosos, fugas de datos, contenidos prohibidos. Son distintas de la alineación, que actúa sobre el comportamiento por defecto del modelo en sí.
Sesgo algorítmicoUn sesgo algorítmico es una desviación sistemática de un modelo de IA, heredada de los datos de entrenamiento, de las decisiones de diseño o del contexto de despliegue, que produce decisiones inequitativas o erróneas en detrimento de un grupo de población o de un tipo de caso.
Soberanía digitalLa soberanía digital es la capacidad de una empresa o de un Estado para dominar sus datos, sus infraestructuras y sus herramientas de IA, independientemente de jurisdicciones extranjeras. Condiciona la confidencialidad, la conformidad reglamentaria y la resiliencia ante rupturas de acceso dictadas por decisiones políticas externas.
Sycophancy (complacencia de la IA)La sycophancy (en español: complacencia o adulación de la IA) es la tendencia de un modelo de IA generativa a adaptar sus respuestas para dar la razón al usuario, a veces a costa de la exactitud. Procede en parte del entrenamiento con preferencias humanas, que recompensa las respuestas agradables más que las correctas.
Ómnibus digital (Digital Omnibus)El Ómnibus digital (Digital Omnibus) es un paquete de simplificación de las normas digitales europeas presentado por la Comisión el 19 de noviembre de 2025. Su parte sobre IA, el Reglamento (UE) 2026/1744 en vigor desde el 27 de julio de 2026, aplaza al 2 de diciembre de 2027 las obligaciones de alto riesgo del AI Act, mientras que su parte sobre datos, que modificaría el RGPD, sigue en negociación a 14 de octubre de 2026.

Otras categorías