# Qu'est-ce qu'un agent IA visuel (visual AI agent) ? Définition et usages

> Un agent IA visuel est un agent qui prend l'image (photo, vidéo, capture d'écran, document scanné) comme entrée première : il perçoit un contenu visuel, en extrait le sens, décide, puis déclenche une action dans les outils métier, là où un agent classique n'agit que sur du texte.

## Définition
Deux familles d'agents visuels coexistent. La première perçoit des écrans et des interfaces pour agir à la place de l'utilisateur : l'agent voit une capture d'écran, localise boutons et champs, clique et saisit : c'est le principe du *computer use*. La seconde analyse les visuels soumis par un client (photo d'un produit défectueux, vidéo d'une panne, PDF d'un contrat) pour en extraire l'information utile et déclencher l'action correspondante dans le CRM, l'ERP ou le ticket. Le point commun : la perception passe par l'image, pas par un formulaire texte. Ce déplacement change la matière traitée. Une part importante de la relation client arrive déjà sous forme visuelle : selon SnapCall, près d'un quart des tickets de support contiennent des pièces jointes qui ne sont jamais analysées, et l'information qu'elles portent reste inexploitée. L'agent visuel referme cette boucle : voir, comprendre, agir.

## Exemple
Cas illustratif. Un e-commerçant de mobilier traite les retours pour casse à l'aide d'un agent IA visuel. Le client photographie l'article endommagé depuis le lien de retour. L'agent lit la photo, identifie le produit et la nature du dommage (angle fendu, verre brisé, rayure), la recoupe avec la commande dans le CRM, applique la politique de retour, et propose une décision : remboursement immédiat sous un certain seuil, renvoi de la pièce, ou escalade à un humain si la photo est ambiguë ou l'enjeu élevé. Un traitement qui demandait plusieurs allers-retours par email (« pouvez-vous renvoyer une photo sous un autre angle ? ») se règle en une interaction. Les cas nets sont clos automatiquement ; les cas douteux, et eux seuls, remontent à un opérateur.

## Pour un dirigeant
Le piège : confondre un agent IA visuel avec de la simple reconnaissance d'image. Reconnaître qu'une photo contient un canapé n'a aucune valeur opérationnelle ; ce qui compte, c'est la boucle décision-action derrière : recouper avec la commande, appliquer une règle, écrire dans le système, savoir quand s'arrêter et escalader. Un projet qui s'arrête à « le modèle sait lire l'image » livre une démo, pas un agent. Deuxième piège, plus lourd : les visuels clients sont des données personnelles. Une photo peut contenir un visage, une plaque, une adresse, un document d'identité en arrière-plan. Déployer un agent visuel sans cadrer la conservation, la minimisation et la base légale de ces images, c'est ouvrir un risque RGPD à l'échelle de tout votre flux de support. Exigez, avant la mise en production, un seuil de confiance en dessous duquel l'humain tranche, et une politique de rétention des visuels.

*Les deux familles d'agents IA visuels.*

|  | Agent qui perçoit l'écran (computer use) | Agent qui analyse les visuels clients |
| --- | --- | --- |
| Entrée | Captures d'écran, interfaces | Photos, vidéos, documents envoyés par le client |
| Objectif | Agir dans un logiciel à la place de l'utilisateur | Extraire l'information d'un visuel et déclencher une action métier |
| Exemple | Remplir un formulaire, naviguer dans une application | Traiter un retour à partir d'une photo de produit |
| Où l'humain intervient | Valide les actions engageantes | Arbitre les cas ambigus et l'escalade |

## Questions fréquentes

**Qu'est-ce qu'un agent IA visuel ?**
Un agent IA visuel est un agent qui prend l'image (photo, vidéo, capture d'écran, document scanné) comme entrée première : il perçoit un contenu visuel, en extrait le sens, décide, puis déclenche une action dans les outils métier, là où un agent classique n'agit que sur du texte.

**Quelle différence avec la reconnaissance d'image ou l'OCR ?**
Reconnaître qu'une image contient un objet ou lire un texte n'a pas de valeur opérationnelle en soi. Un agent IA visuel ajoute la boucle décision-action : recouper avec les données métier, appliquer une règle, agir dans le système, et savoir quand escalader à un humain.

**Quels sont les deux types d'agents IA visuels ?**
D'abord les agents qui perçoivent des écrans et des interfaces pour agir à la place de l'utilisateur (computer use). Ensuite les agents qui analysent les visuels soumis par un client (photo, vidéo, document) pour en extraire l'information et déclencher l'action correspondante dans le CRM ou l'ERP.

**Quels sont les risques d'un agent IA visuel ?**
Deux surtout : le confondre avec une simple reconnaissance d'image, et négliger que les visuels clients sont des données personnelles. Avant la production, il faut cadrer la conservation et la base légale des images (RGPD) et fixer un seuil de confiance en dessous duquel l'humain tranche.

## À lire aussi

- [Résolution de réclamations à preuves](https://wyp.agency/glossaire/reclamations-a-preuves/)
- [Agent IA](https://wyp.agency/glossaire/agent-ia/)
- [Multimodal](https://wyp.agency/glossaire/multimodal/)
- [Boucle agentique](https://wyp.agency/glossaire/boucle-agentique/)
- [Automatisation augmentée](https://wyp.agency/glossaire/automatisation-augmentee/)
- [Vision par ordinateur (computer vision)](https://wyp.agency/glossaire/vision-par-ordinateur/)

## Sources

- SnapCall, site de l'éditeur (AI Claim Resolution, Visual AI Agents), source commerciale (https://snapcall.io)
- Introducing computer use, Anthropic, octobre 2024 (https://www.anthropic.com/news/3-5-models-and-computer-use)

---
Fiche du glossaire IA de WYP.agency · https://wyp.agency/glossaire/agent-ia-visuel/ · Dernière mise à jour : 2026-10-14