Dernière revue :
Qu'est-ce qu'un agent IA visuel (visual AI agent) ? Définition et usages
Un agent IA visuel est un agent qui prend l'image — photo, vidéo, capture d'écran, document scanné — comme entrée première : il perçoit un contenu visuel, en extrait le sens, décide, puis déclenche une action dans les outils métier, là où un agent classique n'agit que sur du texte.
Deux familles d'agents visuels coexistent. La première perçoit des écrans et des interfaces pour agir à la place de l'utilisateur : l'agent voit une capture d'écran, localise boutons et champs, clique et saisit — c'est le principe du computer use. La seconde analyse les visuels soumis par un client — photo d'un produit défectueux, vidéo d'une panne, PDF d'un contrat — pour en extraire l'information utile et déclencher l'action correspondante dans le CRM, l'ERP ou le ticket. Le point commun : la perception passe par l'image, pas par un formulaire texte. Ce déplacement change la matière traitée. Une part importante de la relation client arrive déjà sous forme visuelle : selon SnapCall, près d'un quart des tickets support comportant une pièce jointe ne sont jamais analysés, faute d'outil pour les lire. L'agent visuel referme cette boucle : voir, comprendre, agir.
Exemple concret
Un e-commerçant de mobilier traite les retours pour casse à l'aide d'un agent IA visuel. Le client photographie l'article endommagé depuis le lien de retour. L'agent lit la photo, identifie le produit et la nature du dommage (angle fendu, verre brisé, rayure), la recoupe avec la commande dans le CRM, applique la politique de retour, et propose une décision : remboursement immédiat sous un certain seuil, renvoi de la pièce, ou escalade à un humain si la photo est ambiguë ou l'enjeu élevé. Un traitement qui demandait plusieurs allers-retours par email — « pouvez-vous renvoyer une photo sous un autre angle ? » — se règle en une interaction. Les cas nets sont clos automatiquement ; les cas douteux, et eux seuls, remontent à un opérateur.
Comparaison
| Agent qui perçoit l'écran (computer use) | Agent qui analyse les visuels clients | |
|---|---|---|
| Entrée | Captures d'écran, interfaces | Photos, vidéos, documents envoyés par le client |
| Objectif | Agir dans un logiciel à la place de l'utilisateur | Extraire l'information d'un visuel et déclencher une action métier |
| Exemple | Remplir un formulaire, naviguer dans une application | Traiter un retour à partir d'une photo de produit |
| Où l'humain intervient | Valide les actions engageantes | Arbitre les cas ambigus et l'escalade |
Questions fréquentes
Qu'est-ce qu'un agent IA visuel ?
Un agent IA visuel est un agent qui prend l'image — photo, vidéo, capture d'écran, document scanné — comme entrée première : il perçoit un contenu visuel, en extrait le sens, décide, puis déclenche une action dans les outils métier, là où un agent classique n'agit que sur du texte.
Quelle différence avec la reconnaissance d'image ou l'OCR ?
Reconnaître qu'une image contient un objet ou lire un texte n'a pas de valeur opérationnelle en soi. Un agent IA visuel ajoute la boucle décision-action : recouper avec les données métier, appliquer une règle, agir dans le système, et savoir quand escalader à un humain.
Quels sont les deux types d'agents IA visuels ?
D'abord les agents qui perçoivent des écrans et des interfaces pour agir à la place de l'utilisateur (computer use). Ensuite les agents qui analysent les visuels soumis par un client — photo, vidéo, document — pour en extraire l'information et déclencher l'action correspondante dans le CRM ou l'ERP.
Quels sont les risques d'un agent IA visuel ?
Deux surtout : le confondre avec une simple reconnaissance d'image, et négliger que les visuels clients sont des données personnelles. Avant la production, il faut cadrer la conservation et la base légale des images (RGPD) et fixer un seuil de confiance en dessous duquel l'humain tranche.
À voir aussi
Pour aller plus loin
SnapCall — résolution de réclamations à preuves (AI Claim Resolution)
Sources
- SnapCall — AI Claim Resolution. https://snapcall.io
- Introducing computer use, Anthropic, octobre 2024. https://www.anthropic.com/news/3-5-models-and-computer-use