Qu'est-ce qu'un embedding ? Définition et enjeux pour l'entreprise

Un modèle d'embedding est un réseau de neurones spécialisé, distinct du LLM, qui prend un texte en entrée et produit un vecteur numérique fixe en sortie. La dimension de ce vecteur varie selon le modèle : 1 536 pour OpenAI text-embedding-3-small, 3 072 pour text-embedding-3-large, 1 024 pour Voyage 3 ou Mistral Embed. Plus la dimension est élevée, plus le vecteur peut capturer de nuances sémantiques, au prix d'un coût de stockage et de calcul proportionnel. La propriété fondamentale d'un embedding est que la distance entre deux vecteurs (mesurée par produit scalaire ou similarité cosinus) reflète la proximité sémantique des textes correspondants. « Avocat de la défense » et « conseil juridique » sont distants dans le dictionnaire mais proches dans l'espace d'embedding. C'est ce qui permet, dans un RAG, de retrouver les passages pertinents même quand la requête utilise des mots différents de ceux du document cible.