التضمين (Embedding)

Un embedding est la transformation d'une donnée (texte, image, audio) en un vecteur de nombres réels de haute dimension. Deux éléments sémantiquement proches (ex: 'chien' et 'canin') ont des vecteurs proches dans l'espace d'embedding, même si leurs mots sont différents. C'est ce qui permet à l'IA de comprendre le sens plutôt que de faire de la simple correspondance de mots-clés.

Dans le contexte du RAG et de la recherche sémantique, les embeddings sont essentiels : les documents sont transformés en vecteurs et stockés dans une base vectorielle (Pinecone, Weaviate, pgvector). Quand un utilisateur pose une question, elle est également transformée en vecteur et la base vectorielle retourne les documents les plus similaires sémantiquement.

Les modèles d'embedding les plus utilisés sont text-embedding-ada-002 d'OpenAI, les modèles de Sentence-Transformers, et E5 de Microsoft. Pour les applications multilingues, des modèles comme multilingual-e5 sont particulièrement performants.