Voilà ce que j’en pense :
Des embeddings plus gros ne signifient pas forcément une meilleure recherche.
En fait, c’est généralement l’inverse.
Si votre but est la recherche... une récupération rapide, pertinente et alignée sur l’intention, alors ajouter des dimensions ne fait souvent qu’ajouter du bruit.
Une recherche bruitée, c’est des résultats moins utiles, plus de surcharge et une complexité accrue pour le classement et l’analyse.
Des embeddings plus petits sont plus serrés, plus rapides, plus ciblés.
Ils se focalisent sur ce qui compte.
Ils ne partent pas chasser les papillons sémantiques à travers des milliers de dimensions inutiles.
Parfait pour :
- 🔹 Les FAQ
- 🔹 Le contenu structuré
- 🔹 La récupération rapide
Mais balancez une pile de décisions de justice de 90 pages dans le lot, et tout change.
- 🌀 Là, on a besoin d’un contexte transversal
- 🌀 On a besoin d’une nuance qui s’étend sur des paragraphes, pas sur des mots-clés
- 🌀 On a besoin que la différence entre « rejeté avec préjudice » et « rejeté sans » soit réellement prise en compte
C’est là que les gros modèles, et surtout une architecture plus intelligente, commencent à briller.
- ⚙️ Chunkez par argument, pas par page
- ⚙️ Utilisez des embeddings de taille moyenne, optimisés pour le domaine
- ⚙️ Lancez une seconde passe avec un contexte global si la première ne suffit pas
Le sens transformé en maths
Mais Lynn... c’est quoi déjà, un embedding ?
D’accord, c’est parti.
Un embedding, c’est notre façon de transformer le sens en maths.
Des phrases, des paragraphes, des documents, réduits à des vecteurs, où les choses similaires sont proches les unes des autres.
Sauf que... tous les vecteurs ne se valent pas.
🧠 Les petits modèles locaux comme MiniLM ou E5 sont bons pour la vitesse. Top pour la précision.
Génial quand on n’a pas besoin de lire entre les lignes.
🧠 Les modèles plus gros comme Ada v2 ou BGE sont plus lents, plus lourds. Mais ils voient mieux l’ensemble, si on les guide correctement.
Et puis, il y a le côté fun :
Le point clé à retenir, c’est que les embeddings, du moins seuls, ne sont pas des résumés.
Mais... nulle part il n’est écrit qu’on ne peut pas ajouter des résumés et d’autres éléments clés à ses embeddings, si ça rend la recherche plus facile.
Prenez l’immobilier : les détails techniques des données ne veulent souvent rien dire tout seuls, sans contexte supplémentaire.
Là, il vous faut des « embeddings riches ». On n’encode pas seulement le contenu brut, mais aussi la structure du sens.
Tags, résumés, métadonnées latentes, tout est intégré directement dans le vecteur.
Utilisés intelligemment, ils boostent votre recherche, rendent vos agents plus malins et apportent du contexte.
🎯 Ma règle d’or :
- ➡️ Plus de nuances = plus de dimensions
- ➡️ Plus de bruit = moins de performance
- ➡️ Connaissez votre corpus avant de vectoriser
Et utilisez toujours les bons outils pour le job.