Tout le monde se précipite systématiquement vers l’entraînement d’IA comme solution miracle aux problèmes business. C’est une erreur. Les consultants et les prestataires ne s’y opposent généralement pas, même quand ils savent que ça ne marchera pas, parce que l’entraînement coûte cher et prend du temps.
Ça crée une incitation perverse à suivre le mouvement, peu importe si l’idée est foireuse.
Neuf fois sur dix, si un LLM échoue dans un processus, c’est parce que vous n’avez pas assez décomposé les étapes pour qu’elles soient comprises par un gamin de 8 ans qui doit demander la permission pour tout.
Les points clés où votre processus peut coincer.
- Le bruit (est-ce que vous balancez des vecteurs à vos agents parce que vous le pouvez... ou parce que c’est nécessaire ?). À quel point vos données d’instruction sont-elles propres ?
- Les instructions ambiguës - Vos étapes sont-elles clairement définies ?
- Les réponses d’outils non étiquetées - L’étiquetage fait la différence entre les succès qui durent et les succès qui virent à l’échec.
Avant de songer à l’entraînement... réfléchissez à vos données et à votre pipeline d’instructions, et économisez 30 000 $ de compute.
L’entraînement peut améliorer le raisonnement de la machine sur des problèmes spécifiques.
Ça peut même masquer des défauts mineurs dans votre processus (comme l’effet « ruban adhésif » qu’on voit dans la plupart des fine-tunings RAG). Mais c’est fragile, et ça expose à de nouvelles catégories d’hallucinations.
Le fine-tuning n’est pas la solution pour des pipelines d’information foireux — du moins pas si votre but est de bâtir des solutions qui survivent des années, et pas seulement quelques mois, en production.