Comme vous le savez, je bosse sur ce que j’appelle le « moment Netscape » des systèmes d’agents edge destinés au grand public. C’était toute une aventure. Ces deux dernières années, je me suis taillé un espace philosophique totalement différent du reste de l’industrie. Ce n’est ni bien ni mal. C’est comme ça.
Quand les navigateurs IA sont sortis et que j’ai réalisé à quel point ils sont nuls... j’ai décidé que ça ne viendrait pas des gros labos. Ça fait presque deux ans. Être patiente et attendre qu’ils pigent le truc, c’est trop demander.
Ce week-end, j’ai eu un déclic.
Mon projet actuel s’appelle Busy. J’en suis à la 36e itération. Les versions précédentes de l’app ont testé divers formats et théories sur le fonctionnement des systèmes d’agents. Mais là, j’ai trouvé une ergonomie vraiment intéressante qui, je pense, nous rapproche d’une forme finale.
Pour en revenir au concept original. C’est un système d’agents Godelling qui pose et répond à la question : « Que dois-je faire pour exister ? ». Et ça part de là.
La cible, c’est le matériel grand public.
Le dernier déclic concerne l’exposition des scores de confiance dans Llama.cpp. Il s’avère que tout ce qu’un modèle dit est calculé. On peut repérer les hallucinations et les suppositions en évaluant le score de confiance de n’importe quelle réponse.
Vous savez quoi d’autre faire avec llama.cpp ?
Orchestrer le processus de pensée et la chaîne de raisonnement de n’importe quel modèle.
J’ai donc écrit une boucle qui vit à l’intérieur de la grande boucle d’agents qui pilote le processus. J’ai dit au système d’évaluer ce score sur trois états de base — bas, moyen et haut — chacun déclenchant des processus basiques différents qui affectent l’état de raisonnement de la machine. Certitude basse : on va chercher plus d’infos. Moyenne : on passe plus de temps à réfléchir. Haute : on continue son chemin.
D’un coup, on peut coder avec des modèles 4b... sans aucun réentraînement.
Je ne comprends pas pourquoi ce n’est pas déjà une norme dans les systèmes d’agents.
Ça me semble évident.
Attendez de voir mon prochain tour.
Plus d’infos bientôt.