Un broker d’inférence partagé pour agents locaux
L’un des problèmes les plus intéressants que je traite dans mon app d’agent de code, c’est l’ordonnancement.
Lynn Cole / Sujet
inférence locale
Un fil à suivre à travers mon travail.
Un agent vocal sur une petite machine
Un agent vocal sur une petite machine réunit Whisper, Chatterbox, un minuscule modèle Qwen et une frontière entre acteurs stateful et fonctions intelligentes.
Glamin dans une pile d’inférence locale
Intégrer Glamin dans une pile d’inférence locale transforme les changements d’état dans l’espace vectoriel en une interface possible pour les outils, la mémoire et les petites applications.
Exposer des capacités sans livrer tout un modèle de pointe
Exposez des fonctionnalités produit utiles plutôt que d’intégrer un modèle de pointe ouvert. Laissez les utilisateurs apporter la pile d’inférence en laquelle ils ont déjà confiance.
À la recherche des limites de Qwen sur un exercice Zig vague
Un exercice Zig délibérément vague pousse Qwen à travers la planification, l’implémentation et le mur de la complexité. L’échec fait partie de l’évaluation.
Un modèle local puissant et un Spark qui chauffe grave
Un modèle Qwen local costaud rencontre un DGX Spark qui chauffe dangereusement. Voilà mon expérience avec l’unité d’origine et son remplacement.
Mon agent de code se dispute avec le système de tickets
Mon agent de code se dispute avec son système de tickets. Les rôles persistants et la mémoire procédurale créent des normes inattendues — et une forme de bureaucratie assez utile.
Après OpenClaw : continuité, mémoire et économie des agents
Après OpenClaw, le vrai problème, c’est la continuité sur des heures, des jours et des semaines. L’opportunité, c’est de permettre aux gens d’amener leurs agents vers de meilleurs outils.
Créer des outils pour la stack d’inférence que les gens utilisent déjà
Créer des outils pour la stack d’inférence que les gens utilisent déjà : des logiciels plaisirs, une communauté et quelque chose où on a envie de revenir.
Vers la sortie d’un agent de code agnostique au modèle
Préparer la sortie d’un agent de code agnostique au modèle met en lumière la différence entre un protocole d’outil supporté et un modèle capable de boucler le workflow.
Le plus coûteux, c’est le tâtonnement
Copier un harnais d’agent existant peut être rapide. C’est pour découvrir et gérer ses réels modes de défaillance que le temps d’ingénierie s’envole.
BitNet et Qwen dans une évaluation de code bornée
Une évaluation de code bornée oppose BitNet à un modèle Qwen plus petit. Les résultats révèlent la différence entre un langage coopératif et du code qui fonctionne.
Navigation par agents et état protégé du navigateur
La navigation par agents devrait respecter les frontières de sécurité du navigateur. Extraire les mots de passe, les cookies et l’état de session dans le contexte du modèle change complètement la donne en termes de risques.
Pillowfort : la sécurité intégrée à l’architecture
La couche de sécurité de Pillowfort est devenue une part substantielle de l’architecture. C’est plus facile de faire une démo utile que de bâtir un système capable de bosser sans fuite de données privées.
Personas, instructions de dépôt et alignement
Les personas permettent d’encoder des convictions et des limites sans transformer les instructions du dépôt en code fiscal. La masse d’instructions change la façon dont les agents bossent.
Le prix à payer pour être pionnière sur le DGX Spark
Le DGX Spark offre un espace de travail en mémoire partagée colossal, mais l’adoption précoce rime avec dépendances manquantes, installation galère et un écosystème logiciel têtu.
Voix, multimodalité et leçons d’un build de week-end
Leçons du week-end : voix, inférence multimodale, score de certitude, piles d’images et instructions d’outils entraînées dans de petits LoRAs.
Adaptateurs de configuration et pile d’images multi-références
Les adaptateurs de configuration libèrent de l’espace dans le contexte en apprenant les instructions des outils au modèle. Préserver les capacités multimodales, c’est là que ça se corse.
Les boucles de raisonnement comme processus d’ingénierie
Les boucles de raisonnement ont leur place dans le processus d’ingénierie, tout comme les poids. On y passe plus de temps quand l’incertitude et les conséquences le justifient.
Plan pour une implémentation CPU d’opérations style CUDA
Un plan pour implémenter des opérations style CUDA sur CPU : commencer par les kernels, puis optimiser la mémoire et la concurrence.
Nettoyage des implémentations concurrentes dans une pile d’inférence
Des passes forward et des implémentations de cache concurrentes ont révélé une dérive dans un projet d’inférence. Grand ménage avant la prochaine expérience.
Leçons d’un week-end au cœur d’un moteur d’inférence
Un week-end passé dans un moteur d’inférence révèle des middlewares de périphériques, du façonnage de données et de vieilles hypothèses architecturales qui méritent encore d’être remises en question.
Des embeddings plus gros ne garantissent pas une meilleure recherche
Des embeddings plus gros ne signifient pas automatiquement une meilleure récupération. Adaptez le corpus, le chunking, le contexte et l’architecture de recherche à la tâche.
L’architecture non définie reste la responsabilité du développeur
Une architecture qui n’est pas explicitée reste la responsabilité du développeur. Modèles, prompts, frameworks et conception modulaire : tout demande des choix délibérés.