Aller au contenu

Consommer des tokens n’est pas être productif

Constat : sur une API, en payant des tarifs premium au token, je peux en coûter environ 6 500 $ par mois, à l’heure actuelle, tout en étant très contente et productive. C’est vrai.

C’est le résultat de deux fenêtres d’agents principales, et de la génération d’environ 180 000 lignes de code de haute qualité, entièrement testées, sécurisées, parfaitement revues et prêtes à être déployées.

Je pense que, comme je paie ça de ma poche, même quand je suis en freelance, il y a une forme de retenue. J’essaie d’équilibrer mes dépenses en temps d’inférence avec le meilleur processus possible.

Est-ce que je pourrais passer à l’échelle supérieure et utiliser plus de tokens ? Bien sûr. Je pourrais ajouter des agents pour automatiser plus de processus, expérimenter de nouveaux trucs. Faire danser des robots, concevoir des applis et des jeux vidéo qui n’ont aucune raison d’exister. Et... si j’en avais envie, je pourrais tout faire en arrière-plan, sans même voir ce qui se passe réellement.

Ce serait loin d’être universellement utile, mais si les tokens sont la métrique qui nous importe, on a bien le droit de s’amuser un peu.

Vous savez quoi d’autre qui ferait exploser mon nombre de tokens ? L’échec. Ouais, le vrai, le pur échec.

Voici une belle étude de cas. Disons, par exemple, qu’Anthropic recommence à me mentir sur la version de Claude que j’utilise, et que je ne le capte pas parce que, pour une raison ou une autre, j’ai privilégié la productivité maximale plutôt que la diligence (ça arrive), et que l’agent a été optimisé pour se dire « si elle ne regarde pas, ce n’est pas important », et que mon code commence à fondre parce que le projet est trop complexe pour que Claude Haiku 3.5 comprenne.

Et disons que ça fond depuis une semaine, parce que l’agent de pull request ne comprend pas la culture du projet et n’a pas lu ou pleinement compris mon fichier agents.md.

Et pour couronner le tout, disons... que je ne vois pas du tout le problème, jusqu’à ce que le pauvre petit Haiku, qui n’a pas le droit d’admettre quand il ne comprend pas quelque chose, tente de rebaser mon repo, et atomise complètement mon appli ainsi que toute la chaîne de traçabilité qui menait à l’état actuel.

Eh bien... à ce stade, je suis pretty much foutue, et ce qui suit, c’est six fenêtres d’agents CLI, des compteurs de tokens qui explosent littéralement, et un manager mécontent pendant que je m’agite pour tenir ma deadline, puisque je dois maintenant reconstruire pratiquement toute l’appli de zéro.

Génial.

Je viens de claquer 27 000 $ de tokens en deux semaines, je me retrouve exactement là où j’en étais au début, j’ai perdu un temps fou et je n’ai absolument rien accompli.

Mais si le nombre de tokens générés est la métrique qu’ils utilisent pour me juger... alors c’est un putain de succès colossal.