En une phrase
Le projet GitHub "Caveman" rend les réponses des LLM plus concises, réduisant l'utilisation de tokens et, plus significativement, améliorant potentiellement leur performance, une étude montrant que la concision peut inverser les hiérarchies de performance des modèles.
Points clés
- Le projet "Caveman" : Une initiative GitHub qui modifie les LLM (notamment Claude) pour qu'ils s'expriment de manière plus concise, à la manière d'un homme des cavernes, en supprimant le "remplissage" des réponses et en compressant les fichiers de mémoire.
- Économies de tokens réelles : Contrairement aux affirmations initiales du dépôt (75% en sortie, 45% en entrée), les économies réelles de tokens sont plus modestes (environ 4-5% du total d'une session), affectant principalement les réponses textuelles (prose) et non les blocs de code ou les appels d'outils.
- Amélioration des performances : Une étude récente ("Brevity Constraints, Reverse Performance Hierarchies, and Language Models", mars 2024) révèle que forcer les grands modèles de langage à être concis peut améliorer leur précision jusqu'à 26% et réduire les écarts de performance, leur permettant parfois de surpasser des modèles plus petits.
- Le phénomène de l'"overthinking" : L'étude suggère que les grands modèles ont une tendance naturelle à être trop verbeux, un "overthinking" qui introduit des erreurs. Cette verbosité excessive pourrait être liée à l'apprentissage par renforcement, où les humains préfèrent potentiellement des réponses plus détaillées.
- Recommandations pratiques : Indépendamment de l'utilisation de "Caveman", l'intégration d'instructions de concision ("sois concis", "pas de remplissage", "droit au but") dans les prompts système est fortement conseillée pour optimiser l'utilisation des tokens et potentiellement améliorer la qualité et la pertinence des réponses des LLM.
Ressources
- Caveman — projet GitHub pour rendre les LLM plus concis.
- Brevity Constraints, Reverse Performance Hierarchies, and Language Models — étude de recherche sur l'impact de la concision sur la performance des LLM.
- Claude — modèle de langage d'Anthropic mentionné comme cible du projet Caveman.
- Anthropic — entreprise développant les modèles Claude.
- Chase AI Plus — service de "masterclass" sur Claude Code mentionné par le présentateur.