Le fonctionnement d'un LLM
Un grand modèle de langage (LLM) prédit le mot (plus précisément le token) le plus probable pour continuer un texte, appris à partir d'énormes quantités de données. De ce mécanisme statistique émergent des capacités de rédaction, de synthèse et de raisonnement.
Les phases d'entraînement
On distingue le pré-entraînement (le modèle apprend le langage sur un immense corpus) puis l'affinage (fine-tuning et apprentissage par retours) qui l'oriente vers des réponses utiles, honnêtes et inoffensives. C'est cette seconde phase qui façonne le « caractère » de Claude.
Les LRM et l'effort de raisonnement
Certains modèles peuvent « réfléchir » avant de répondre en produisant des étapes de raisonnement intermédiaires (LRM, reasoning models). On peut moduler cet effort : plus d'étapes améliore les tâches complexes (maths, code, logique) mais consomme davantage.
Composition et gestion du contexte
Le contexte est tout ce que le modèle « voit » à un instant : votre message, l'historique de la conversation, les fichiers joints, les instructions. Sa taille est limitée (fenêtre de contexte). Bien gérer le contexte — fournir l'essentiel, éviter le superflu — améliore nettement les réponses.
La spécificité Anthropic : la Constitution IA
Anthropic entraîne Claude selon une IA constitutionnelle : un ensemble de principes explicites (une « constitution ») guide le modèle vers des réponses utiles et sûres, plutôt que de dépendre uniquement de jugements humains cas par cas. C'est une approche distinctive de l'alignement.
L'économie des tokens et la facturation
Le texte est découpé en tokens (fragments de mots). Le modèle facture — en API — selon le nombre de tokens en entrée et en sortie. Comprendre cette unité aide à estimer le coût et à écrire des demandes efficaces.
| Terme | Signifie |
|---|---|
| Token | un fragment de texte (~ ¾ de mot en moyenne) |
| Tokens d'entrée | ce que vous envoyez (contexte inclus) |
| Tokens de sortie | ce que le modèle génère |
- Un LLM prédit le token suivant : il génère, il ne « cherche » pas.
- Pré-entraînement puis affinage (utile, honnête, inoffensif).
- Les modèles de raisonnement produisent des étapes ; l'effort est modulable.
- Contexte = ce que le modèle voit ; tokens = l'unité de texte et de coût.