10 KiB
31 — Évaluation de la méthode d'orchestration : statistiques avant / après (2026-10-06 → 2026-10-09)
- Date : 2026-10-09 | Lot : STAT1 | Entrée journal : CHG-271 | Décisions qui en découlent : CHG-268 à CHG-270 (lot SEQ1)
- Modèle : Claude Opus 5.5 (orchestrateur, session principale, déclaré par l'environnement) ; aucun sous-agent
- Période mesurée : du 2026-10-06 08:07:50 au 2026-10-09 16:41:10 (heure locale, UTC+2)
- Sources : transcriptions Claude Code des dossiers
~/.claude/projects/D--Game-LifePlay-master-5-5,-5-8et du worktreemeasurement-tool-character-animations(sous-agents compris, session de mesure exclue) ; fichesD:\Game\LifePlay-master 5.8\Docs\Migration\etat\;Journal_Modifications.md; plan 27 ; synthèse 28 § 3 ;etat/SK/SK-ARBRE.md§ 6.3 (indicateurs de gain) - Scripts de mesure (hors git, rejouables) :
D:\Game\LifePlay-master 5.8\Saved\STAT1\—sessions.py(par session),periods_all.py(par période et demi-journée),fiches.py(en-têtes et reprises des fiches),context.py(contexte),heavy2.py(sous-agents lourds). À réutiliser pour U8-T9.
Biais : bilan écrit par l'orchestrateur, qui juge en partie sa propre méthode. Les comptes sont rejouables ; les appréciations sont marquées estimé ou incertain.
1. Périodes comparées
Le « changement de méthode » est le passage, le 2026-10-08 vers 13 h 30, des agents génériques (general-purpose
avec surcharge haiku / sonnet) aux agents de rôle lp-* à skills préchargés, avec grille N0–N5 et fiche à 9 rubriques
plus 2b (lot SK, CHG-248 ; premier appel lp-* à 13 h 48, session cd5304ac).
| Période | Début | Fin | Sessions principales | Temps actif (toutes activités) | Temps actif (session principale) |
|---|---|---|---|---|---|
| Avant | 2026-10-06 08:07:50 | 2026-10-08 13:29:51 | 5 (0a730de4, 6082a074, 5568589b, d3ec373a, 5069aabb) |
24,3 h | 19,8 h |
| Après | 2026-10-08 13:30:06 | 2026-10-09 16:41:10 | 11 (cd5304ac … eaa66797, annexe A) |
16,5 h | 13,1 h |
Temps actif : somme des écarts ≤ 10 min entre événements horodatés. Les événements sont rangés par horodatage, pas
par session : 6082a074 (2026-10-06 08:25 → 2026-10-08 13:47) compte surtout dans « avant ». Les lots VQ menés hors
Claude Code (doc 26 : modèles Cursor) ne sont pas dans les transcriptions.
2. Activité, délégation et coût
| Indicateur | Avant | Après | Écart | Niveau de preuve |
|---|---|---|---|---|
| Messages de l'utilisateur | 190 (7,8 / h) | 100 (6,1 / h) | −22 % par heure | établi |
| Appels d'outils (principale + sous-agents) | 4 154 (171 / h) | 5 090 (308 / h) | +80 % par heure | établi |
| Part des appels faits par les sous-agents | 51 % (2 115) | 72 % (3 659) | +21 points | établi |
| Commandes shell de la session principale | 1 249 (51 / h) | 753 (46 / h) | −10 % par heure | établi |
| Jetons lus, session principale | 632 M (26,0 M / h) | 375 M (22,7 M / h) | −13 % par heure | établi |
| Jetons lus, sous-agents | 139 M (5,7 M / h) | 411 M (24,9 M / h) | ×4,4 par heure | établi |
| Jetons lus, total | 771 M (31,7 M / h) | 786 M (47,6 M / h) | +50 % par heure | établi |
| Tours des sous-agents produits par Opus | ≈ 206 / 1 757 (12 %) | ≈ 1 926 / 3 096 (62 %) | ×5 | établi |
| Taux d'erreur des outils | 3,9 % (164 / 4 153) | 3,6 % (184 / 5 091) | stable | établi |
| Entrées CHG | 59 (≈ 2,4 / h) | 19 (CHG-249 à 267, ≈ 1,2 / h) | non comparable | établi (règle « un CHG par lot » de 26 § 6) |
Modèles des sous-agents, avant : sonnet 922 tours, haiku 4.5 565, Opus ≈ 206, Fable 55. Après : Opus ≈ 1 926,
sonnet 617, haiku 5.5 552. La hausse d'Opus vient du choix de l'utilisateur de monter le niveau (lp-cart, lp-impl
en Opus xhigh par défaut) : c'est un coût assumé, pas une dérive.
3. Traçabilité et qualité des fiches (indicateurs SK-ARBRE § 6.3)
| Indicateur | Avant (62 fiches : SB, DC, VQ, PROP, UA, SK) | Après (79 fiches : U0 à U7b, ETAT2, OUT1) | Cible V2.0 |
|---|---|---|---|
| En-tête avec modèle prévu / utilisé | 39 / 62 (63 %) | 77 / 79 (97 %) | 100 % |
| En-tête avec agent | 17 / 62 (27 %) | 70 / 79 (89 %) | 100 % |
| En-tête avec skills | 6 / 62 (10 %) | 68 / 79 (86 %) | 100 % |
Fiches reprises (b, c) |
non comparable (nommage différent ; 22 § 4 : « plusieurs reprises sur 28 ») | 5 / 79 (6 %) : U1-T4b, U3-T3b, U4-T4b / T4c, U5-T3b, U7-T8b | ≤ 10 % |
| Escalades | 1 (UA-T3 → Fable) | 2 (opus-xhigh, lp-impl-max) |
tracées |
| Lots avec VAL | VQ1 sans VAL (26 § 3) | 10 / 10 (U0 à U7b, ETAT2) | tous |
Comptage par motif dans les 1 500 premiers caractères de chaque fiche (fiches.py) : établi pour le compte, estimé
pour la conformité exacte de l'en-tête.
4. Contexte
4.1 Session principale
| Indicateur | Avant | Après | Écart |
|---|---|---|---|
| Tours | 1 682 | 1 397 | — |
| Contexte moyen par tour | 376 k jetons | 269 k | −28 % |
| Contexte médian par tour | 344 k | 216 k | −37 % |
| Tours au-dessus de 150 k | 85 % | 74 % | −11 points |
| Pic | 897 k | 775 k | −13 % |
| Compactages | 5 | 0 | — |
| Lecture en cache | 98,6 % | 99,1 % | déjà optimal |
| Résultats d'outils reçus | 2,8 M caractères (1,4 k par appel) | 2,3 M (1,6 k par appel) | stable par appel |
| Compte rendu d'un sous-agent | ≈ 0,9 k caractères | ≈ 1,0 k | compact |
Lecture Read moyenne |
5,2 k caractères | 4,3 k | −17 % |
Une partie du gain vient de sessions plus courtes (avant : deux sessions de plusieurs jours) ; les fiches et la synthèse 28 portant l'état, repartir d'une session neuve ne coûte plus rien (estimé).
4.2 Sous-agents
| Indicateur | Avant | Après | Écart |
|---|---|---|---|
| Sous-agents lancés | 106 | 77 | — |
| Contexte de départ (médian) | 50 k | 27 k | −46 % (outils restreints par rôle, skills ciblés) |
| Tours par sous-agent (moyenne) | ≈ 17 | ≈ 40 | ×2,3 |
| Contexte moyen par tour | 79 k | 133 k | +68 % |
Bilan : environ 770 M de jetons dans chaque période, mais en 16,5 h au lieu de 24,3 h ; le contexte n'a pas été réduit, il a été déplacé de l'orchestrateur vers les sous-agents (établi).
5. Sous-agents lourds (période « après », 77 agents)
Médiane : 26 tours, pic 90 k, 6 min ; 80e centile : 54 tours, pic 183 k, 18 min. 23 agents au pic > 150 k = 84 % des jetons des sous-agents ; taux d'erreur d'outil 3,0 % contre 3,5 % pour les autres (la taille n'a pas dégradé la qualité, établi).
| Fiche | Durée | Tours | Pic de contexte | Jetons lus |
|---|---|---|---|---|
| U7-T7 (chaîne NewMod → HairPipeline → EditMod → BuildMod → jeu) | 115 min | 195 | 618 k | 69 M |
| U5-T3b (diagnostic) | 37 min | 165 | 411 k | 36 M |
| U1-T1 (cartographie) | 27 min | 152 | 317 k | 28 M |
| U1-T4c | 44 min | 121 | 307 k | 20 M |
| U7-T6 | 22 min | 117 | 291 k | 20 M |
| Total des 5 | 173 M = 43 % |
6. Effort contre l'estimation
UA-SYNTHESE (synthèse 28 § 3) estimait U0 à U7 à 13 à 22,5 séances (bornes hautes = bornes basses × 1,5). Réel :
U0-entrée ouvert le 2026-10-08 à 14 h 00 (1542dfa), U7b clos le 2026-10-09 à 14 h 32 (fc63060), soit 24,5 h de
calendrier et environ 14 h actives (demi-journées du 08/10 après-midi et du 09/10 matin ; estimé). La séance n'étant
pas définie en heures, l'écart n'est chiffrable qu'en ordre de grandeur ; l'estimation venant de la même méthode, la
comparaison est faible (incertain).
7. Conclusions
Établi
- Moins d'interventions de l'utilisateur (−22 % par heure) et une session principale plus légère (−28 % de contexte moyen, 0 compactage).
- Traçabilité des fiches réglée (en-tête 63 % → 97 %, agent et skills ≈ 10-27 % → 86-89 %) ; VAL systématique ; reprises 6 %, dans la cible.
- Activité par heure +80 %, portée par les sous-agents (72 % des appels).
- Coût par heure +50 %, dû aux sous-agents (Opus 62 % de leurs tours, choix de l'utilisateur) ; 84 % de leurs jetons dans 23 agents trop longs.
- Taux d'erreur des outils inchangé (≈ 3,7 %).
Estimé : avance nette sur l'estimation de migration ; part du gain de contexte due au découpage en sessions.
Incertain : gain de débit « à travail égal » — lots d'avant (S0–S8, SB, DC, AP) petits, lots U lourds (builds, cuissons, resave, essais en jeu) ; pas d'unité commune.
8. Suites données
- SEQ1 (CHG-268) : règle de taille des fiches (un résultat vérifiable ; ≈ 40 tours, pic ≤ 150 k, ≈ 20 min ; arrêt
avec état de reprise) au plan 27 et à
sk-orchestrate; inventaires confiés àlp-inventory; U8 en 12 fiches, STA-T2 et OBA par famille ou domaine. - SEQ1 (CHG-269, CHG-270) : U8 différé (aucune livraison avant la stabilisation et l'optimisation), états du plan 27 et de STM, docs 29 et 30 alignés.
- À mesurer : effet d'EDIT1 (CHG-267, Edit / Write au lieu de scripts) et de SEQ1 sur le taux d'erreur, le shell de la session principale et la part des agents au pic > 150 k, avec les mêmes scripts, sur le premier lot qui suit (STA) ; indicateur « tours, pic et jetons par fiche » à l'EVAL de chaque lot.
Annexe A — Sessions mesurées
| Session | Dossier | Début | Fin | Période |
|---|---|---|---|---|
0a730de4 |
worktree 5.5 | 2026-10-06 08:07 | 2026-10-06 08:22 | avant |
6082a074 |
5.5 | 2026-10-06 08:25 | 2026-10-08 13:47 | avant (17 min après la coupure) |
5568589b |
5.5 | 2026-10-07 13:19 | 2026-10-08 08:12 | avant |
d3ec373a |
5.5 | 2026-10-08 00:45 (début de la fenêtre ; session ouverte le 2026-09-29) | 2026-10-08 08:11 | avant |
5069aabb |
5.5 | 2026-10-08 13:26 | 2026-10-08 13:26 | avant (témoin SK-T5) |
cd5304ac |
5.5 | 2026-10-08 13:48 | 2026-10-08 15:46 | après |
df3f1aa2 |
5.5 | 2026-10-08 16:00 | 2026-10-08 16:52 | après |
c4717ef9 |
5.5 | 2026-10-08 16:51 | 2026-10-08 17:39 | après |
ea5c60a3 |
5.5 | 2026-10-08 17:43 | 2026-10-08 22:00 | après |
6e5ebe19 |
5.5 | 2026-10-08 22:01 | 2026-10-08 23:07 | après |
ab8918a1 |
5.5 | 2026-10-08 23:26 | 2026-10-09 16:40 | après |
87a0d630 |
5.8 | 2026-10-09 13:06 | 2026-10-09 16:35 | après |
7074e3d2 |
5.8 | 2026-10-09 15:33 | 2026-10-09 16:41 | après |
650723c6 |
5.8 | 2026-10-09 16:10 | 2026-10-09 16:40 | après |
6c6597f8 |
5.8 | 2026-10-09 16:10 | 2026-10-09 16:38 | après |
eaa66797 |
5.8 | 2026-10-09 16:10 | 2026-10-09 16:40 | après |
Session de mesure exclue : 55ab9753 (2026-10-09, ce document).