172 lines
10 KiB
Markdown
172 lines
10 KiB
Markdown
# 31 — Évaluation de la méthode d'orchestration : statistiques avant / après (2026-10-06 → 2026-10-09)
|
||
|
||
- **Date :** 2026-10-09 | **Lot :** STAT1 | **Entrée journal :** CHG-271 | **Décisions qui en découlent :** CHG-268 à
|
||
CHG-270 (lot SEQ1)
|
||
- **Modèle :** Claude Opus 5.5 (orchestrateur, session principale, déclaré par l'environnement) ; aucun sous-agent
|
||
- **Période mesurée :** du **2026-10-06 08:07:50** au **2026-10-09 16:41:10** (heure locale, UTC+2)
|
||
- **Sources :** transcriptions Claude Code des dossiers `~/.claude/projects/D--Game-LifePlay-master-5-5`, `-5-8` et du
|
||
worktree `measurement-tool-character-animations` (sous-agents compris, session de mesure exclue) ; fiches
|
||
`D:\Game\LifePlay-master 5.8\Docs\Migration\etat\` ; `Journal_Modifications.md` ; plan 27 ; synthèse 28 § 3 ;
|
||
`etat/SK/SK-ARBRE.md` § 6.3 (indicateurs de gain)
|
||
- **Scripts de mesure** (hors git, rejouables) : `D:\Game\LifePlay-master 5.8\Saved\STAT1\` — `sessions.py` (par
|
||
session), `periods_all.py` (par période et demi-journée), `fiches.py` (en-têtes et reprises des fiches),
|
||
`context.py` (contexte), `heavy2.py` (sous-agents lourds). À réutiliser pour U8-T9.
|
||
|
||
**Biais :** bilan écrit par l'orchestrateur, qui juge en partie sa propre méthode. Les comptes sont rejouables ; les
|
||
appréciations sont marquées estimé ou incertain.
|
||
|
||
---
|
||
|
||
## 1. Périodes comparées
|
||
|
||
Le « changement de méthode » est le passage, le 2026-10-08 vers 13 h 30, des agents génériques (`general-purpose`
|
||
avec surcharge haiku / sonnet) aux agents de rôle `lp-*` à skills préchargés, avec grille N0–N5 et fiche à 9 rubriques
|
||
plus 2b (lot SK, CHG-248 ; premier appel `lp-*` à 13 h 48, session `cd5304ac`).
|
||
|
||
| Période | Début | Fin | Sessions principales | Temps actif (toutes activités) | Temps actif (session principale) |
|
||
|---|---|---|---|---|---|
|
||
| **Avant** | 2026-10-06 08:07:50 | 2026-10-08 13:29:51 | 5 (`0a730de4`, `6082a074`, `5568589b`, `d3ec373a`, `5069aabb`) | 24,3 h | 19,8 h |
|
||
| **Après** | 2026-10-08 13:30:06 | 2026-10-09 16:41:10 | 11 (`cd5304ac` … `eaa66797`, annexe A) | 16,5 h | 13,1 h |
|
||
|
||
Temps actif : somme des écarts ≤ 10 min entre événements horodatés. Les événements sont rangés par horodatage, pas
|
||
par session : `6082a074` (2026-10-06 08:25 → 2026-10-08 13:47) compte surtout dans « avant ». Les lots VQ menés hors
|
||
Claude Code (doc 26 : modèles Cursor) ne sont pas dans les transcriptions.
|
||
|
||
## 2. Activité, délégation et coût
|
||
|
||
| Indicateur | Avant | Après | Écart | Niveau de preuve |
|
||
|---|---|---|---|---|
|
||
| Messages de l'utilisateur | 190 (7,8 / h) | 100 (6,1 / h) | −22 % par heure | établi |
|
||
| Appels d'outils (principale + sous-agents) | 4 154 (171 / h) | 5 090 (308 / h) | +80 % par heure | établi |
|
||
| Part des appels faits par les sous-agents | 51 % (2 115) | 72 % (3 659) | +21 points | établi |
|
||
| Commandes shell de la session principale | 1 249 (51 / h) | 753 (46 / h) | −10 % par heure | établi |
|
||
| Jetons lus, session principale | 632 M (26,0 M / h) | 375 M (22,7 M / h) | −13 % par heure | établi |
|
||
| Jetons lus, sous-agents | 139 M (5,7 M / h) | 411 M (24,9 M / h) | ×4,4 par heure | établi |
|
||
| Jetons lus, total | 771 M (31,7 M / h) | 786 M (47,6 M / h) | +50 % par heure | établi |
|
||
| Tours des sous-agents produits par Opus | ≈ 206 / 1 757 (12 %) | ≈ 1 926 / 3 096 (62 %) | ×5 | établi |
|
||
| Taux d'erreur des outils | 3,9 % (164 / 4 153) | 3,6 % (184 / 5 091) | stable | établi |
|
||
| Entrées CHG | 59 (≈ 2,4 / h) | 19 (CHG-249 à 267, ≈ 1,2 / h) | non comparable | établi (règle « un CHG par lot » de 26 § 6) |
|
||
|
||
Modèles des sous-agents, avant : sonnet 922 tours, haiku 4.5 565, Opus ≈ 206, Fable 55. Après : Opus ≈ 1 926,
|
||
sonnet 617, haiku 5.5 552. La hausse d'Opus vient du choix de l'utilisateur de monter le niveau (`lp-cart`, `lp-impl`
|
||
en Opus xhigh par défaut) : c'est un coût assumé, pas une dérive.
|
||
|
||
## 3. Traçabilité et qualité des fiches (indicateurs SK-ARBRE § 6.3)
|
||
|
||
| Indicateur | Avant (62 fiches : SB, DC, VQ, PROP, UA, SK) | Après (79 fiches : U0 à U7b, ETAT2, OUT1) | Cible V2.0 |
|
||
|---|---|---|---|
|
||
| En-tête avec modèle prévu / utilisé | 39 / 62 (63 %) | 77 / 79 (97 %) | 100 % |
|
||
| En-tête avec agent | 17 / 62 (27 %) | 70 / 79 (89 %) | 100 % |
|
||
| En-tête avec skills | 6 / 62 (10 %) | 68 / 79 (86 %) | 100 % |
|
||
| Fiches reprises (`b`, `c`) | non comparable (nommage différent ; 22 § 4 : « plusieurs reprises sur 28 ») | 5 / 79 (6 %) : U1-T4b, U3-T3b, U4-T4b / T4c, U5-T3b, U7-T8b | ≤ 10 % |
|
||
| Escalades | 1 (UA-T3 → Fable) | 2 (`opus-xhigh`, `lp-impl-max`) | tracées |
|
||
| Lots avec VAL | VQ1 sans VAL (26 § 3) | 10 / 10 (U0 à U7b, ETAT2) | tous |
|
||
|
||
Comptage par motif dans les 1 500 premiers caractères de chaque fiche (`fiches.py`) : établi pour le compte, estimé
|
||
pour la conformité exacte de l'en-tête.
|
||
|
||
## 4. Contexte
|
||
|
||
### 4.1 Session principale
|
||
|
||
| Indicateur | Avant | Après | Écart |
|
||
|---|---|---|---|
|
||
| Tours | 1 682 | 1 397 | — |
|
||
| Contexte moyen par tour | 376 k jetons | 269 k | −28 % |
|
||
| Contexte médian par tour | 344 k | 216 k | −37 % |
|
||
| Tours au-dessus de 150 k | 85 % | 74 % | −11 points |
|
||
| Pic | 897 k | 775 k | −13 % |
|
||
| Compactages | 5 | 0 | — |
|
||
| Lecture en cache | 98,6 % | 99,1 % | déjà optimal |
|
||
| Résultats d'outils reçus | 2,8 M caractères (1,4 k par appel) | 2,3 M (1,6 k par appel) | stable par appel |
|
||
| Compte rendu d'un sous-agent | ≈ 0,9 k caractères | ≈ 1,0 k | compact |
|
||
| Lecture `Read` moyenne | 5,2 k caractères | 4,3 k | −17 % |
|
||
|
||
Une partie du gain vient de sessions plus courtes (avant : deux sessions de plusieurs jours) ; les fiches et la
|
||
synthèse 28 portant l'état, repartir d'une session neuve ne coûte plus rien (estimé).
|
||
|
||
### 4.2 Sous-agents
|
||
|
||
| Indicateur | Avant | Après | Écart |
|
||
|---|---|---|---|
|
||
| Sous-agents lancés | 106 | 77 | — |
|
||
| Contexte de départ (médian) | 50 k | 27 k | −46 % (outils restreints par rôle, skills ciblés) |
|
||
| Tours par sous-agent (moyenne) | ≈ 17 | ≈ 40 | ×2,3 |
|
||
| Contexte moyen par tour | 79 k | 133 k | +68 % |
|
||
|
||
Bilan : environ 770 M de jetons dans chaque période, mais en 16,5 h au lieu de 24,3 h ; le contexte n'a pas été
|
||
réduit, il a été **déplacé** de l'orchestrateur vers les sous-agents (établi).
|
||
|
||
## 5. Sous-agents lourds (période « après », 77 agents)
|
||
|
||
Médiane : 26 tours, pic 90 k, 6 min ; 80e centile : 54 tours, pic 183 k, 18 min. **23 agents au pic > 150 k = 84 % des
|
||
jetons des sous-agents** ; taux d'erreur d'outil 3,0 % contre 3,5 % pour les autres (la taille n'a pas dégradé la
|
||
qualité, établi).
|
||
|
||
| Fiche | Durée | Tours | Pic de contexte | Jetons lus |
|
||
|---|---|---|---|---|
|
||
| U7-T7 (chaîne NewMod → HairPipeline → EditMod → BuildMod → jeu) | 115 min | 195 | 618 k | 69 M |
|
||
| U5-T3b (diagnostic) | 37 min | 165 | 411 k | 36 M |
|
||
| U1-T1 (cartographie) | 27 min | 152 | 317 k | 28 M |
|
||
| U1-T4c | 44 min | 121 | 307 k | 20 M |
|
||
| U7-T6 | 22 min | 117 | 291 k | 20 M |
|
||
| **Total des 5** | | | | **173 M = 43 %** |
|
||
|
||
## 6. Effort contre l'estimation
|
||
|
||
UA-SYNTHESE (synthèse 28 § 3) estimait U0 à U7 à **13 à 22,5 séances** (bornes hautes = bornes basses × 1,5). Réel :
|
||
U0-entrée ouvert le 2026-10-08 à 14 h 00 (`1542dfa`), U7b clos le 2026-10-09 à 14 h 32 (`fc63060`), soit 24,5 h de
|
||
calendrier et environ 14 h actives (demi-journées du 08/10 après-midi et du 09/10 matin ; estimé). La séance n'étant
|
||
pas définie en heures, l'écart n'est chiffrable qu'en ordre de grandeur ; l'estimation venant de la même méthode, la
|
||
comparaison est faible (incertain).
|
||
|
||
## 7. Conclusions
|
||
|
||
**Établi**
|
||
1. Moins d'interventions de l'utilisateur (−22 % par heure) et une session principale plus légère (−28 % de contexte
|
||
moyen, 0 compactage).
|
||
2. Traçabilité des fiches réglée (en-tête 63 % → 97 %, agent et skills ≈ 10-27 % → 86-89 %) ; VAL systématique ;
|
||
reprises 6 %, dans la cible.
|
||
3. Activité par heure +80 %, portée par les sous-agents (72 % des appels).
|
||
4. Coût par heure +50 %, dû aux sous-agents (Opus 62 % de leurs tours, choix de l'utilisateur) ; 84 % de leurs jetons
|
||
dans 23 agents trop longs.
|
||
5. Taux d'erreur des outils inchangé (≈ 3,7 %).
|
||
|
||
**Estimé** : avance nette sur l'estimation de migration ; part du gain de contexte due au découpage en sessions.
|
||
|
||
**Incertain** : gain de débit « à travail égal » — lots d'avant (S0–S8, SB, DC, AP) petits, lots U lourds (builds,
|
||
cuissons, resave, essais en jeu) ; pas d'unité commune.
|
||
|
||
## 8. Suites données
|
||
|
||
- **SEQ1 (CHG-268)** : règle de taille des fiches (un résultat vérifiable ; ≈ 40 tours, pic ≤ 150 k, ≈ 20 min ; arrêt
|
||
avec état de reprise) au plan 27 et à `sk-orchestrate` ; inventaires confiés à `lp-inventory` ; U8 en 12 fiches,
|
||
STA-T2 et OBA par famille ou domaine.
|
||
- **SEQ1 (CHG-269, CHG-270)** : U8 différé (aucune livraison avant la stabilisation et l'optimisation), états du
|
||
plan 27 et de STM, docs 29 et 30 alignés.
|
||
- **À mesurer** : effet d'EDIT1 (CHG-267, Edit / Write au lieu de scripts) et de SEQ1 sur le taux d'erreur, le
|
||
shell de la session principale et la part des agents au pic > 150 k, avec les mêmes scripts, sur le premier lot qui
|
||
suit (STA) ; indicateur « tours, pic et jetons par fiche » à l'EVAL de chaque lot.
|
||
|
||
## Annexe A — Sessions mesurées
|
||
|
||
| Session | Dossier | Début | Fin | Période |
|
||
|---|---|---|---|---|
|
||
| `0a730de4` | worktree 5.5 | 2026-10-06 08:07 | 2026-10-06 08:22 | avant |
|
||
| `6082a074` | 5.5 | 2026-10-06 08:25 | 2026-10-08 13:47 | avant (17 min après la coupure) |
|
||
| `5568589b` | 5.5 | 2026-10-07 13:19 | 2026-10-08 08:12 | avant |
|
||
| `d3ec373a` | 5.5 | 2026-10-08 00:45 (début de la fenêtre ; session ouverte le 2026-09-29) | 2026-10-08 08:11 | avant |
|
||
| `5069aabb` | 5.5 | 2026-10-08 13:26 | 2026-10-08 13:26 | avant (témoin SK-T5) |
|
||
| `cd5304ac` | 5.5 | 2026-10-08 13:48 | 2026-10-08 15:46 | après |
|
||
| `df3f1aa2` | 5.5 | 2026-10-08 16:00 | 2026-10-08 16:52 | après |
|
||
| `c4717ef9` | 5.5 | 2026-10-08 16:51 | 2026-10-08 17:39 | après |
|
||
| `ea5c60a3` | 5.5 | 2026-10-08 17:43 | 2026-10-08 22:00 | après |
|
||
| `6e5ebe19` | 5.5 | 2026-10-08 22:01 | 2026-10-08 23:07 | après |
|
||
| `ab8918a1` | 5.5 | 2026-10-08 23:26 | 2026-10-09 16:40 | après |
|
||
| `87a0d630` | 5.8 | 2026-10-09 13:06 | 2026-10-09 16:35 | après |
|
||
| `7074e3d2` | 5.8 | 2026-10-09 15:33 | 2026-10-09 16:41 | après |
|
||
| `650723c6` | 5.8 | 2026-10-09 16:10 | 2026-10-09 16:40 | après |
|
||
| `6c6597f8` | 5.8 | 2026-10-09 16:10 | 2026-10-09 16:38 | après |
|
||
| `eaa66797` | 5.8 | 2026-10-09 16:10 | 2026-10-09 16:40 | après |
|
||
|
||
Session de mesure exclue : `55ab9753` (2026-10-09, ce document).
|