195 lines
16 KiB
Markdown
195 lines
16 KiB
Markdown
Fiche EVAL2-T7 — Niveau N2 — Modèle prévu Opus 5.5 | utilisé claude-opus-5-5 — Agent orchestrateur (session EVAL) — Skills aucun préchargé
|
||
# EVAL2-STATS : statistiques consolidées P0 → P3 (2026-10-14)
|
||
|
||
Sources : relevés `EVAL2-T1a-INV.md` (sessions principales), `EVAL2-T1b-INV.md` (sous-agents), `EVAL2-T2-INV.md` (git,
|
||
gardien), `EVAL2-T3-INV.md` (CHG, ERR, décisions), `EVAL2-T4-INV.md` (essais communs, builds), `EVAL2-T5-INV.md` (fiches,
|
||
VAL, écarts), `EVAL2-T6-INV.md` (commandes, crochet) ; tables `data\*.csv`. P0 à P2 : doc 33 § 2 (`Docs\33_Eval_Organisation_72h.md`)
|
||
et `etat\EVAL\EVAL-STATS.md`. Chaque chiffre de P3 renvoie à son relevé ; les ratios sont calculés ici (calcul donné).
|
||
|
||
**Période P3** : 2026-10-11 05:30 → 2026-10-14 18:25:41 (commit `2f5d51b`, tag `v2026.10.2.1a`), UTC+2.
|
||
**Coupure** : 2026-10-13 12:07:16, message de l'utilisateur « fixons les objectifs. on planifie un build alpha à remettre
|
||
au clients avant la fin des crédits hebdomadaires. priorité données a CAM et STE. version 2026.10.2.1a »
|
||
(transcription Big Boss `92a3927f`, ligne 9343 ; T1a § 1). **P3a** = 54,6 h de calendrier (fin des lots U8, OUTC, MCPA,
|
||
ORGA1, PUB3, TRACE1, P7) ; **P3b** = 30,3 h (sprint COMMUN-1 à 13, puis livraison).
|
||
|
||
**Biais** : orchestrateur juge et partie (session EVAL, Opus, N2). Session EVAL et ses sous-agents exclus des mesures.
|
||
Définitions identiques à l'EVAL (scripts copiés et paramétrés, originaux intacts) ; la comparaison « à travail égal » reste
|
||
incertaine : P3b est un sprint de correction en jeu, P0 à P2 étaient de la migration et de l'outillage.
|
||
|
||
## 1. Indicateurs du doc 33 § 2, P0 → P3
|
||
|
||
| Indicateur | P0 | P1 | P2 | **P3a** | **P3b** | **P3** | Source / calcul P3 |
|
||
|---|---:|---:|---:|---:|---:|---:|---|
|
||
| Heures actives (somme des sessions) | 3,7 | 26,0 | 11,7 | 26,79 | 41,47 | **68,27** | T1a tableau |
|
||
| Heures actives (mur, principales) | — | — | — | 8,18 | 22,30 | 30,48 | T1a |
|
||
| Parallélisme moyen | — | — | 2,5 | 3,27 | 1,86 | 2,24 | T1a (somme / mur) |
|
||
| Sessions principales réelles | 4 | 21 | 12 | — | — | 25 (+ 42 jetables d'essai) | T1a |
|
||
| CHG / h active | 2,4 → 1,2 (doc 31) | 1,81 | 2,40 | 0,67 | 0,19 | **0,38** | 26 CHG (T3) / 68,27 ; P3a 18 / 26,79 ; P3b 8 / 41,47 |
|
||
| Commits / h active | — | 3,1 | 4,0 | 1,42 | 0,27 | **0,72** | 49 commits 3 dépôts (T2) / 68,27 ; P3a 38, P3b 11 |
|
||
| Erreurs d'outils (principales) | 3,9 % | 3,3 % | 1,6 % | 2,4 % | 1,6 % | **2,0 %** | T1a |
|
||
| Tours par sous-agent (moyenne) | ≈ 17 | 37,7 | 19,6 | 17,0 | 26,4 | **22,2** | 5 715 tours / 258 ; P3a 1 988 / 117 ; P3b 3 727 / 141 (T1a, T1b) |
|
||
| Sous-agents hors budget | — | 26 % | 17 % | 16 % | 29 % | **23 %** | T1b |
|
||
| Jetons lus / h active (tous) | 31,7 M | 56,2 M | 130,2 M | 48,1 M | 40,5 M | **43,5 M** | (2 407,5 + 562,7) / 68,27 ; sous-agents 562,7 M d'après T1a, 562,4 M d'après T1b (écart d'arrondi, sans effet) |
|
||
| dont principales / h | 26,0 M | 34,6 M | 108,4 M | 40,9 M | 31,7 M | **35,3 M** | 2 407,5 / 68,27 |
|
||
| Jetons par CHG | — | 31 M | 54 M | 72 M | 210 M | **114 M** | 2 970 M / 26 ; P3a 1 289 / 18 ; P3b 1 681 / 8 |
|
||
| Jetons par CHG + ERR | — | — | — | — | — | **39 M** | 2 970 / (26 + 50) |
|
||
| Contexte médian par tour (principales) | 344 k | 245 k | 323 k | 276 k | 312 k | **295 k** | T1a |
|
||
| Part des appels faite par les sous-agents | 51 % | 65 % | 57 % | 49 % | 62 % | **57 %** | 8 996 / (8 996 + 6 902) ; P3a 3 124 / 6 385 ; P3b 5 872 / 9 513 (T1a) |
|
||
| Messages de l'utilisateur / h active | 7,8 | 7,3 | 10,0 | 4,0 | 7,2 | **5,9** | 404 / 68,27 (T1a) |
|
||
| Messages entre sessions / h active | — | 5,7 | 36 | 11,6 | 11,8 | **11,7** | 798 / 68,27 (T1a) |
|
||
| Messages entre sessions / CHG | — | — | 15 | 17 | 61 | **31** | 798 / 26 |
|
||
|
||
Lecture : le débit en CHG et en commits s'effondre en P3b, mais **l'unité de livraison a changé** : un CHG par lot (règle
|
||
du doc 33) et un build commun testé en jeu toutes les 53 min (§ 2) ; les 50 ERR de P3 ont été consignés en rattrapage, tous
|
||
dans un seul commit (`3af7324`, 2026-10-14 18:22 ; T3). Les jetons par heure baissent de 3 fois par rapport à P2 (rotation
|
||
de Big Boss, file d'attente des essais en jeu) ; les jetons par CHG doublent.
|
||
|
||
## 2. Mesures propres à P3
|
||
|
||
### 2.1 Essais communs (T4)
|
||
|
||
| Mesure | Valeur | Source |
|
||
|---|---|---|
|
||
| Builds COMMUN | 13 (C1 à C13), tous code 0 ; aucun échec de build sur toute P3 (25 résumés `*_Build_*`, 20 journaux UAT) | T4 § builds |
|
||
| Durée d'un build | Build.ps1 30 à 87 s (moy. 51,6) ; BuildCookRun 68 à 198 s (moy. 127,7) | T4 |
|
||
| Cas testés | 161 : OK 121, OK partiel 8, KO 17, KO partiel 2, non concluant 1, constat 1, non testés 11 | T4 |
|
||
| Par lot (cas / KO + KO partiel) | CAM 71 / 12 ; STG 50 / 6 ; STE 11 / 0 ; non-régression 29 / 1 | T4 |
|
||
| Validations sans vérification cas par cas | 32 implicites (« pas d'autres défauts ») + 24 « en bloc » (C8, C13) = 56 / 161 (35 %) | T4 |
|
||
| Délai fin d'essai → exe suivant | médiane 53 min, moyenne 50,6, min 15, max 112 (12 intervalles) ; KO horodaté → exe suivant 15 à 61 min | T4 |
|
||
| Régressions et correctifs insuffisants | 12 lignes : 5 régressions dues à un correctif (ex. glisser à la souris perdu après B2p-G/H en C12, façade solide en C6 → abandon S-F5 en C8), 5 insuffisants, 2 récidives | T4 |
|
||
| Découvreur des défauts KO | 48 : utilisateur 39 (81 %), agent 6, mixte 3 ; défauts hors fiche : 30 (utilisateur 17, agent 12, mixte 1) | T4 (estimé d'après la nature de la ligne) |
|
||
| Agent de build hors limite | 1 : COMMUN-9, 55 tours mesurés contre 40 déclarés, non coupé | T1b § 2.6, T4 |
|
||
| Bilans | écrits 1 à 11 min après l'essai pour C2-C7, C11, C12 ; **après coup** C8 (+96 min), C9 (+48), C10 (+13), écrits ensemble à 12:55, C13 (+104) ; COMMUN-1 sans fiche ni bilan | T4 |
|
||
|
||
### 2.2 VAL et fiches (T5)
|
||
|
||
| Mesure | Valeur | Source |
|
||
|---|---|---|
|
||
| Livrables `.md` de P3 | 641 (P3a 285, P3b 356) ; en-tête complet 83,4 %, « Niveau Nx » 89,7 %, ligne Tours 68,6 % (331 livrables de rôle) | T5 |
|
||
| Statuts de registre | 246 fiches : faite 121, acceptée 60, reprise 2, relayée 1, escaladée 0 | T5 |
|
||
| VAL produites | 76 : PASS 31, PASS-STATIC 39, FAIL final 5 (6,6 %), BLOCKED 1 ; 9 (11,8 %) ont eu un FAIL à un stade | T5 |
|
||
| PASS-STATIC suivis d'un KO en jeu | 3 : S-F5m (KO P3, C9), B2p-E (KO Q1, C10), B2q-a (partiel N1, C8) ; + B2s PASS suivi du KO J5 (C6) | T5 |
|
||
| Écarts de protocole | 41 retenus : refus du crochet 20 (renvoi T6), méthode d'agent 8, instantané manquant 7 relevés (cas distincts nommés : ORG5-I2a, CAM-B2n, `.h` de DirectControl STG), instantané tardif 2, instantané déclaré sans objet 2, écriture avant gel 2 (dont STG-M1) ; redirection du gardien 0, statut sauté 0 trouvés | T5 l. 123-134, `data\ecarts.csv` |
|
||
| Essai D-P7.16 (S, C9a) | 52 fiches les portent (STE 37, CAM 12, AG 2, STG 1) ; jointure registre 16 / 52 ; aucune issue mesurable (registres STG/CAM/STE sans colonne Tours ni statut « acceptée ») | T5 |
|
||
|
||
### 2.3 Crochet `ecriture-gardien` et autres refus (T6, T1a, T1b)
|
||
|
||
| Mesure | Valeur | Source |
|
||
|---|---|---|
|
||
| Refus du crochet (sous-agents) | 82 ; 6 essais volontaires ; **76 opérationnels** (P3a 17, P3b 59 à la coupure exacte ; T6 a tourné avec la coupure provisoire 10:00 et donne 13 / 63 : les 4 refus du 2026-10-13 de 10:02 à 10:16, `data\refus.csv` l. 60-63, 2 à tort et 2 utiles, sont reclassés ici en P3a par l'orchestrateur) | T6, T9 E1 |
|
||
| Motifs (76) | `>` 49, `python -c` 10, `->` 4, `tee` 2, autres 11 | T6 |
|
||
| Classement v2 (76) | **à tort 36** (motif seulement dans un texte cité : `grep "^>"`, `awk 'NR>=…'`, `echo "a -> b"`) ; **utile 40** ; relecture de 15 lignes : accord 15 / 15 ; 18 des 40 « utile » écrivent dans un dossier temporaire (bénins) | T6 |
|
||
| Par session (à tort / utile) | STG 11 / 17 ; **CAM 12 / 5** ; STE 6 / 6 ; à la coupure exacte P3a 5 / 12, P3b 31 / 28 (T6 à 10:00 : 3 / 10 et 33 / 30) | T6 § 2.3, T9 E1 |
|
||
| Refus dus à la propre consigne de l'agent | 14 en P3 (python -c, heredoc, `tee`) + 3 dans ce lot EVAL2 (T1a, T4, T6, tous lp-inventory, tous sur un test d'interpréteur ou une lecture de JSON) | T6 |
|
||
| Agents arrêtés net par un refus | 6, tous des essais volontaires ; aucun agent de production ; 51 agents ont continué après un refus | T1b |
|
||
| Contournement | STE-ORG4c : refus utile (`mkdir` + `mv` d'un autosave GI), l'orchestrateur STE déplace le fichier lui-même, MD5 jamais relevé, VAL PASS | T6 § 3 |
|
||
| Crochet en panne | 4 appels (fichier `Tools/claude/hooks/ecriture-gardien.py` absent, incident du 2026-10-13) | T1a, T6 |
|
||
| Python en ligne (hors crochet pour les principales) | 322 heredocs Python dans les principales (335 en tout) ; 152 `python -c` de plus de 200 caractères, toutes sessions | T6 § 2.8 |
|
||
| Mode auto | 34 refus (sous-agents et principales ; Self-Modification 20) ; principales 19 | T6, T1a |
|
||
| PubCheck | 3 refus au commit des lots de l'alpha (STE, STG, CAM : noms de compte dans des livrables) | T2 ; date de création de l'outil (2026-10-13 10:20) : T6 § 2.9 |
|
||
| Erreurs de shell | 51 sur 5 910 appels : guillemets / échappement 26 (Bash, 22 en P3b), chemin 21 | T6 |
|
||
|
||
### 2.4 Git et gardien (T2)
|
||
|
||
| Mesure | Valeur |
|
||
|---|---|
|
||
| Commits | 49 (jeu 34, addon 15, modules 0) ; P3a 38, P3b 11 ; **0 sans ticket** |
|
||
| Tickets | 58 (fait 56, refusé 2) ; 9 refus de COMMIT repris : diff étranger 3, nom de compte vu par le gardien 3, PubCheck 3 |
|
||
| Verrous | 82 pris, 82 rendus, 0 orphelin ; le plus long 39 h (n° 105, OUTC-R1) |
|
||
| CHG portés | 26 (CHG-324 à 349, sans trou) ; 15 commits sans CHG (jeu 6, addon 9) |
|
||
| Délais | ticket → commit médiane 1,1 min (10 tickets horodatés) ; chaîne finale : 8 commits entre 18:20:15 et 18:25:41 |
|
||
| Release | tag annoté `v2026.10.2.1a` sur `2f5d51b` à 18:25:43 ; **ni le tag ni `ue5.8` ne sont poussés** (refs locales) |
|
||
| `--amend`, redirection | 0 en P3 |
|
||
|
||
### 2.5 Journaux et décisions (T3)
|
||
|
||
| Mesure | Valeur |
|
||
|---|---|
|
||
| CHG de P3 | 26 (P3a 18, P3b 8) ; recoupés `git log -S` 26 / 26 |
|
||
| ERR de P3 | 50 (ERR-089 à 138), **tous en rattrapage** (JOURNAUX1-2), déposés le 2026-10-14 à 18:22 |
|
||
| Trou de journal | aucun CHG ni ERR entre CHG-343 (2026-10-13 13:04) et le commit `3af7324` (2026-10-14 18:22) : ≈ 29 h, soit tout le sprint COMMUN |
|
||
| BOSS-JOURNAL sans heure | 376 lignes sur 462 ; 40 lignes JOURNAL sans heure |
|
||
| Décisions de l'utilisateur | 20 en P3 ; 2 paires décision → livraison mesurables (2,3 h et 4,7 h) ; 13 sans heure |
|
||
|
||
### 2.6 Coût et modèles (T1a, T1b)
|
||
|
||
| Mesure | P3a | P3b | P3 |
|
||
|---|---:|---:|---:|
|
||
| Jetons lus, principales | 1 094,8 M | 1 312,7 M | 2 407,5 M |
|
||
| Jetons lus, sous-agents | 194,6 M | 367,9 M | 562,4 M |
|
||
| Sous-agents | 117 | 141 | 258 |
|
||
| Part Opus des jetons des sous-agents | 31 % | 46 % | 41 % |
|
||
| `lp-mcp-bp` (Opus xhigh) | 3 | 34 | 37 passages, 144,2 M (26 % des jetons des sous-agents, 62 % des jetons Opus), tours moy. 43,6, max 82 |
|
||
| `lp-validator` (sonnet) | 21 | 56 | 77, 142,1 M (25 %), 26 % hors budget |
|
||
| `lp-cart` | 5 | 9 | 14, **79 % hors budget**, 4 sur Opus |
|
||
| `lp-builder` (haiku) | 8 | 24 | 32, 3 % hors budget |
|
||
| Escalades (cart-max, impl-max, opus-max, fable-top) | 0 | 0 | 0 (1 opus-xhigh, P7-T4b) |
|
||
| Coupés sans compte rendu | — | — | 1 (REG1-T1) |
|
||
| Sessions principales sur Opus | | | 99,5 % des tours |
|
||
|
||
Le coût monétaire n'est pas relevé : les transcriptions donnent des jetons, pas des crédits. Les jetons lus sont à 99 %
|
||
du cache (T1a), ce qui rend le coût par jeton lu très inférieur au coût par jeton écrit (non chiffré ici).
|
||
|
||
## 3. Big Boss
|
||
|
||
| Mesure | P2 (doc 33) | P3 |
|
||
|---|---:|---:|
|
||
| Heures actives | 8 h | 24,66 h = **36,1 %** de la somme des sessions |
|
||
| Jetons lus | 272 M = **18 %** de tous les jetons de P2 | 605,6 M = **20,4 %** de tous les jetons de P3 (2 970 M, même base que P2) ; 25,2 % des seuls jetons des principales |
|
||
| Tours | 679 | 1 815 (24,7 %) |
|
||
| Messages de l'utilisateur reçus | — | 293 sur 404 (**72,5 %**) |
|
||
| SendMessage | — | 388 sur 722 (53,7 %) |
|
||
| Rotation | — | 1 (`92a3927f` → `ebc15012`, 2026-10-13 12:26), contexte médian 384 k puis 268 k |
|
||
|
||
## 4. Suivi des décisions E1 à E7 (doc 33 § 6 pour E1 à E5 ; `etat\EVAL\EVAL-RAPPORT.md` § 9 l. 308-309 pour E6, E7) et des cibles du § 7
|
||
|
||
| Décision | Appliquée ? | Effet mesuré en P3 |
|
||
|---|---|---|
|
||
| E1 rotation (FIN-LOT ou 250 k) | **en partie** : Big Boss 1 rotation ; CAM 3 sessions ; STE une session vivante 79,6 h ; 13 sessions sur 25 au-dessus de 250 k de contexte médian | contexte médian 295 k (cible < 200 k : **non atteinte**) ; −9 % contre P2 |
|
||
| E2 outils copie partagée | **outils livrés** le 2026-10-12 22:37 (`CopieEtat`, `Verrou`, `GitEtat`, `Numero`) | `Verrou` 110 et `Numero` 77 appels (adoptés) ; `CopieEtat` 43 et `GitEtat` 23 appels, **tous en P3a, 0 en P3b** ; à côté : 662 `git status`, 927 calculs d'empreinte improvisés (P2 : 543 en 72 h) |
|
||
| E3 agent `lp-mcp` | **fait** (`lp-mcp` lecture, `lp-mcp-bp` écriture) | appels MCP des principales 1 080 sur 85 h (P2 : 1 070 sur 72 h) ; 37 passages `lp-mcp-bp` ; la délégation existe mais les principales gardent la moitié du MCP |
|
||
| E4 Big Boss Opus + rotation + contrôles scriptés | **en partie** (rotation 1 fois ; contrôles scriptés peu utilisés en P3b) | coût 20,4 % de tous les jetons (25,2 % des principales), 36 % des heures : **au-dessus du seuil de 15 % de la clause D-P7.8** dans les deux bases |
|
||
| E5 protocole Big Boss et règles de fiche (ORGA1) | **fait** | « Niveau Nx » 89,7 %, ligne Tours 68,6 % ; 2 reprises sur 246 fiches ; 0 escalade |
|
||
| E6 doc 33 | fait (CHG-327) | — |
|
||
| E7 commit EVAL | fait (EVAL-R1, EVAL-R2) | — |
|
||
|
||
| Cible du doc 33 § 7 | Cible | P3 | Atteinte |
|
||
|---|---|---|---|
|
||
| Contexte médian des principales | < 200 k | 295 k | non |
|
||
| Part des appels faite par les sous-agents | > 70 % | 57 % | non |
|
||
| Jetons par CHG | ≈ 30 M | 114 M (39 M par CHG + ERR) | non |
|
||
| Messages entre sessions par CHG | 15 (P2) | 31 | non (hausse) |
|
||
| Reprises de cause consigne | — | 2 reprises de registre ; 17 refus du crochet dus à la propre consigne | — |
|
||
|
||
| Clause d'arrêt D-P7.8 (doc 33 § 7) | Seuil | P3 | Verdict |
|
||
|---|---|---|---|
|
||
| Big Boss réduit à la file de compilation | coût > 15 % après E1 et E2 | 20,4 % de tous les jetons, 36 % des heures | **déclenchée** (à soumettre) |
|
||
| Demi-niveaux retirés | `lp-cart` hors budget < 30 % sur 20 fiches | 79 % sur 14 fiches | non décidable (14 < 20), tendance défavorable |
|
||
| Crochet retiré | « plus de refus légitimes que de refus utiles sur un lot » (doc 33 l. 119-120) ; lu ici « refus de commandes légitimes » = à tort | CAM 12 / 5 ; P3b 31 / 28 ; STG 11 / 17 ; STE 6 / 6 | **déclenchée sur CAM** si cette lecture est la bonne (à confirmer par l'utilisateur) |
|
||
|
||
## 5. Commandes de rejeu
|
||
|
||
Dans `D:\Game\LifePlay-master 5.8\Docs\Migration\etat\EVAL2\scripts\`, chacune par `python -I -X utf8 <script>` :
|
||
`eval2_meta.py`, `eval2_sessions.py`, `eval2_recount.py` (T1a) ; `eval2_subagents.py --coupure "2026-10-13 12:07"`,
|
||
`eval2_subagents_sessions.py` (T1b, ce dernier sous le Python d'Unreal, voir T1b) ; `eval2_commits.py` (T2) ;
|
||
`eval2_journal.py` (T3) ; `eval2_commun.py` (T4) ; `eval2_fiches.py`, `eval2_val.py`, `eval2_post.py` (T5) ;
|
||
`eval2_commandes.py`, `eval2_refus.py` (T6).
|
||
|
||
## Incertitudes
|
||
|
||
- Sessions Big Boss et CAM vivantes pendant T1a : messages ± quelques unités au rejeu.
|
||
- Le parallélisme max (7) compte des attentes jusqu'à 10 min : surestimé.
|
||
- Découvreur des défauts : estimé d'après la nature de la ligne du bilan (T4).
|
||
- Retard des journaux : borne (≈ 29 h), pas une mesure par entrée (T3).
|
||
- Coût en crédits : non mesuré.
|
||
- Fins de ligne de `data\` (T9 V5) : `sessions.csv`, `lots.csv`, `lots_transcription.csv`, `app_meta.csv` en CRLF ;
|
||
`refus.csv` mixte (84 lignes sur 136 avec CR) ; `refus_motifs.csv` classé `-text` par git ; `tableaux.md` 1 CR (l. 63).
|
||
**Normalisés en LF** par l'orchestrateur après la VAL (`scripts\eval2_lf.py` : 516 CR retirés sur 7 fichiers ; recompte :
|
||
0 CR dans les `.md` et `data\*`).
|
||
- T6 a tourné avec la coupure provisoire 10:00 : ses répartitions P3a / P3b (refus, commandes) sont décalées de 2 h 07 ;
|
||
seules celles des refus du crochet sont corrigées ici (T9 E1). Les totaux ne changent pas.
|
||
- Un processus du premier passage de T2 (coupure provisoire) est resté bloqué sur `git ls-remote` ; MD5 des fichiers
|
||
`data\commits.csv` `678ed737…`, `tickets.csv` `2e5e1866…`, `commits-stats.txt` `6710747e…` relevés à 2026-10-14 ≈ 19:40 pour
|
||
détecter une réécriture.
|
||
|
||
Tours : sans objet (fiche de l'orchestrateur)
|