Fiche EVAL2-T7 — Niveau N2 — Modèle prévu Opus 5.5 | utilisé claude-opus-5-5 — Agent orchestrateur (session EVAL) — Skills aucun préchargé # EVAL2-STATS : statistiques consolidées P0 → P3 (2026-10-14) Sources : relevés `EVAL2-T1a-INV.md` (sessions principales), `EVAL2-T1b-INV.md` (sous-agents), `EVAL2-T2-INV.md` (git, gardien), `EVAL2-T3-INV.md` (CHG, ERR, décisions), `EVAL2-T4-INV.md` (essais communs, builds), `EVAL2-T5-INV.md` (fiches, VAL, écarts), `EVAL2-T6-INV.md` (commandes, crochet) ; tables `data\*.csv`. P0 à P2 : doc 33 § 2 (`Docs\33_Eval_Organisation_72h.md`) et `etat\EVAL\EVAL-STATS.md`. Chaque chiffre de P3 renvoie à son relevé ; les ratios sont calculés ici (calcul donné). **Période P3** : 2026-10-11 05:30 → 2026-10-14 18:25:41 (commit `2f5d51b`, tag `v2026.10.2.1a`), UTC+2. **Coupure** : 2026-10-13 12:07:16, message de l'utilisateur « fixons les objectifs. on planifie un build alpha à remettre au clients avant la fin des crédits hebdomadaires. priorité données a CAM et STE. version 2026.10.2.1a » (transcription Big Boss `92a3927f`, ligne 9343 ; T1a § 1). **P3a** = 54,6 h de calendrier (fin des lots U8, OUTC, MCPA, ORGA1, PUB3, TRACE1, P7) ; **P3b** = 30,3 h (sprint COMMUN-1 à 13, puis livraison). **Biais** : orchestrateur juge et partie (session EVAL, Opus, N2). Session EVAL et ses sous-agents exclus des mesures. Définitions identiques à l'EVAL (scripts copiés et paramétrés, originaux intacts) ; la comparaison « à travail égal » reste incertaine : P3b est un sprint de correction en jeu, P0 à P2 étaient de la migration et de l'outillage. ## 1. Indicateurs du doc 33 § 2, P0 → P3 | Indicateur | P0 | P1 | P2 | **P3a** | **P3b** | **P3** | Source / calcul P3 | |---|---:|---:|---:|---:|---:|---:|---| | Heures actives (somme des sessions) | 3,7 | 26,0 | 11,7 | 26,79 | 41,47 | **68,27** | T1a tableau | | Heures actives (mur, principales) | — | — | — | 8,18 | 22,30 | 30,48 | T1a | | Parallélisme moyen | — | — | 2,5 | 3,27 | 1,86 | 2,24 | T1a (somme / mur) | | Sessions principales réelles | 4 | 21 | 12 | — | — | 25 (+ 42 jetables d'essai) | T1a | | CHG / h active | 2,4 → 1,2 (doc 31) | 1,81 | 2,40 | 0,67 | 0,19 | **0,38** | 26 CHG (T3) / 68,27 ; P3a 18 / 26,79 ; P3b 8 / 41,47 | | Commits / h active | — | 3,1 | 4,0 | 1,42 | 0,27 | **0,72** | 49 commits 3 dépôts (T2) / 68,27 ; P3a 38, P3b 11 | | Erreurs d'outils (principales) | 3,9 % | 3,3 % | 1,6 % | 2,4 % | 1,6 % | **2,0 %** | T1a | | Tours par sous-agent (moyenne) | ≈ 17 | 37,7 | 19,6 | 17,0 | 26,4 | **22,2** | 5 715 tours / 258 ; P3a 1 988 / 117 ; P3b 3 727 / 141 (T1a, T1b) | | Sous-agents hors budget | — | 26 % | 17 % | 16 % | 29 % | **23 %** | T1b | | Jetons lus / h active (tous) | 31,7 M | 56,2 M | 130,2 M | 48,1 M | 40,5 M | **43,5 M** | (2 407,5 + 562,7) / 68,27 ; sous-agents 562,7 M d'après T1a, 562,4 M d'après T1b (écart d'arrondi, sans effet) | | dont principales / h | 26,0 M | 34,6 M | 108,4 M | 40,9 M | 31,7 M | **35,3 M** | 2 407,5 / 68,27 | | Jetons par CHG | — | 31 M | 54 M | 72 M | 210 M | **114 M** | 2 970 M / 26 ; P3a 1 289 / 18 ; P3b 1 681 / 8 | | Jetons par CHG + ERR | — | — | — | — | — | **39 M** | 2 970 / (26 + 50) | | Contexte médian par tour (principales) | 344 k | 245 k | 323 k | 276 k | 312 k | **295 k** | T1a | | Part des appels faite par les sous-agents | 51 % | 65 % | 57 % | 49 % | 62 % | **57 %** | 8 996 / (8 996 + 6 902) ; P3a 3 124 / 6 385 ; P3b 5 872 / 9 513 (T1a) | | Messages de l'utilisateur / h active | 7,8 | 7,3 | 10,0 | 4,0 | 7,2 | **5,9** | 404 / 68,27 (T1a) | | Messages entre sessions / h active | — | 5,7 | 36 | 11,6 | 11,8 | **11,7** | 798 / 68,27 (T1a) | | Messages entre sessions / CHG | — | — | 15 | 17 | 61 | **31** | 798 / 26 | Lecture : le débit en CHG et en commits s'effondre en P3b, mais **l'unité de livraison a changé** : un CHG par lot (règle du doc 33) et un build commun testé en jeu toutes les 53 min (§ 2) ; les 50 ERR de P3 ont été consignés en rattrapage, tous dans un seul commit (`3af7324`, 2026-10-14 18:22 ; T3). Les jetons par heure baissent de 3 fois par rapport à P2 (rotation de Big Boss, file d'attente des essais en jeu) ; les jetons par CHG doublent. ## 2. Mesures propres à P3 ### 2.1 Essais communs (T4) | Mesure | Valeur | Source | |---|---|---| | Builds COMMUN | 13 (C1 à C13), tous code 0 ; aucun échec de build sur toute P3 (25 résumés `*_Build_*`, 20 journaux UAT) | T4 § builds | | Durée d'un build | Build.ps1 30 à 87 s (moy. 51,6) ; BuildCookRun 68 à 198 s (moy. 127,7) | T4 | | Cas testés | 161 : OK 121, OK partiel 8, KO 17, KO partiel 2, non concluant 1, constat 1, non testés 11 | T4 | | Par lot (cas / KO + KO partiel) | CAM 71 / 12 ; STG 50 / 6 ; STE 11 / 0 ; non-régression 29 / 1 | T4 | | Validations sans vérification cas par cas | 32 implicites (« pas d'autres défauts ») + 24 « en bloc » (C8, C13) = 56 / 161 (35 %) | T4 | | Délai fin d'essai → exe suivant | médiane 53 min, moyenne 50,6, min 15, max 112 (12 intervalles) ; KO horodaté → exe suivant 15 à 61 min | T4 | | Régressions et correctifs insuffisants | 12 lignes : 5 régressions dues à un correctif (ex. glisser à la souris perdu après B2p-G/H en C12, façade solide en C6 → abandon S-F5 en C8), 5 insuffisants, 2 récidives | T4 | | Découvreur des défauts KO | 48 : utilisateur 39 (81 %), agent 6, mixte 3 ; défauts hors fiche : 30 (utilisateur 17, agent 12, mixte 1) | T4 (estimé d'après la nature de la ligne) | | Agent de build hors limite | 1 : COMMUN-9, 55 tours mesurés contre 40 déclarés, non coupé | T1b § 2.6, T4 | | Bilans | écrits 1 à 11 min après l'essai pour C2-C7, C11, C12 ; **après coup** C8 (+96 min), C9 (+48), C10 (+13), écrits ensemble à 12:55, C13 (+104) ; COMMUN-1 sans fiche ni bilan | T4 | ### 2.2 VAL et fiches (T5) | Mesure | Valeur | Source | |---|---|---| | Livrables `.md` de P3 | 641 (P3a 285, P3b 356) ; en-tête complet 83,4 %, « Niveau Nx » 89,7 %, ligne Tours 68,6 % (331 livrables de rôle) | T5 | | Statuts de registre | 246 fiches : faite 121, acceptée 60, reprise 2, relayée 1, escaladée 0 | T5 | | VAL produites | 76 : PASS 31, PASS-STATIC 39, FAIL final 5 (6,6 %), BLOCKED 1 ; 9 (11,8 %) ont eu un FAIL à un stade | T5 | | PASS-STATIC suivis d'un KO en jeu | 3 : S-F5m (KO P3, C9), B2p-E (KO Q1, C10), B2q-a (partiel N1, C8) ; + B2s PASS suivi du KO J5 (C6) | T5 | | Écarts de protocole | 41 retenus : refus du crochet 20 (renvoi T6), méthode d'agent 8, instantané manquant 7 relevés (cas distincts nommés : ORG5-I2a, CAM-B2n, `.h` de DirectControl STG), instantané tardif 2, instantané déclaré sans objet 2, écriture avant gel 2 (dont STG-M1) ; redirection du gardien 0, statut sauté 0 trouvés | T5 l. 123-134, `data\ecarts.csv` | | Essai D-P7.16 (S, C9a) | 52 fiches les portent (STE 37, CAM 12, AG 2, STG 1) ; jointure registre 16 / 52 ; aucune issue mesurable (registres STG/CAM/STE sans colonne Tours ni statut « acceptée ») | T5 | ### 2.3 Crochet `ecriture-gardien` et autres refus (T6, T1a, T1b) | Mesure | Valeur | Source | |---|---|---| | Refus du crochet (sous-agents) | 82 ; 6 essais volontaires ; **76 opérationnels** (P3a 17, P3b 59 à la coupure exacte ; T6 a tourné avec la coupure provisoire 10:00 et donne 13 / 63 : les 4 refus du 2026-10-13 de 10:02 à 10:16, `data\refus.csv` l. 60-63, 2 à tort et 2 utiles, sont reclassés ici en P3a par l'orchestrateur) | T6, T9 E1 | | Motifs (76) | `>` 49, `python -c` 10, `->` 4, `tee` 2, autres 11 | T6 | | Classement v2 (76) | **à tort 36** (motif seulement dans un texte cité : `grep "^>"`, `awk 'NR>=…'`, `echo "a -> b"`) ; **utile 40** ; relecture de 15 lignes : accord 15 / 15 ; 18 des 40 « utile » écrivent dans un dossier temporaire (bénins) | T6 | | Par session (à tort / utile) | STG 11 / 17 ; **CAM 12 / 5** ; STE 6 / 6 ; à la coupure exacte P3a 5 / 12, P3b 31 / 28 (T6 à 10:00 : 3 / 10 et 33 / 30) | T6 § 2.3, T9 E1 | | Refus dus à la propre consigne de l'agent | 14 en P3 (python -c, heredoc, `tee`) + 3 dans ce lot EVAL2 (T1a, T4, T6, tous lp-inventory, tous sur un test d'interpréteur ou une lecture de JSON) | T6 | | Agents arrêtés net par un refus | 6, tous des essais volontaires ; aucun agent de production ; 51 agents ont continué après un refus | T1b | | Contournement | STE-ORG4c : refus utile (`mkdir` + `mv` d'un autosave GI), l'orchestrateur STE déplace le fichier lui-même, MD5 jamais relevé, VAL PASS | T6 § 3 | | Crochet en panne | 4 appels (fichier `Tools/claude/hooks/ecriture-gardien.py` absent, incident du 2026-10-13) | T1a, T6 | | Python en ligne (hors crochet pour les principales) | 322 heredocs Python dans les principales (335 en tout) ; 152 `python -c` de plus de 200 caractères, toutes sessions | T6 § 2.8 | | Mode auto | 34 refus (sous-agents et principales ; Self-Modification 20) ; principales 19 | T6, T1a | | PubCheck | 3 refus au commit des lots de l'alpha (STE, STG, CAM : noms de compte dans des livrables) | T2 ; date de création de l'outil (2026-10-13 10:20) : T6 § 2.9 | | Erreurs de shell | 51 sur 5 910 appels : guillemets / échappement 26 (Bash, 22 en P3b), chemin 21 | T6 | ### 2.4 Git et gardien (T2) | Mesure | Valeur | |---|---| | Commits | 49 (jeu 34, addon 15, modules 0) ; P3a 38, P3b 11 ; **0 sans ticket** | | Tickets | 58 (fait 56, refusé 2) ; 9 refus de COMMIT repris : diff étranger 3, nom de compte vu par le gardien 3, PubCheck 3 | | Verrous | 82 pris, 82 rendus, 0 orphelin ; le plus long 39 h (n° 105, OUTC-R1) | | CHG portés | 26 (CHG-324 à 349, sans trou) ; 15 commits sans CHG (jeu 6, addon 9) | | Délais | ticket → commit médiane 1,1 min (10 tickets horodatés) ; chaîne finale : 8 commits entre 18:20:15 et 18:25:41 | | Release | tag annoté `v2026.10.2.1a` sur `2f5d51b` à 18:25:43 ; **ni le tag ni `ue5.8` ne sont poussés** (refs locales) | | `--amend`, redirection | 0 en P3 | ### 2.5 Journaux et décisions (T3) | Mesure | Valeur | |---|---| | CHG de P3 | 26 (P3a 18, P3b 8) ; recoupés `git log -S` 26 / 26 | | ERR de P3 | 50 (ERR-089 à 138), **tous en rattrapage** (JOURNAUX1-2), déposés le 2026-10-14 à 18:22 | | Trou de journal | aucun CHG ni ERR entre CHG-343 (2026-10-13 13:04) et le commit `3af7324` (2026-10-14 18:22) : ≈ 29 h, soit tout le sprint COMMUN | | BOSS-JOURNAL sans heure | 376 lignes sur 462 ; 40 lignes JOURNAL sans heure | | Décisions de l'utilisateur | 20 en P3 ; 2 paires décision → livraison mesurables (2,3 h et 4,7 h) ; 13 sans heure | ### 2.6 Coût et modèles (T1a, T1b) | Mesure | P3a | P3b | P3 | |---|---:|---:|---:| | Jetons lus, principales | 1 094,8 M | 1 312,7 M | 2 407,5 M | | Jetons lus, sous-agents | 194,6 M | 367,9 M | 562,4 M | | Sous-agents | 117 | 141 | 258 | | Part Opus des jetons des sous-agents | 31 % | 46 % | 41 % | | `lp-mcp-bp` (Opus xhigh) | 3 | 34 | 37 passages, 144,2 M (26 % des jetons des sous-agents, 62 % des jetons Opus), tours moy. 43,6, max 82 | | `lp-validator` (sonnet) | 21 | 56 | 77, 142,1 M (25 %), 26 % hors budget | | `lp-cart` | 5 | 9 | 14, **79 % hors budget**, 4 sur Opus | | `lp-builder` (haiku) | 8 | 24 | 32, 3 % hors budget | | Escalades (cart-max, impl-max, opus-max, fable-top) | 0 | 0 | 0 (1 opus-xhigh, P7-T4b) | | Coupés sans compte rendu | — | — | 1 (REG1-T1) | | Sessions principales sur Opus | | | 99,5 % des tours | Le coût monétaire n'est pas relevé : les transcriptions donnent des jetons, pas des crédits. Les jetons lus sont à 99 % du cache (T1a), ce qui rend le coût par jeton lu très inférieur au coût par jeton écrit (non chiffré ici). ## 3. Big Boss | Mesure | P2 (doc 33) | P3 | |---|---:|---:| | Heures actives | 8 h | 24,66 h = **36,1 %** de la somme des sessions | | Jetons lus | 272 M = **18 %** de tous les jetons de P2 | 605,6 M = **20,4 %** de tous les jetons de P3 (2 970 M, même base que P2) ; 25,2 % des seuls jetons des principales | | Tours | 679 | 1 815 (24,7 %) | | Messages de l'utilisateur reçus | — | 293 sur 404 (**72,5 %**) | | SendMessage | — | 388 sur 722 (53,7 %) | | Rotation | — | 1 (`92a3927f` → `ebc15012`, 2026-10-13 12:26), contexte médian 384 k puis 268 k | ## 4. Suivi des décisions E1 à E7 (doc 33 § 6 pour E1 à E5 ; `etat\EVAL\EVAL-RAPPORT.md` § 9 l. 308-309 pour E6, E7) et des cibles du § 7 | Décision | Appliquée ? | Effet mesuré en P3 | |---|---|---| | E1 rotation (FIN-LOT ou 250 k) | **en partie** : Big Boss 1 rotation ; CAM 3 sessions ; STE une session vivante 79,6 h ; 13 sessions sur 25 au-dessus de 250 k de contexte médian | contexte médian 295 k (cible < 200 k : **non atteinte**) ; −9 % contre P2 | | E2 outils copie partagée | **outils livrés** le 2026-10-12 22:37 (`CopieEtat`, `Verrou`, `GitEtat`, `Numero`) | `Verrou` 110 et `Numero` 77 appels (adoptés) ; `CopieEtat` 43 et `GitEtat` 23 appels, **tous en P3a, 0 en P3b** ; à côté : 662 `git status`, 927 calculs d'empreinte improvisés (P2 : 543 en 72 h) | | E3 agent `lp-mcp` | **fait** (`lp-mcp` lecture, `lp-mcp-bp` écriture) | appels MCP des principales 1 080 sur 85 h (P2 : 1 070 sur 72 h) ; 37 passages `lp-mcp-bp` ; la délégation existe mais les principales gardent la moitié du MCP | | E4 Big Boss Opus + rotation + contrôles scriptés | **en partie** (rotation 1 fois ; contrôles scriptés peu utilisés en P3b) | coût 20,4 % de tous les jetons (25,2 % des principales), 36 % des heures : **au-dessus du seuil de 15 % de la clause D-P7.8** dans les deux bases | | E5 protocole Big Boss et règles de fiche (ORGA1) | **fait** | « Niveau Nx » 89,7 %, ligne Tours 68,6 % ; 2 reprises sur 246 fiches ; 0 escalade | | E6 doc 33 | fait (CHG-327) | — | | E7 commit EVAL | fait (EVAL-R1, EVAL-R2) | — | | Cible du doc 33 § 7 | Cible | P3 | Atteinte | |---|---|---|---| | Contexte médian des principales | < 200 k | 295 k | non | | Part des appels faite par les sous-agents | > 70 % | 57 % | non | | Jetons par CHG | ≈ 30 M | 114 M (39 M par CHG + ERR) | non | | Messages entre sessions par CHG | 15 (P2) | 31 | non (hausse) | | Reprises de cause consigne | — | 2 reprises de registre ; 17 refus du crochet dus à la propre consigne | — | | Clause d'arrêt D-P7.8 (doc 33 § 7) | Seuil | P3 | Verdict | |---|---|---|---| | Big Boss réduit à la file de compilation | coût > 15 % après E1 et E2 | 20,4 % de tous les jetons, 36 % des heures | **déclenchée** (à soumettre) | | Demi-niveaux retirés | `lp-cart` hors budget < 30 % sur 20 fiches | 79 % sur 14 fiches | non décidable (14 < 20), tendance défavorable | | Crochet retiré | « plus de refus légitimes que de refus utiles sur un lot » (doc 33 l. 119-120) ; lu ici « refus de commandes légitimes » = à tort | CAM 12 / 5 ; P3b 31 / 28 ; STG 11 / 17 ; STE 6 / 6 | **déclenchée sur CAM** si cette lecture est la bonne (à confirmer par l'utilisateur) | ## 5. Commandes de rejeu Dans `D:\Game\LifePlay-master 5.8\Docs\Migration\etat\EVAL2\scripts\`, chacune par `python -I -X utf8