LifePlay-Revival/Docs/35_Eval_Operations_Alpha.md

35 — Évaluation des opérations après la première release 5.8 : Big Boss, crochet, essais communs, journaux, coût (2026-10-11 → 2026-10-14)

• Date : 2026-10-14 | Lot : EVAL2 | Entrée journal : CHG-354 | Décisions de l'utilisateur :
  • F1 à F6 : options (a), par l'ordre « implémentons les recommandations pour chaque recommandation je veux un indicateur mesurable. avec une mesure maintenant et après basé sur un mode opératoire net et complet » et « Approuvé tel quel » (textes de skills ; R14 option B, rotation 250 k par session, citations caviardées en […]) ;
  • F7 : « on attends pour github » (release v2026.10.2.1a gardée en local) ;
  • F8 et F9 : « oui fais en le doc 35 » ;
  • crochet : comportements acceptés (« %TEMP%\claude\ seul libre », fin de l'exemption « script du projet », « JSON illisible refusé »), puis « approuvé pour crochet » ; v2 installé le 2026-10-14 (MD5 e03d4332, rejeu 417 / 417 sur le crochet installé) ;
  • relecture adverse V3 du crochet non faite (interrompue par le filtre de sécurité de la plateforme), approuvée telle quelle par l'utilisateur ;
  • D1 : « Garder, juger en P4 » (clause du crochet, cibles du doc 33 § 7) ; D2 : « Arrêt et compte rendu » (règle A5) ; D3 : « Clore P7-H2 + git rm ancien crochet », « Corrections W3 des skills », « Règle git pour scripts d'etat », « Trier les 42 fichiers » (§ 5).
• Modèle : Claude Opus 5.5 (orchestrateur, session « EVAL », N2) + fiches lp-inventory (relevés T1a à T6), lp-validator (VAL T9, VAL des fiches AMEL1), lp-impl (outils et crochet), lp-writer (textes de skills, ce doc)
• Période mesurée (P3) : du 2026-10-11 05:30 au 2026-10-14 18:25:41 (heure locale, UTC+2) ; coupure P3a / P3b le 2026-10-13 12:07:16 (message de l'utilisateur qui fixe l'alpha ; P3a = fin des lots d'outillage, P3b = sprint de correction en jeu COMMUN-1 à 13)
• Sources : transcriptions Claude Code (sessions et sous-agents, session EVAL exclue) ; git log du jeu 5.8, de l'addon et du dépôt Modules ; Docs/Journal_Modifications.md, Docs/Registre_Erreurs.md ; etat/BOSS/BOSS-JOURNAL.md ; etat/REPO/ ; bilans COMMUN-n-BILAN.md ; doc 33 (P0 à P2)
• Détail, commandes et comptes bruts : etat/EVAL2/EVAL2-STATS.md ; rapport complet : etat/EVAL2/EVAL2-RAPPORT.md ; relevés etat/EVAL2/EVAL2-T1a-INV.md à EVAL2-T6-INV.md ; VAL etat/EVAL2/EVAL2-T9-VAL.md (PASS avec réserves) ; tables etat/EVAL2/data/*.csv ; suites : etat/EVAL2/AMEL1/
• Scripts de mesure (ignorés par git, rejouables) : etat/EVAL2/scripts/ (eval2_sessions.py, eval2_subagents.py, eval2_commits.py, eval2_journal.py, eval2_commun.py, eval2_fiches.py, eval2_val.py, eval2_commandes.py, eval2_refus.py, …) ; l'outil du jeu qui les reprend : Tools/Indicateurs.py

Biais : bilan écrit par une session orchestrateur, partie de l'organisation jugée. P3b est un sprint de correction en jeu, P0 à P2 de la migration et de l'outillage : la comparaison « à travail égal » reste incertaine (comme docs 31 et 33). La session EVAL conçoit les indicateurs de § 6 et les mesure ; la VAL de la mesure P4 reviendra à un lp-validator indépendant.

---

1. Période et méthode

• P3a 54,6 h de calendrier (fin des lots U8, OUTC, MCPA, ORGA1, PUB3, TRACE1, P7) ; P3b 30,3 h (sprint, puis livraison de l'alpha 2026.10.2.1a, taguée en local sur 2f5d51b).
• Mêmes définitions que l'EVAL (scripts copiés et paramétrés, originaux intacts) ; chaque chiffre de P3 renvoie à son relevé (T1a sessions, T1b sous-agents, T2 git, T3 journaux, T4 essais, T5 fiches et VAL, T6 commandes et crochet).
• VAL T9 (lp-validator, 11 tours) : plus de 100 valeurs recoupées, 10 écarts relevés (E1 à E10), de présentation ou de base de calcul, sans effet sur une décision ; corrigés ensuite dans STATS et le rapport par l'orchestrateur (coupure exacte du crochet, base des 18 % / 20,4 %, deux arrondis), E10 porté dans F2. Non rejoué : les scripts sur les transcriptions (PASS-STATIC).
• Coût en crédits : non mesuré (les transcriptions donnent des jetons, pas des crédits).

2. Résultats chiffrés P0 → P3

Indicateur	P0 (doc 31 avant)	P1	P2	P3a	P3b	P3
Heures actives (somme des sessions)	3,7	26,0	11,7	26,79	41,47	68,27
Parallélisme moyen	—	—	2,5	3,27	1,86	2,24
CHG / h active	2,4	1,81	2,40	0,67	0,19	0,38
Commits / h active	—	3,1	4,0	1,42	0,27	0,72
Erreurs d'outils (principales)	3,9 %	3,3 %	1,6 %	2,4 %	1,6 %	2,0 %
Tours par sous-agent (moyenne)	≈ 17	37,7	19,6	17,0	26,4	22,2
Sous-agents hors budget	—	26 %	17 %	16 %	29 %	23 %
Jetons lus / h active	31,7 M	56,2 M	130,2 M	48,1 M	40,5 M	43,5 M
dont principales / h	26,0 M	34,6 M	108,4 M	40,9 M	31,7 M	35,3 M
Jetons par CHG	—	31 M	54 M	72 M	210 M	114 M (39 M par CHG + ERR)
Contexte médian par tour (principales)	344 k	245 k	323 k	276 k	312 k	295 k
Part des appels faite par les sous-agents	51 %	65 %	57 %	49 %	62 %	57 %
Messages de l'utilisateur / h	7,8	7,3	10,0	4,0	7,2	5,9
Messages entre sessions / h	—	5,7	36	11,6	11,8	11,7
Messages entre sessions / CHG	—	—	15	17	61	31

Sur la fenêtre : 49 commits (jeu 34, addon 15), 26 CHG, 50 ERR, 258 sous-agents, 641 livrables .md.

Lecture : le débit en CHG et en commits s'effondre en P3b, mais l'unité de livraison a changé : un CHG par lot (règle du doc 33) et un build commun testé en jeu toutes les 53 min. Les jetons par heure sont divisés par 3 contre P2 (rotation de Big Boss, file d'attente des essais) ; les jetons par CHG doublent. Les 50 ERR ont été consignées en un seul rattrapage (commit 3af7324, 2026-10-14 18:22).

3. Mesures propres à P3

• Essais communs (T4) : 13 builds (C1 à C13), tous code 0, aucun échec de build sur P3 ; Build.ps1 51,6 s en moyenne, BuildCookRun 127,7 s. 161 cas : OK 121, OK partiel 8, KO 17, KO partiel 2, non concluant 1, constat 1, non testés 11. Délai fin d'essai → exe suivant : médiane 53 min (15 à 112, 12 intervalles). 56 cas sur 161 (35 %) validés sans vérification cas par cas (32 implicites, 24 « en bloc »). 12 lignes de régression : 5 dues à un correctif, 5 correctifs insuffisants, 2 récidives. Défauts KO : 48, trouvés par l'utilisateur 39 (81 %), l'agent 6, mixte 3 (estimé d'après la nature de la ligne du bilan). Bilans écrits après coup pour C8 à C10 et C13 ; COMMUN-1 sans fiche ni bilan. Un agent de build hors limite : COMMUN-9, 55 tours contre 40.
• VAL et fiches (T5) : 76 VAL (PASS 31, PASS-STATIC 39, FAIL final 5 = 6,6 %, BLOCKED 1) ; 9 (11,8 %) ont eu un FAIL à un stade, toutes reprises. 3 PASS-STATIC suivis d'un KO en jeu (+ 1 PASS). En-tête complet 83,4 %, « Niveau Nx » 89,7 %, ligne Tours 68,6 %. 246 fiches : 2 reprises, 0 escalade. 41 écarts de protocole retenus dont 20 refus du crochet et 7 relevés « instantané manquant ». Essai D-P7.16 (S, C9a) : mesurable sur 16 fiches sur 52 seulement (registres sans colonnes Tours ni statut « acceptée »).
• Crochet ecriture-gardien (T6) : 82 refus (6 essais volontaires), 76 opérationnels : 36 à tort, 40 utiles (relecture de 15 lignes : accord 15 / 15) ; motifs > 49, python -c 10, -> 4, tee 2, autres 11. Par lot (à tort / utile) : STG 11 / 17, CAM 12 / 5, STE 6 / 6 ; à la coupure exacte P3a 5 / 12, P3b 31 / 28. 17 refus que les agents se sont infligés (14 en P3, 3 dans EVAL2). 4 pannes du crochet (fichier absent le 2026-10-13). 322 heredocs Python dans les principales ; 34 refus du mode auto ; 51 erreurs de shell sur 5 910 appels (guillemets 26, chemin 21).
• Git et gardien (T2) : 58 tickets (56 faits, 2 refusés), 0 commit sans ticket, 82 verrous pris et rendus, 0 orphelin, 0 --amend ; 9 refus de COMMIT tous repris (diff étranger 3, nom de compte vu par le gardien 3, PubCheck 3) ; ticket → commit médiane 1,1 min ; tag annoté v2026.10.2.1a posé, ni le tag ni ue5.8 poussés.
• Journaux (T3) : 26 CHG recoupés 26 / 26 avec git log -S ; 50 ERR (089 à 138) toutes en rattrapage ; trou de ≈ 29 h sans CHG ni ERR (borne, pas mesure par entrée) ; BOSS-JOURNAL : 376 lignes sur 462 sans heure ; 20 décisions de l'utilisateur, 2 paires décision → livraison mesurables (2,3 h et 4,7 h).
• Coût et modèles (T1a, T1b) : jetons lus 2 970 M (principales 2 407,5 M, sous-agents 562,4 M) ; part Opus des sous-agents 41 %. lp-mcp-bp (Opus xhigh) : 37 passages, 144,2 M (26 % des sous-agents), 43,6 tours en moyenne ; lp-validator 77 passages, 26 % hors budget ; lp-cart 14 passages, 79 % hors budget, 4 sur Opus ; lp-builder (haiku) 32 passages, 3 % hors budget ; 0 escalade ; 1 agent coupé sans compte rendu.
• Big Boss (T1a) : 24,66 h (36,1 % des heures), 605,6 M de jetons (20,4 % de tous les jetons, 25,2 % de ceux des principales), 1 815 tours, 72,5 % des messages de l'utilisateur ; 1 rotation (2026-10-13 12:26, contexte médian 384 k puis 268 k). P2 : 8 h, 272 M, 18 %.

4. Suivi des décisions E1 à E7 et des clauses du doc 33

Décision	Appliquée ?	Effet mesuré en P3
E1 rotation (FIN-LOT ou 250 k)	en partie : Big Boss 1 rotation ; 13 sessions sur 25 au-dessus de 250 k	contexte médian 295 k (cible < 200 k : non atteinte) ; −9 % contre P2
E2 outils de copie partagée	outils livrés le 2026-10-12	Verrou 110 et Numero 77 appels (adoptés) ; CopieEtat 43 et GitEtat 23 appels, tous en P3a, 0 en P3b ; 662 git status et 927 empreintes improvisées
E3 agent lp-mcp	fait (lp-mcp, lp-mcp-bp)	37 passages lp-mcp-bp ; les principales gardent la moitié du MCP (1 080 appels)
E4 Big Boss Opus, rotation, contrôles scriptés	en partie	coût 20,4 % des jetons, 36 % des heures : au-dessus du seuil de 15 %
E5 protocole Big Boss et règles de fiche	fait	« Niveau Nx » 89,7 % ; 2 reprises sur 246 fiches
E6, E7 (doc 33, commit EVAL)	faits (CHG-327)	—

Cible du doc 33 § 7	Cible	P3	Atteinte
Contexte médian des principales	< 200 k	295 k	non
Part des appels faite par les sous-agents	> 70 %	57 %	non
Jetons par CHG	≈ 30 M	114 M (39 M par CHG + ERR)	non
Messages entre sessions par CHG	15 (P2)	31	non (hausse)

Clause d'arrêt D-P7.8	Seuil	P3	Verdict
Big Boss réduit à la file de compilation	coût > 15 % après E1 et E2	20,4 % des jetons (25,2 % des principales), 36 % des heures	déclenchée dans les deux bases
Demi-niveaux retirés	lp-cart hors budget < 30 % sur 20 fiches	79 % sur 14 fiches	non décidable (14 < 20), tendance défavorable
Crochet retiré	plus de refus « légitimes » que d'utiles sur un lot	CAM 12 à tort / 5 utiles	déclenchée sur CAM si « légitimes » se lit « à tort » (lecture confirmée par l'utilisateur, F2)

5. Bilan et décisions

Ce qui a marché (preuves au rapport § 2) : boucle de correction rapide (13 builds, médiane 53 min, 0 échec) ; builds outillés ; gardien et dépôt sûrs (0 commit sans ticket, 0 --amend) ; PubCheck et gardien ont attrapé 6 fuites de nom de compte avant publication ; le crochet a bloqué 40 vraies écritures ; rotation de Big Boss (jetons par heure 43,5 M contre 130,2 M) ; règles de fiche suivies ; 9 VAL sur 76 ont rendu un FAIL utile ; rattrapage des journaux fiable (26 / 26) ; Verrou, Numero, UeState adoptés.

Ce qui doit s'améliorer, par axe (34 constats au rapport § 2 et § 3) :

• Outils : crochet trop grossier (36 refus à tort sur 76) et fragile (fichier absent) ; outils de copie abandonnés pendant le sprint ; PubCheck lancé au commit, pas à l'écriture ; aucune trace automatique des essais ; instantané non contrôlé ; pièges de poste non documentés ; FicheStats classe mal certains agents.
• Skills : consignes de shell non intégrées (17 refus auto-infligés) ; principales hors règle (322 heredocs Python) ; pas de gabarit pour la fiche de tests ni le bilan ; registres sans colonnes de mesure ; journal non tenu pendant le sprint.
• Agents : lp-mcp-bp premier poste de coût (26 % des sous-agents) ; lp-cart 79 % hors budget ; VAL statiques trop optimistes pour le jeu ; agent de build hors budget sur la vérification ; écart d'orchestrateur après un refus utile.
• Organisation : Big Boss trop cher ; l'utilisateur fait la recette (81 % des KO) ; rotation des sessions de lot incomplète ; sessions réutilisées sous un nom périmé ; BOSS-JOURNAL sans heure ; release non poussée.

Recommandations R1 à R14 (rapport § 4) et suite donnée :

#	Recommandation	Suite donnée (lot AMEL1)
R1	recentrer Big Boss (fiches de tests, bilans confiés à un lp-writer)	textes appliqués (CHG-350)
R2	crochet v2	livré, installé le 2026-10-14 (CHG-353 pour les livrables)
R3	contrôles en jeu automatiques	Tools/EssaiJournal.ps1 (CHG-352)
R4	lp-mcp-bp en Sonnet à l'essai	après l'essai ORGA2 du 2026-10-18
R5	journal au fil de l'eau (brouillon)	texte appliqué (CHG-350)
R6	PubCheck dès la fiche	texte appliqué (CHG-350)
R7	consignes de shell dans un skill	texte appliqué (CHG-350)
R8	VAL « témoin en jeu »	texte appliqué (CHG-350)
R9	fiches lp-cart plus étroites	texte appliqué (CHG-350)
R10	outils de copie nommés, contrôle d'instantané	CopieEtat.ps1 (CHG-351), gabarit de fiche (CHG-350)
R11	registres complets, BOSS-JOURNAL horodaté	texte appliqué (CHG-350)
R12	renommer une session réutilisée	texte appliqué (CHG-350)
R13	pièges de poste versés	FicheStats.py (CHG-351), lp-paths et lp-inventory (CHG-350)
R14	budget de tours du build	texte appliqué, option B (CHG-350)

Décisions F1 à F9 (rapport § 5) :

#	Décision	Décision prise
F1	clause D-P7.8 sur Big Boss	(a) recentrer (R1) et remesurer en P4
F2	clause de retrait du crochet	(a) crochet v2 sans retrait ; lecture « légitimes = à tort » confirmée
F3	contrôles en jeu automatiques	(a) lot outil (R3)
F4	lp-mcp-bp en Sonnet à l'essai	(a) essai ORGA2 après le 2026-10-18
F5	un lot DOC pour R5-R8, R11-R14	(a)
F6	rotation des sessions de lot	(a) à 250 k et à chaque FIN-LOT, pour toutes les sessions
F7	release non poussée	(b) « on attends pour github » : reste en local
F8	doc numéroté	(a) « oui fais en le doc 35 » : le présent doc
F9	commit des livrables EVAL2	« oui fais en le doc 35 » (2026-10-14), qui couvre F8 et F9 : commit des livrables EVAL2 avec ce doc

Décisions complémentaires (utilisateur, 2026-10-14, relayées par Big Boss après relecture du rapport) :

#	Point	Décision (citation)
D1	clause de retrait du crochet ; cibles du doc 33 § 7 (contexte médian < 200 k, part des sous-agents > 70 %)	« Garder, juger en P4 » : lecture « refus légitimes = refus à tort » confirmée ; les deux cibles sont gardées et jugées sur la mesure P4
D2	écart A5 (écriture refusée refaite par l'orchestrateur, STE-ORG4c)	« Arrêt et compte rendu » : après un refus utile du crochet, l'orchestrateur de lot s'arrête et rend compte à Big Boss ; l'écriture refusée n'a lieu que sur décision explicite, avec instantané et MD5 (règle à écrire dans lp-lot, fiche AMEL1-W3)
D3	ménage	« Clore P7-H2 + git rm ancien crochet », « Corrections W3 des skills », « Règle git pour scripts d'etat », « Trier les 42 fichiers » (fiches AMEL1-W3, AMEL1-I1, AMEL1-I2 ; P7-H2 confié à la session P7)

6. Suites données (AMEL1)

• Indicateurs et mode opératoire : un indicateur mesurable par recommandation (I1a à I14) et quatre indicateurs globaux (G-a à G-d), avec leur « avant » P3 : etat/EVAL2/AMEL1/AMEL1-INDICATEURS.md ; outil Tools/Indicateurs.py (commande unique python -I -X utf8 Tools\Indicateurs.py --debut … --fin …) ; référence « avant » figée par l'outil dans etat/EVAL2/AMEL1/AMEL1-MESURE-P3.md (50 lignes sur 53 dans la tolérance, 3 écarts expliqués : I12, I13, I14).
• Mesure P4 à venir : début = dernier commit d'AMEL1 ; fin = la première de 72 h de calendrier ou 30 h actives des sessions principales ; au moins 5 builds et 1 essai commun, sinon prolongation. VAL de la mesure par un lp-validator indépendant.
• Cibles et « avant » (outil) :

Rec.	Indicateur	Avant (P3)	Cible P4
R1	part de Big Boss dans les jetons (I1a) / dans les heures (I1b) / contexte médian (I1c)	20,4 % / 36,1 % / 295 k	≤ 15 % / ≤ 20 % / < 200 k
R2	refus à tort (I2a) ; adverses refusés (I2b)	47,4 % (36 / 76) ; 88,5 % (154 / 174)	≤ 10 % ; 100 %
R3	KO trouvés avant l'utilisateur (I3)	12,5 % (5 / 40, outil)	≥ 30 %
R4	jetons par passage lp-mcp-bp (I4a) ; temps d'éditeur (I4b)	3,90 M ; 3,4 min	≤ 2,3 M ; ≤ avant + 10 %
R5	ERR en rattrapage (I5a) ; plus long trou de journal (I5b)	100 % ; 29,3 h	≤ 10 % ; < 4 h
R6	refus de commit pour fuite pour 100 commits (I6)	12,2	0
R7	refus auto-infligés pour 1 000 appels (I7a) ; erreurs de guillemets (I7b)	5,9 ‰ ; 4,4 ‰	≤ 1 ‰ ; ≤ 2 ‰
R8	VAL PASS-STATIC citant leur cas (I8a) ; PASS suivis d'un KO (I8b)	2,9 % ; 5,8 %	≥ 90 % ; ≤ 2 %
R9	lp-cart hors budget (I9)	79 %	≤ 40 %
R10	contrôles faits par les outils (I10a) ; cas sans instantané (I10b)	4,0 % ; 3 cas	≥ 30 % ; 0
R11	BOSS-JOURNAL horodaté (I11a) ; livrables avec Tours (I11b)	19,0 % ; 68,6 %	≥ 90 % ; ≥ 95 %
R12	sessions au titre périmé (I12)	5 / 25	0
R13	lp-inventory repris pour une cause de poste (I13)	2 / 7	0
R14	lp-builder au-delà du budget (I14)	2 / 32	0
global	G-a jetons par CHG + ERR ; G-b part des sous-agents ; G-c délai médian ; G-d KO par essai	39,1 M ; 57 % ; 52,5 min ; 1,46	≤ 30 M ; > 70 % ; ≤ 53 min ; baisse

Là où l'outil et la lecture manuelle diffèrent, l'outil fait foi (AMEL1-INDICATEURS.md § 2.1). Deux bases pour I2b : 174 cas adverses de P7-H2 pour l'outil (88,5 %), 245 cas adverses de la batterie de R2 pour le rejeu du crochet (79,2 % avant, 100 % après) ; elles ne se comparent pas entre elles.

• Commits : addon 082fb00 (textes de skills et agent lp-inventory) ; jeu 89e19ca (CHG-350 : doc 32, journal, livrables du groupe 1, pin de l'addon), dd9c67d (CHG-351 : Indicateurs.py, alerte d'instantané de CopieEtat.ps1, FicheStats.py élargi), 15087f8 (CHG-352 : EssaiJournal.ps1), 10f924d (CHG-353 : crochet v2 et batterie de 417 cas, livrés dans etat).
• Résultats déjà établis (rejeu, pas des mesures P4) : crochet v2 : 417 / 417 cas conformes, refus à tort 47,4 % → 4,5 % (I2a, définition P3), cas adverses refusés 79,2 % → 100 % (I2b, batterie de R2) ; EssaiJournal.ps1 : 16 KO sur 48 signalés rétrospectivement (33,3 %, borne haute : seuils réglés sur les mêmes 12 builds), 1 journal sur 17 en FAIL. Ces valeurs ne valent pas la mesure P4.
• R4 : essai ORGA2 le 2026-10-18 ; non fait ici.
• Non fait : relecture adverse V3 du crochet (voir en-tête) ; essai différentiel contre le bash réel ; essai réel du crochet par agent d'essai (nom d'outil PowerShell dans la charge réelle non confirmé par l'IMPL).

7. Établi, estimé, incertain

• Établi (relevé rejoué et recoupé par T9, ou lu au journal) : volumes de sessions, sous-agents, jetons, commits, tickets, CHG, ERR, refus du crochet, builds et cas des fiches de tests ; « avant » de l'outil (AMEL1-MESURE-P3.md) ; 417 / 417 et MD5 e03d4332 du v2 livré (IMPL) ; installation du v2 dans le profil (MD5 du crochet actif e03d4332, rejeu test_crochet.py sur le crochet installé : 417 / 417, relevés par l'orchestrateur le 2026-10-14) ; objet de CHG-350 à 353 (journal) ; liste des commits (git log).
• Estimé : découvreur des défauts (nature de la ligne du bilan) ; classement à tort / utile (règle v2, 15 lignes relues) ; gains des recommandations ; retard des journaux (borne ≈ 29 h) ; coût de Big Boss par activité (non mesuré, cause supposée : tenue des essais).
• Incertain : coût en crédits ; comparaison à travail égal avec P0 à P2 ; sûreté du crochet v2 au-delà des 417 cas (V3 non faite) ; I3 réel (la valeur de 33,3 % est calée sur l'échantillon d'apprentissage) ; repères de P4 (type de travail différent de P3).