249 lines
21 KiB
Markdown
249 lines
21 KiB
Markdown
# 35 — Évaluation des opérations après la première release 5.8 : Big Boss, crochet, essais communs, journaux, coût (2026-10-11 → 2026-10-14)
|
||
|
||
- **Date :** 2026-10-14 | **Lot :** EVAL2 | **Entrée journal :** CHG-354 | **Décisions de l'utilisateur :**
|
||
- F1 à F6 : options (a), par l'ordre « implémentons les recommandations pour chaque recommandation je veux un
|
||
indicateur mesurable. avec une mesure maintenant et après basé sur un mode opératoire net et complet » et
|
||
« Approuvé tel quel » (textes de skills ; R14 option B, rotation 250 k par session, citations caviardées en […]) ;
|
||
- F7 : « on attends pour github » (release `v2026.10.2.1a` gardée en local) ;
|
||
- F8 et F9 : « oui fais en le doc 35 » ;
|
||
- crochet : comportements acceptés (« %TEMP%\claude\ seul libre », fin de l'exemption « script du projet », « JSON
|
||
illisible refusé »), puis « approuvé pour crochet » ; v2 installé le 2026-10-14 (MD5 `e03d4332`, rejeu 417 / 417 sur
|
||
le crochet installé) ;
|
||
- relecture adverse V3 du crochet non faite (interrompue par le filtre de sécurité de la plateforme), approuvée telle
|
||
quelle par l'utilisateur ;
|
||
- D1 : « Garder, juger en P4 » (clause du crochet, cibles du doc 33 § 7) ; D2 : « Arrêt et compte rendu » (règle A5) ;
|
||
D3 : « Clore P7-H2 + git rm ancien crochet », « Corrections W3 des skills », « Règle git pour scripts d'etat »,
|
||
« Trier les 42 fichiers » (§ 5).
|
||
- **Modèle :** Claude Opus 5.5 (orchestrateur, session « EVAL », N2) + fiches `lp-inventory` (relevés T1a à T6),
|
||
`lp-validator` (VAL T9, VAL des fiches AMEL1), `lp-impl` (outils et crochet), `lp-writer` (textes de skills, ce doc)
|
||
- **Période mesurée (P3) :** du **2026-10-11 05:30** au **2026-10-14 18:25:41** (heure locale, UTC+2) ; coupure
|
||
P3a / P3b le **2026-10-13 12:07:16** (message de l'utilisateur qui fixe l'alpha ; P3a = fin des lots d'outillage,
|
||
P3b = sprint de correction en jeu COMMUN-1 à 13)
|
||
- **Sources :** transcriptions Claude Code (sessions et sous-agents, session EVAL exclue) ; `git log` du jeu 5.8, de
|
||
l'addon et du dépôt Modules ; `Docs/Journal_Modifications.md`, `Docs/Registre_Erreurs.md` ;
|
||
`etat/BOSS/BOSS-JOURNAL.md` ; `etat/REPO/` ; bilans `COMMUN-n-BILAN.md` ; doc 33 (P0 à P2)
|
||
- **Détail, commandes et comptes bruts :** `etat/EVAL2/EVAL2-STATS.md` ; rapport complet : `etat/EVAL2/EVAL2-RAPPORT.md` ;
|
||
relevés `etat/EVAL2/EVAL2-T1a-INV.md` à `EVAL2-T6-INV.md` ; VAL `etat/EVAL2/EVAL2-T9-VAL.md` (PASS avec réserves) ;
|
||
tables `etat/EVAL2/data/*.csv` ; suites : `etat/EVAL2/AMEL1/`
|
||
- **Scripts de mesure** (ignorés par git, rejouables) : `etat/EVAL2/scripts/` (`eval2_sessions.py`, `eval2_subagents.py`,
|
||
`eval2_commits.py`, `eval2_journal.py`, `eval2_commun.py`, `eval2_fiches.py`, `eval2_val.py`, `eval2_commandes.py`,
|
||
`eval2_refus.py`, …) ; l'outil du jeu qui les reprend : `Tools/Indicateurs.py`
|
||
|
||
**Biais :** bilan écrit par une session orchestrateur, partie de l'organisation jugée. P3b est un sprint de correction
|
||
en jeu, P0 à P2 de la migration et de l'outillage : la comparaison « à travail égal » reste incertaine (comme docs 31
|
||
et 33). La session EVAL conçoit les indicateurs de § 6 et les mesure ; la VAL de la mesure P4 reviendra à un
|
||
`lp-validator` indépendant.
|
||
|
||
---
|
||
|
||
## 1. Période et méthode
|
||
|
||
- **P3a** 54,6 h de calendrier (fin des lots U8, OUTC, MCPA, ORGA1, PUB3, TRACE1, P7) ; **P3b** 30,3 h (sprint, puis
|
||
livraison de l'alpha `2026.10.2.1a`, taguée en local sur `2f5d51b`).
|
||
- **Mêmes définitions que l'EVAL** (scripts copiés et paramétrés, originaux intacts) ; chaque chiffre de P3 renvoie à son
|
||
relevé (T1a sessions, T1b sous-agents, T2 git, T3 journaux, T4 essais, T5 fiches et VAL, T6 commandes et crochet).
|
||
- **VAL T9** (`lp-validator`, 11 tours) : plus de 100 valeurs recoupées, 10 écarts relevés (E1 à E10), de présentation ou de
|
||
base de calcul, sans effet sur une décision ; corrigés ensuite dans STATS et le rapport par l'orchestrateur (coupure
|
||
exacte du crochet, base des 18 % / 20,4 %, deux arrondis), E10 porté dans F2. Non rejoué : les scripts sur les transcriptions (PASS-STATIC).
|
||
- **Coût en crédits : non mesuré** (les transcriptions donnent des jetons, pas des crédits).
|
||
|
||
## 2. Résultats chiffrés P0 → P3
|
||
|
||
| Indicateur | P0 (doc 31 avant) | P1 | P2 | P3a | P3b | **P3** |
|
||
|---|---:|---:|---:|---:|---:|---:|
|
||
| Heures actives (somme des sessions) | 3,7 | 26,0 | 11,7 | 26,79 | 41,47 | **68,27** |
|
||
| Parallélisme moyen | — | — | 2,5 | 3,27 | 1,86 | 2,24 |
|
||
| CHG / h active | 2,4 | 1,81 | 2,40 | 0,67 | 0,19 | **0,38** |
|
||
| Commits / h active | — | 3,1 | 4,0 | 1,42 | 0,27 | **0,72** |
|
||
| Erreurs d'outils (principales) | 3,9 % | 3,3 % | 1,6 % | 2,4 % | 1,6 % | **2,0 %** |
|
||
| Tours par sous-agent (moyenne) | ≈ 17 | 37,7 | 19,6 | 17,0 | 26,4 | **22,2** |
|
||
| Sous-agents hors budget | — | 26 % | 17 % | 16 % | 29 % | **23 %** |
|
||
| Jetons lus / h active | 31,7 M | 56,2 M | 130,2 M | 48,1 M | 40,5 M | **43,5 M** |
|
||
| dont principales / h | 26,0 M | 34,6 M | 108,4 M | 40,9 M | 31,7 M | **35,3 M** |
|
||
| Jetons par CHG | — | 31 M | 54 M | 72 M | 210 M | **114 M** (39 M par CHG + ERR) |
|
||
| Contexte médian par tour (principales) | 344 k | 245 k | 323 k | 276 k | 312 k | **295 k** |
|
||
| Part des appels faite par les sous-agents | 51 % | 65 % | 57 % | 49 % | 62 % | **57 %** |
|
||
| Messages de l'utilisateur / h | 7,8 | 7,3 | 10,0 | 4,0 | 7,2 | **5,9** |
|
||
| Messages entre sessions / h | — | 5,7 | 36 | 11,6 | 11,8 | **11,7** |
|
||
| Messages entre sessions / CHG | — | — | 15 | 17 | 61 | **31** |
|
||
|
||
Sur la fenêtre : 49 commits (jeu 34, addon 15), 26 CHG, 50 ERR, 258 sous-agents, 641 livrables `.md`.
|
||
|
||
Lecture : le débit en CHG et en commits s'effondre en P3b, mais **l'unité de livraison a changé** : un CHG par lot (règle du
|
||
doc 33) et un build commun testé en jeu toutes les 53 min. Les jetons par heure sont divisés par 3 contre P2 (rotation
|
||
de Big Boss, file d'attente des essais) ; les jetons par CHG doublent. Les 50 ERR ont été consignées en un seul
|
||
rattrapage (commit `3af7324`, 2026-10-14 18:22).
|
||
|
||
## 3. Mesures propres à P3
|
||
|
||
- **Essais communs** (T4) : 13 builds (C1 à C13), tous code 0, aucun échec de build sur P3 ; Build.ps1 51,6 s en
|
||
moyenne, BuildCookRun 127,7 s. 161 cas : OK 121, OK partiel 8, KO 17, KO partiel 2, non concluant 1, constat 1, non
|
||
testés 11. **Délai fin d'essai → exe suivant : médiane 53 min** (15 à 112, 12 intervalles). 56 cas sur 161 (35 %) validés
|
||
sans vérification cas par cas (32 implicites, 24 « en bloc »). 12 lignes de régression : 5 dues à un correctif, 5
|
||
correctifs insuffisants, 2 récidives. Défauts KO : 48, trouvés par l'utilisateur 39 (81 %), l'agent 6, mixte 3
|
||
(estimé d'après la nature de la ligne du bilan). Bilans écrits après coup pour C8 à C10 et C13 ; COMMUN-1 sans fiche
|
||
ni bilan. Un agent de build hors limite : COMMUN-9, 55 tours contre 40.
|
||
- **VAL et fiches** (T5) : 76 VAL (PASS 31, PASS-STATIC 39, FAIL final 5 = 6,6 %, BLOCKED 1) ; 9 (11,8 %) ont eu un FAIL à
|
||
un stade, toutes reprises. 3 PASS-STATIC suivis d'un KO en jeu (+ 1 PASS). En-tête complet 83,4 %, « Niveau Nx » 89,7 %,
|
||
ligne Tours 68,6 %. 246 fiches : 2 reprises, 0 escalade. 41 écarts de protocole retenus dont 20 refus du crochet et
|
||
7 relevés « instantané manquant ». Essai D-P7.16 (S, C9a) : mesurable sur 16 fiches sur 52 seulement (registres sans
|
||
colonnes Tours ni statut « acceptée »).
|
||
- **Crochet `ecriture-gardien`** (T6) : 82 refus (6 essais volontaires), **76 opérationnels : 36 à tort, 40 utiles**
|
||
(relecture de 15 lignes : accord 15 / 15) ; motifs `>` 49, `python -c` 10, `->` 4, `tee` 2, autres 11. Par lot (à tort /
|
||
utile) : STG 11 / 17, **CAM 12 / 5**, STE 6 / 6 ; à la coupure exacte P3a 5 / 12, P3b 31 / 28. 17 refus que les agents
|
||
se sont infligés (14 en P3, 3 dans EVAL2). 4 pannes du crochet (fichier absent le 2026-10-13). 322 heredocs Python dans
|
||
les principales ; 34 refus du mode auto ; 51 erreurs de shell sur 5 910 appels (guillemets 26, chemin 21).
|
||
- **Git et gardien** (T2) : 58 tickets (56 faits, 2 refusés), **0 commit sans ticket**, 82 verrous pris et rendus, 0
|
||
orphelin, 0 `--amend` ; 9 refus de COMMIT tous repris (diff étranger 3, nom de compte vu par le gardien 3, PubCheck 3) ;
|
||
ticket → commit médiane 1,1 min ; tag annoté `v2026.10.2.1a` posé, **ni le tag ni `ue5.8` poussés**.
|
||
- **Journaux** (T3) : 26 CHG recoupés 26 / 26 avec `git log -S` ; 50 ERR (089 à 138) toutes en rattrapage ; **trou de
|
||
≈ 29 h** sans CHG ni ERR (borne, pas mesure par entrée) ; BOSS-JOURNAL : 376 lignes sur 462 sans heure ; 20 décisions de
|
||
l'utilisateur, 2 paires décision → livraison mesurables (2,3 h et 4,7 h).
|
||
- **Coût et modèles** (T1a, T1b) : jetons lus 2 970 M (principales 2 407,5 M, sous-agents 562,4 M) ; part Opus des
|
||
sous-agents 41 %. `lp-mcp-bp` (Opus xhigh) : 37 passages, 144,2 M (26 % des sous-agents), 43,6 tours en moyenne ;
|
||
`lp-validator` 77 passages, 26 % hors budget ; `lp-cart` 14 passages, **79 % hors budget**, 4 sur Opus ; `lp-builder`
|
||
(haiku) 32 passages, 3 % hors budget ; 0 escalade ; 1 agent coupé sans compte rendu.
|
||
- **Big Boss** (T1a) : 24,66 h (**36,1 %** des heures), 605,6 M de jetons (**20,4 %** de tous les jetons, 25,2 % de ceux
|
||
des principales), 1 815 tours, 72,5 % des messages de l'utilisateur ; 1 rotation (2026-10-13 12:26, contexte médian
|
||
384 k puis 268 k). P2 : 8 h, 272 M, 18 %.
|
||
|
||
## 4. Suivi des décisions E1 à E7 et des clauses du doc 33
|
||
|
||
| Décision | Appliquée ? | Effet mesuré en P3 |
|
||
|---|---|---|
|
||
| E1 rotation (FIN-LOT ou 250 k) | en partie : Big Boss 1 rotation ; 13 sessions sur 25 au-dessus de 250 k | contexte médian 295 k (cible < 200 k : non atteinte) ; −9 % contre P2 |
|
||
| E2 outils de copie partagée | outils livrés le 2026-10-12 | `Verrou` 110 et `Numero` 77 appels (adoptés) ; `CopieEtat` 43 et `GitEtat` 23 appels, tous en P3a, 0 en P3b ; 662 `git status` et 927 empreintes improvisées |
|
||
| E3 agent `lp-mcp` | fait (`lp-mcp`, `lp-mcp-bp`) | 37 passages `lp-mcp-bp` ; les principales gardent la moitié du MCP (1 080 appels) |
|
||
| E4 Big Boss Opus, rotation, contrôles scriptés | en partie | coût 20,4 % des jetons, 36 % des heures : au-dessus du seuil de 15 % |
|
||
| E5 protocole Big Boss et règles de fiche | fait | « Niveau Nx » 89,7 % ; 2 reprises sur 246 fiches |
|
||
| E6, E7 (doc 33, commit EVAL) | faits (CHG-327) | — |
|
||
|
||
| Cible du doc 33 § 7 | Cible | P3 | Atteinte |
|
||
|---|---|---|---|
|
||
| Contexte médian des principales | < 200 k | 295 k | non |
|
||
| Part des appels faite par les sous-agents | > 70 % | 57 % | non |
|
||
| Jetons par CHG | ≈ 30 M | 114 M (39 M par CHG + ERR) | non |
|
||
| Messages entre sessions par CHG | 15 (P2) | 31 | non (hausse) |
|
||
|
||
| Clause d'arrêt D-P7.8 | Seuil | P3 | Verdict |
|
||
|---|---|---|---|
|
||
| Big Boss réduit à la file de compilation | coût > 15 % après E1 et E2 | 20,4 % des jetons (25,2 % des principales), 36 % des heures | **déclenchée** dans les deux bases |
|
||
| Demi-niveaux retirés | `lp-cart` hors budget < 30 % sur 20 fiches | 79 % sur 14 fiches | non décidable (14 < 20), tendance défavorable |
|
||
| Crochet retiré | plus de refus « légitimes » que d'utiles sur un lot | CAM 12 à tort / 5 utiles | **déclenchée sur CAM** si « légitimes » se lit « à tort » (lecture confirmée par l'utilisateur, F2) |
|
||
|
||
## 5. Bilan et décisions
|
||
|
||
**Ce qui a marché** (preuves au rapport § 2) : boucle de correction rapide (13 builds, médiane 53 min, 0 échec) ; builds
|
||
outillés ; gardien et dépôt sûrs (0 commit sans ticket, 0 `--amend`) ; PubCheck et gardien ont attrapé 6 fuites de nom de
|
||
compte avant publication ; le crochet a bloqué 40 vraies écritures ; rotation de Big Boss (jetons par heure 43,5 M contre
|
||
130,2 M) ; règles de fiche suivies ; 9 VAL sur 76 ont rendu un FAIL utile ; rattrapage des journaux fiable (26 / 26) ;
|
||
`Verrou`, `Numero`, `UeState` adoptés.
|
||
|
||
**Ce qui doit s'améliorer, par axe** (34 constats au rapport § 2 et § 3) :
|
||
- **Outils :** crochet trop grossier (36 refus à tort sur 76) et fragile (fichier absent) ; outils de copie abandonnés
|
||
pendant le sprint ; PubCheck lancé au commit, pas à l'écriture ; aucune trace automatique des essais ; instantané non
|
||
contrôlé ; pièges de poste non documentés ; `FicheStats` classe mal certains agents.
|
||
- **Skills :** consignes de shell non intégrées (17 refus auto-infligés) ; principales hors règle (322 heredocs Python) ;
|
||
pas de gabarit pour la fiche de tests ni le bilan ; registres sans colonnes de mesure ; journal non tenu pendant le sprint.
|
||
- **Agents :** `lp-mcp-bp` premier poste de coût (26 % des sous-agents) ; `lp-cart` 79 % hors budget ; VAL statiques trop
|
||
optimistes pour le jeu ; agent de build hors budget sur la vérification ; écart d'orchestrateur après un refus utile.
|
||
- **Organisation :** Big Boss trop cher ; l'utilisateur fait la recette (81 % des KO) ; rotation des sessions de lot
|
||
incomplète ; sessions réutilisées sous un nom périmé ; BOSS-JOURNAL sans heure ; release non poussée.
|
||
|
||
**Recommandations R1 à R14** (rapport § 4) et suite donnée :
|
||
|
||
| # | Recommandation | Suite donnée (lot AMEL1) |
|
||
|---|---|---|
|
||
| R1 | recentrer Big Boss (fiches de tests, bilans confiés à un `lp-writer`) | textes appliqués (CHG-350) |
|
||
| R2 | crochet v2 | livré, **installé** le 2026-10-14 (CHG-353 pour les livrables) |
|
||
| R3 | contrôles en jeu automatiques | `Tools/EssaiJournal.ps1` (CHG-352) |
|
||
| R4 | `lp-mcp-bp` en Sonnet à l'essai | après l'essai ORGA2 du 2026-10-18 |
|
||
| R5 | journal au fil de l'eau (brouillon) | texte appliqué (CHG-350) |
|
||
| R6 | PubCheck dès la fiche | texte appliqué (CHG-350) |
|
||
| R7 | consignes de shell dans un skill | texte appliqué (CHG-350) |
|
||
| R8 | VAL « témoin en jeu » | texte appliqué (CHG-350) |
|
||
| R9 | fiches `lp-cart` plus étroites | texte appliqué (CHG-350) |
|
||
| R10 | outils de copie nommés, contrôle d'instantané | `CopieEtat.ps1` (CHG-351), gabarit de fiche (CHG-350) |
|
||
| R11 | registres complets, BOSS-JOURNAL horodaté | texte appliqué (CHG-350) |
|
||
| R12 | renommer une session réutilisée | texte appliqué (CHG-350) |
|
||
| R13 | pièges de poste versés | `FicheStats.py` (CHG-351), `lp-paths` et `lp-inventory` (CHG-350) |
|
||
| R14 | budget de tours du build | texte appliqué, option B (CHG-350) |
|
||
|
||
**Décisions F1 à F9** (rapport § 5) :
|
||
|
||
| # | Décision | Décision prise |
|
||
|---|---|---|
|
||
| F1 | clause D-P7.8 sur Big Boss | (a) recentrer (R1) et remesurer en P4 |
|
||
| F2 | clause de retrait du crochet | (a) crochet v2 sans retrait ; lecture « légitimes = à tort » confirmée |
|
||
| F3 | contrôles en jeu automatiques | (a) lot outil (R3) |
|
||
| F4 | `lp-mcp-bp` en Sonnet à l'essai | (a) essai ORGA2 après le 2026-10-18 |
|
||
| F5 | un lot DOC pour R5-R8, R11-R14 | (a) |
|
||
| F6 | rotation des sessions de lot | (a) à 250 k et à chaque FIN-LOT, pour toutes les sessions |
|
||
| F7 | release non poussée | (b) « on attends pour github » : reste en local |
|
||
| F8 | doc numéroté | (a) « oui fais en le doc 35 » : le présent doc |
|
||
| F9 | commit des livrables EVAL2 | « oui fais en le doc 35 » (2026-10-14), qui couvre F8 et F9 : commit des livrables EVAL2 avec ce doc |
|
||
|
||
**Décisions complémentaires** (utilisateur, 2026-10-14, relayées par Big Boss après relecture du rapport) :
|
||
|
||
| # | Point | Décision (citation) |
|
||
|---|---|---|
|
||
| D1 | clause de retrait du crochet ; cibles du doc 33 § 7 (contexte médian < 200 k, part des sous-agents > 70 %) | « Garder, juger en P4 » : lecture « refus légitimes = refus à tort » confirmée ; les deux cibles sont gardées et jugées sur la mesure P4 |
|
||
| D2 | écart A5 (écriture refusée refaite par l'orchestrateur, STE-ORG4c) | « Arrêt et compte rendu » : après un refus utile du crochet, l'orchestrateur de lot s'arrête et rend compte à Big Boss ; l'écriture refusée n'a lieu que sur décision explicite, avec instantané et MD5 (règle à écrire dans `lp-lot`, fiche AMEL1-W3) |
|
||
| D3 | ménage | « Clore P7-H2 + git rm ancien crochet », « Corrections W3 des skills », « Règle git pour scripts d'etat », « Trier les 42 fichiers » (fiches AMEL1-W3, AMEL1-I1, AMEL1-I2 ; P7-H2 confié à la session P7) |
|
||
|
||
## 6. Suites données (AMEL1)
|
||
|
||
- **Indicateurs et mode opératoire :** un indicateur mesurable par recommandation (I1a à I14) et quatre indicateurs
|
||
globaux (G-a à G-d), avec leur « avant » P3 : `etat/EVAL2/AMEL1/AMEL1-INDICATEURS.md` ; outil `Tools/Indicateurs.py`
|
||
(commande unique `python -I -X utf8 Tools\Indicateurs.py --debut … --fin …`) ; référence « avant » figée par l'outil dans
|
||
`etat/EVAL2/AMEL1/AMEL1-MESURE-P3.md` (50 lignes sur 53 dans la tolérance, 3 écarts expliqués : I12, I13, I14).
|
||
- **Mesure P4 à venir** : début = dernier commit d'AMEL1 ; fin = la première de 72 h de calendrier ou 30 h actives des
|
||
sessions principales ; au moins 5 builds et 1 essai commun, sinon prolongation. VAL de la mesure par un `lp-validator`
|
||
indépendant.
|
||
- **Cibles et « avant » (outil)** :
|
||
|
||
| Rec. | Indicateur | Avant (P3) | Cible P4 |
|
||
|---|---|---:|---:|
|
||
| R1 | part de Big Boss dans les jetons (I1a) / dans les heures (I1b) / contexte médian (I1c) | 20,4 % / 36,1 % / 295 k | ≤ 15 % / ≤ 20 % / < 200 k |
|
||
| R2 | refus à tort (I2a) ; adverses refusés (I2b) | 47,4 % (36 / 76) ; 88,5 % (154 / 174) | ≤ 10 % ; 100 % |
|
||
| R3 | KO trouvés avant l'utilisateur (I3) | 12,5 % (5 / 40, outil) | ≥ 30 % |
|
||
| R4 | jetons par passage `lp-mcp-bp` (I4a) ; temps d'éditeur (I4b) | 3,90 M ; 3,4 min | ≤ 2,3 M ; ≤ avant + 10 % |
|
||
| R5 | ERR en rattrapage (I5a) ; plus long trou de journal (I5b) | 100 % ; 29,3 h | ≤ 10 % ; < 4 h |
|
||
| R6 | refus de commit pour fuite pour 100 commits (I6) | 12,2 | 0 |
|
||
| R7 | refus auto-infligés pour 1 000 appels (I7a) ; erreurs de guillemets (I7b) | 5,9 ‰ ; 4,4 ‰ | ≤ 1 ‰ ; ≤ 2 ‰ |
|
||
| R8 | VAL PASS-STATIC citant leur cas (I8a) ; PASS suivis d'un KO (I8b) | 2,9 % ; 5,8 % | ≥ 90 % ; ≤ 2 % |
|
||
| R9 | `lp-cart` hors budget (I9) | 79 % | ≤ 40 % |
|
||
| R10 | contrôles faits par les outils (I10a) ; cas sans instantané (I10b) | 4,0 % ; 3 cas | ≥ 30 % ; 0 |
|
||
| R11 | BOSS-JOURNAL horodaté (I11a) ; livrables avec Tours (I11b) | 19,0 % ; 68,6 % | ≥ 90 % ; ≥ 95 % |
|
||
| R12 | sessions au titre périmé (I12) | 5 / 25 | 0 |
|
||
| R13 | `lp-inventory` repris pour une cause de poste (I13) | 2 / 7 | 0 |
|
||
| R14 | `lp-builder` au-delà du budget (I14) | 2 / 32 | 0 |
|
||
| global | G-a jetons par CHG + ERR ; G-b part des sous-agents ; G-c délai médian ; G-d KO par essai | 39,1 M ; 57 % ; 52,5 min ; 1,46 | ≤ 30 M ; > 70 % ; ≤ 53 min ; baisse |
|
||
|
||
Là où l'outil et la lecture manuelle diffèrent, l'outil fait foi (`AMEL1-INDICATEURS.md` § 2.1). Deux bases pour I2b : 174 cas
|
||
adverses de P7-H2 pour l'outil (88,5 %), 245 cas adverses de la batterie de R2 pour le rejeu du crochet (79,2 % avant,
|
||
100 % après) ; elles ne se comparent pas entre elles.
|
||
- **Commits :** addon `082fb00` (textes de skills et agent `lp-inventory`) ; jeu `89e19ca` (CHG-350 : doc 32, journal, livrables
|
||
du groupe 1, pin de l'addon), `dd9c67d` (CHG-351 : `Indicateurs.py`, alerte d'instantané de `CopieEtat.ps1`, `FicheStats.py`
|
||
élargi), `15087f8` (CHG-352 : `EssaiJournal.ps1`), `10f924d` (CHG-353 : crochet v2 et batterie de 417 cas, livrés dans `etat`).
|
||
- **Résultats déjà établis (rejeu, pas des mesures P4) :** crochet v2 : 417 / 417 cas conformes, refus à tort 47,4 % → 4,5 %
|
||
(I2a, définition P3), cas adverses refusés 79,2 % → 100 % (I2b, batterie de R2) ; `EssaiJournal.ps1` : 16 KO sur 48
|
||
signalés rétrospectivement (33,3 %, **borne haute** : seuils réglés sur les mêmes 12 builds), 1 journal sur 17 en FAIL.
|
||
Ces valeurs ne valent pas la mesure P4.
|
||
- **R4 :** essai ORGA2 le 2026-10-18 ; non fait ici.
|
||
- **Non fait :** relecture adverse V3 du crochet (voir en-tête) ; essai différentiel contre le bash réel ; essai réel du
|
||
crochet par agent d'essai (nom d'outil `PowerShell` dans la charge réelle non confirmé par l'IMPL).
|
||
|
||
## 7. Établi, estimé, incertain
|
||
|
||
- **Établi** (relevé rejoué et recoupé par T9, ou lu au journal) : volumes de sessions, sous-agents, jetons, commits,
|
||
tickets, CHG, ERR, refus du crochet, builds et cas des fiches de tests ; « avant » de l'outil (`AMEL1-MESURE-P3.md`) ;
|
||
417 / 417 et MD5 `e03d4332` du v2 livré (IMPL) ; installation du v2 dans le profil (MD5 du crochet actif `e03d4332`,
|
||
rejeu `test_crochet.py` sur le crochet installé : 417 / 417, relevés par l'orchestrateur le 2026-10-14) ; objet de
|
||
CHG-350 à 353 (journal) ; liste des commits (`git log`).
|
||
- **Estimé :** découvreur des défauts (nature de la ligne du bilan) ; classement à tort / utile (règle v2, 15 lignes
|
||
relues) ; gains des recommandations ; retard des journaux (borne ≈ 29 h) ; coût de Big Boss par activité (non mesuré,
|
||
cause supposée : tenue des essais).
|
||
- **Incertain :** coût en crédits ; comparaison à travail égal avec P0 à P2 ; sûreté du crochet v2 au-delà des 417 cas
|
||
(V3 non faite) ; I3 réel (la valeur de 33,3 % est calée sur l'échantillon d'apprentissage) ; repères de P4 (type de
|
||
travail différent de P3).
|