8.7 KiB
33 — Évaluation de l'organisation multi-agents sur 72 h : Big Boss, gardien, niveaux, mutualisation (2026-10-08 → 2026-10-11)
- Date : 2026-10-11 | Lot : EVAL | Entrée journal : CHG-327 | Décisions de l'utilisateur :
« approuvé » du 2026-10-11 sur les décisions E1 à E7 de
etat/EVAL/EVAL-RAPPORT.md§ 9 (recommandations retenues) - Modèle : Claude Opus 5.5 (orchestrateur, session « EVAL », N2) ; comptages délégués à 7 fiches
lp-inventory(6 sonnet, 1 haiku), aucune escalade - Période mesurée : du 2026-10-08 05:30 au 2026-10-11 05:30 (heure locale, UTC+2)
- Sources : transcriptions Claude Code des dossiers
-5-8et-5-5(sessions et sous-agents, session EVAL exclue) ;git logdu jeu 5.8, de l'addon et du dépôt Modules ;Docs/Journal_Modifications.md,Docs/Registre_Erreurs.md;etat/BOSS/BOSS-JOURNAL.md;etat/REPO/; registres et livrables des lots ;Saved/Logs/portage/; EVAL de lotOBB-EVAL.md,U8-EVAL.md,DOCMV-EVAL.md,STB-EVAL.md - Détail, commandes et comptes bruts :
etat/EVAL/EVAL-STATS.md; rapport complet :etat/EVAL/EVAL-RAPPORT.md; relevésetat/EVAL/EVAL-T1a-INV.mdàEVAL-T6-INV.md; tablesetat/EVAL/data/*.csv - Scripts de mesure (ignorés par git, rejouables) :
etat/EVAL/scripts/(eval_sessions.py,eval_subagents.py,EvalT2_Commits.py,eval_journal.py,eval_boss.py,eval_fiches.py,eval_commandes.py)
Biais : bilan écrit par une session orchestrateur, partie de l'organisation jugée. Les lots de P1 (migration U0 à U7b) et de P2 (ST, OB, DOC, U8) diffèrent : la comparaison « à travail égal » reste incertaine (comme doc 31 § 7).
1. Périodes comparées
| P0 | P1 | P2 | |
|---|---|---|---|
| Bornes | 10-08 05:30 → 13:30 | 13:30 → 10-10 10:45 | 10-10 10:45 → 10-11 05:30 |
| Organisation | agents génériques | agents lp-*, chaque session commite |
Big Boss (file de la copie UE, jeton du journal, arbitrages) + gardien (lp-gardien, tickets) |
| Heures actives (toutes sessions) | 3,7 | 26,0 | 11,7 |
| Sessions principales | 4 | 21 | 12 (parallélisme moyen 2,5) |
Le doc 31 « après » (10-08 13:30 → 10-09 16:41) est inclus dans P1.
2. Résultats chiffrés
| Indicateur | Doc 31 avant | Doc 31 après | P1 | P2 |
|---|---|---|---|---|
| CHG / h active | 2,4 (avant la règle « un CHG par lot ») | 1,2 | 1,81 | 2,40 |
| Commits / h active | — | — | 3,1 | 4,0 |
| Erreurs d'outils | 3,9 % | 3,6 % | 3,3 % | 1,6 % |
| Tours par sous-agent (moyenne) | ≈ 17 | ≈ 40 | 37,7 | 19,6 |
| Sous-agents hors budget (BUD1) | — | — | 26 % | 17 % |
| Jetons lus / h active | 31,7 M | 47,6 M | 56,2 M | 130,2 M |
| dont sessions principales / h | 26,0 M | 22,7 M | 34,6 M | 108,4 M |
| Jetons par CHG | — | — | 31 M | 54 M |
| Contexte médian par tour (principales) | 344 k | 216 k | 245 k | 323 k |
| Part des appels faite par les sous-agents | 51 % | 72 % | 65 % | 57 % |
| Messages de l'utilisateur / h | 7,8 | 6,1 | 7,3 | 10,0 |
| Messages entre sessions / h | — | — | 5,7 | 36 |
Sur la fenêtre : 132 commits, 79 CHG, 45 ERR (presque toutes des défauts du jeu ; une seule d'organisation, ERR-087), 260 sous-agents, 414 livrables.
3. Big Boss et gardien (P2)
- File de la copie UE : 38 GO pour 6 lots ; attente médiane 0,4 min ; copie occupée 62 %, libre 33 %, gelée 6 % ; 32 BUILD-FIN contre-vérifiés, 0 MD5 changé ; la file n'est pas un goulot, sa valeur est la sûreté. Les 692 min de GO ouverts ne correspondent qu'à 268 min de journaux machine (PIE avec l'utilisateur, analyse).
- Réserve « mesure » : 4 créneaux (41 min), mesures U8 et STE rejouées sur machine calme.
- Jeton du journal : 14 jetons, attente médiane 0,3 min, aucune collision.
- Arbitrages : 14 conflits, 12 arbitrages, 9 gels, 18 FIN-LOT ; règles produites : R-REPO1, traces réattribuées, CHG écrit seulement au commit, protection d'assets.
- Gardien : 48 passages, 0,7 M jetons par passage, 63 tickets, 82 verrous pris et rendus, 0 commit sans
ticket ; 1 incident
--amend(ERR-087), encadré depuis. - Coût de Big Boss : 8 h actives, 679 tours, 272 M jetons = 18 % de P2, surtout dus aux contre-vérifications manuelles et à un contexte resté ouvert 18 h.
- Incidents : 5 jeux lancés pendant un GO, 1 fausse alerte, 1 dossier parasite (
-EtatDirrelatif), 1 verrou orphelin (31 min), 1 session fermée pendant un GO, 1 plantage de l'éditeur pendant un GO, 1 refus d'autorisation sur le journal.
4. Niveaux des agents
| Rôle | Constat | Appréciation |
|---|---|---|
| Sessions principales (Opus, N2) | ≈ 1 800 contrôles mécaniques (MD5, processus, git status, verrou) et 1 070 appels MCP faits à environ 300 k de contexte ; aucun agent lp-* n'a d'outil MCP |
N2 qui fait du N0 : principal défaut d'adéquation |
| lp-builder (haiku) | 52 passages, 10 % hors budget | adapté |
| lp-gardien (sonnet) | 48 passages, 0 % hors budget | adapté |
| lp-validator (sonnet) | 19 % hors budget ; VAL de lot à 221-329 k | adapté pour une VAL bornée ; VAL de lot à découper |
| lp-writer (sonnet) | synthèses à 174-242 k | EVAL de lot en N2 |
| lp-cart (opus xhigh) | 55 % hors budget, 40 % des jetons des sous-agents | niveau juste, fiches trop larges (une hypothèse par fiche) |
| Escalades | 4, toutes hors budget, fable-top jamais utilisé |
réservées à bon escient |
| general-purpose | 14 en P0, 0 ensuite | sortis |
Les reprises viennent des consignes (OBB : 4 sur 4 ; U8 : 2 critères de fiche), pas des agents, comme aux docs 22 et 26.
5. Mutualisation
Les outils existent mais sont peu adoptés : 538 calculs d'empreinte improvisés contre 60 appels de FileCheck.ps1 ;
452 relevés de processus contre 161 de UeState.ps1. Familles répétées (appels sur 72 h) : état git et fins de
ligne 1 794 ; verrou, tickets et NUMEROS.md 1 085 ; scripts Tools 996 ; Python ad hoc 684 ; empreintes 543 ;
processus 455 ; journaux 272 ; tailles de build 252 ; LPDumpFunction 129 lancements (103 min machine).
Propositions M1 à M12 : etat/EVAL/EVAL-RAPPORT.md § 6. Les pièges et l'extension de FicheStats proposés par U8
(U8-EVAL.md § 5) sont traités par le lot U8P (CHG-324).
6. Recommandations retenues (décision de l'utilisateur du 2026-10-11)
- E1 / R1 — rotation des sessions principales à chaque FIN-LOT ou dès 250 k de contexte médian ; Big Boss
repart chaque jour de
BOSS-JOURNAL.md(gain estimé : −35 à −45 % des jetons des principales). - E2 / R2 — lot outil « copie partagée » (lot OUTC, ouvert le 2026-10-11 ; scripts à venir) :
Tools/CopieEtat.ps1(UeState filtré sur la copie, FileCheck,git statusdes 3 dépôts, dossiers parasites),Tools/Verrou.ps1,Tools/GitEtat.ps1; nommés en rubrique 4 des fiches et dans le protocole Big Boss (gain estimé : ≈ 0,4-0,5 G jetons sur une période comme P2). - E3 / R3 — agent
lp-mcpaprès un essai d'accès MCP depuis un sous-agent (lot MCPA, ouvert le 2026-10-11). - E4 — Big Boss reste en Opus, avec rotation quotidienne et contrôles scriptés.
- E5 / R4-R5 — lot DOC (lot ORGA1, ouvert le 2026-10-11) : protocole Big Boss (BUILD-*, réserve « mesure », jeton) dans
lp-lot; règles de fiche (ne pas recopier un critère d'entrée, nommer la copie visée, vérifier la faisabilité d'un test) danssk-orchestrate; VAL de lot et diagnostics découpés. - Suivantes, non tranchées individuellement : registre outillé par FicheStats (R7), cache de dumps (R8), dépôt de
méthode unique (R9, D-REPO2), hygiène de la copie partagée (R10), hook
pre-commit(R11), découpage des inventaires de transcriptions (R12).
7. À mesurer
Avec les mêmes scripts, sur la première période complète après R1-R3 : contexte médian des principales (< 200 k), part des appels faite par les sous-agents (> 70 %), jetons par CHG (vers ≈ 30 M), messages entre sessions par CHG (15 en P2), reprises de cause consigne.
Clause d'arrêt par mécanisme (D-P7.8, décision de l'utilisateur du 2026-10-12, doc 34 § 4.4), écrite avant d'avoir les
résultats du lot P7 : Big Boss est réduit à la file de compilation si son coût reste > 15 % de la période après E1 et
E2 ; les demi-niveaux (doc 34 § 4.1) sont retirés si le taux hors budget de lp-cart ne passe pas sous 30 % sur 20
fiches ; le hook ecriture-gardien est retiré s'il produit plus de refus légitimes que de refus utiles sur un lot.
Essai D-P7.16 (utilisateur, 2026-10-12) : sur le lot suivant, S (= C3 + f) et C9a sont relevés avant l'envoi de chaque
fiche (sk-orchestrate § 2), puis comparés à l'issue (acceptée, reprise, hors budget).