39 lines
8.4 KiB
Markdown
39 lines
8.4 KiB
Markdown
|
# EVAL-TACHES : registre des fiches (lot EVAL, évaluation de l'organisation multi-agents sur 72 h, ouvert le 2026-10-11)
|
|||
|
|
|
|||
|
|
Orchestrateur : session « EVAL » (Opus 5.5, N2), lancée par la session `local_7f1c9fb1` à la demande de l'utilisateur.
|
|||
|
|
Demande : niveau des agents vs complexité, efficacité de l'orchestration (vs docs 22, 26, 31), mutualisation
|
|||
|
|
(outils, process, skills, agents), statistiques de gain / productivité / temps, ce qui marche et ce qui coince.
|
|||
|
|
Période : **2026-10-08 05:30 → 2026-10-11 05:30** (heure locale, UTC+2). Sous-périodes de comparaison :
|
|||
|
|
**P0** 2026-10-08 05:30 → 13:30 (agents génériques, avant `lp-*`, coupure du doc 31) ; **P1** 13:30 → début de la
|
|||
|
|
session « Big Boss » (agents `lp-*`, chaque session commite) ; **P2** Big Boss + gardien → 2026-10-11 05:30.
|
|||
|
|
Lecture seule (code, assets, docs des autres lots). Aucune copie UE. Livrables sous `etat\EVAL\` seulement ; scripts de
|
|||
|
|
mesure rejouables sous `etat\EVAL\scripts\`, tables sous `etat\EVAL\data\`. Session EVAL exclue des mesures
|
|||
|
|
(`b339a92a`).
|
|||
|
|
|
|||
|
|
| Fiche | Objectif (un résultat) | Note → Nx | Agent (modèle) | Dépend de | Statut | Livrable | CHG | Tours | Pic | Jetons | Durée |
|
|||
|
|
|---|---|---|---|---|---|---|---|---|---|---|---|
|
|||
|
|
| EVAL-T1a | Sessions principales de la période : temps actif, messages humains / inter-sessions, appels d'outils, erreurs, refus, appels Agent par type, contexte, jetons, par session et par P0/P1/P2 | a1 b1 c1 d0 e1 f0 = 4 → N1 | lp-inventory (sonnet) | — | acceptée : recompte des sommes P0+P1+P2 conforme ; `e3d15049` (dossier 4-27) exclue, 9 sessions sans message humain gardées | `EVAL-T1a-INV.md`, `data/sessions.csv` | — | 27 | 185 k (hors budget) | 2.7 M | 11 min |
|
|||
|
|
| EVAL-T1b | Sous-agents de la période : type, modèle, fiche, niveau, durée, tours, pic, jetons, erreurs, hors budget, coupés sans compte rendu | a1 b1 c1 d0 e1 f0 = 4 → N1 | lp-inventory (sonnet) | — | acceptée : 260 lignes = P0 15 + P1 121 + P2 124 (recompté) ; motif de fiche élargi accepté | `EVAL-T1b-INV.md`, `data/subagents.csv` | — | 20 | 149 k | 1.8 M | 8 min |
|
|||
|
|
| EVAL-T2 | Git des 3 dépôts + traces du gardien : commits par lot et par dépôt, tickets, commits sans ticket, verrou, NUMEROS, REPO-JOURNAL | a1 b0 c0 d0 e1 f0 = 2 → N1 (règle : inventaire git = lp-inventory) | lp-inventory (sonnet) | — | acceptée : 141 lignes (132 distinctes) ; `git rev-list` jeu 90 / addon 40 recompté | `EVAL-T2-INV.md`, `data/commits.csv` | — | 18 | 205 k (hors budget) | 2.1 M | 10 min |
|
|||
|
|
| EVAL-T3 | Journal CHG et registre ERR de la période (numéro, date, lot, objet court) + débit CHG / h par sous-période | a1 b0 c0 d0 e1 f0 = 2 → N0 | lp-inventory (haiku, surcharge) | — | acceptée : `chg.csv` 79, `err.csv` 45 recomptés ; défaut mineur CHG-316 (cellule contenant une barre verticale) | `EVAL-T3-INV.md`, `data/chg.csv`, `data/err.csv` | — | 17 | 163 k (hors budget) | 1.7 M | 9 min |
|
|||
|
|
| EVAL-T4 | File de la copie UE (BOSS-JOURNAL + transcription de Big Boss) : demandes, GO, FIN, attentes, durées occupée / libre / gelée, arbitrages, incidents ; durées des journaux `Saved\Logs\portage` | a1 b1 c1 d0 e1 f1 = 5 → N1 (relevé daté, jugement borné) | lp-inventory (sonnet) | — | acceptée avec réserve : 2 GO simultanés formels (fin constatée avant le GO) ; tours déclarés 37, mesurés 39 | `EVAL-T4-INV.md`, `data/buildqueue.csv` | — | 39 | 315 k (hors budget) | 5.7 M | 17 min |
|
|||
|
|
| EVAL-T5 | Fiches des lots actifs : registres TACHES (statuts, niveaux, reprises, escalades), en-têtes des livrables, ligne `Tours`, livrables par lot | a1 b0 c0 d0 e1 f0 = 2 → N1 | lp-inventory (sonnet) | — | acceptée : 414 lignes = P0 15 + P1 153 + P2 246 (recompté) ; registre STE hors fenêtre (mtime 05:30:05) | `EVAL-T5-INV.md`, `data/fiches.csv` | — | 20 | 190 k (hors budget) | 2.4 M | 9 min |
|
|||
|
|
| EVAL-T6 | Commandes répétées dans les transcriptions (principales + sous-agents) : motifs de contrôle, redumps, comptes de journaux ; usage et date de création des `Tools\*` | a1 b1 c1 d0 e1 f0 = 4 → N1 | lp-inventory (sonnet) | — | acceptée : 2 966 appels shell des principales = `sessions.csv` ; familles relues | `EVAL-T6-INV.md`, `data/commands.csv` | — | 18 | 174 k (hors budget) | 1.8 M | 12 min |
|
|||
|
|
| EVAL-T7 | Statistiques consolidées (indicateurs, commande, compte brut) après recompte | a1 b1 c0 d0 e1 f1 = 4 → N2 (synthèse par l'orchestrateur, pas de N3+) | orchestrateur (Opus 5.5) | T1a-T6 | faite : `EVAL-STATS.md` | `EVAL-STATS.md` | — | | | | |
|
|||
|
|
| EVAL-T8 | Rapport : constats datés, réponses aux 5 questions, recommandations chiffrées classées par gain | a2 b1 c1 d0 e0 f2 = 6 → N2 | orchestrateur (Opus 5.5) | T7 | faite : `EVAL-RAPPORT.md` (décisions E1-E7 soumises) | `EVAL-RAPPORT.md` | — | | | | |
|
|||
|
|
| EVAL-T9 | Message à Big Boss (état du lot ; JOURNAL-DEMANDE seulement si commit imminent) ; compte rendu à l'utilisateur | — | orchestrateur | T8 | faite : état envoyé à Big Boss ; pas de JOURNAL-DEMANDE (commit après la décision E7) | message | — | | | | |
|
|||
|
|
|
|||
|
|
Choix de niveau : les comptages sont N1 (`lp-inventory`, règle SEQ1) ; la synthèse reste à l'orchestrateur (N2) parce
|
|||
|
|
que les tables sont produites et recomptées en amont ; un N4 (`opus-max`) n'est pas justifié sur des comptes déjà
|
|||
|
|
rejoués (donnée de l'évaluation : coût évité). Parallélisme : 4 fiches au plus à la fois (D-AG5 a, recommandation).
|
|||
|
|
| EVAL-T10 | Doc 33 (décision E6 « approuvé », 2026-10-11) : brouillon écrit dans le lot, puis déplacé vers `Docs\33_Eval_Organisation_72h.md` après réservation du numéro | a1 b0 c0 d1 e1 f1 = 4 → N2 (synthèse) | orchestrateur | T8, E6 | **brouillon fait** (`EVAL-DOC33-BROUILLON.md`) ; **réservation DOC 33 + CHG bloquée** : prise du verrou 86 refusée par le système d'autorisations (« Modify Shared Resources »), rien écrit (verrou 85 libre), non contournée, signalée à l'utilisateur et à Big Boss ; **débloquée** par la règle d'autorisation ajoutée par l'utilisateur (« fait », 2026-10-11) : verrou 90 pris et rendu, CHG-327 et DOC 33 réservés (CHG-325 et 326 déjà pris par U8 et STE) ; `Docs\33_Eval_Organisation_72h.md` créé depuis le brouillon | `Docs\33_Eval_Organisation_72h.md` | 327 | | | | |
|
|||
|
|
| EVAL-T11 | VAL indépendante du doc 33 (chiffres = `EVAL-STATS.md`, liens, LF, rien d'autre modifié) | a1 b0 c0 d0 e1 f0 = 2 → N1 | lp-validator (sonnet) | T10 | **acceptée** : PASS-STATIC (V1-V6), 3 réserves mineures (`CopieEtat.ps1` à venir, précision CHG/h du doc 31, incident « plantage de l'éditeur ») corrigées dans le doc 33 par l'orchestrateur | `EVAL-T11-VAL.md` | — | 10 (déclarés) | | 104 k | 3 min |
|
|||
|
|
| EVAL-T12 | JOURNAL-DEMANDE, entrée CHG + index `Docs\README.md` (doc 33, plage CHG), ticket `EVAL-R1` au gardien (livrables EVAL + doc 33 + NUMEROS + REPO-JOURNAL) | — | orchestrateur + lp-gardien | T11 PASS | **faite** : jeton reçu après STE-R7 (HEAD `7bceea6`) ; instantané `Tools\Snapshot.ps1 -Lot EVAL` (journal, README, NUMEROS, doc 33) ; CHG-327 écrit (journal +1 / −0), README +2 / −1, NUMEROS « utilisé » ; ticket `EVAL-R1` fait par lp-gardien (verrou 99), 39 chemins, recompté (`git show --name-status` = 39, parent `7bceea6`) ; 9 `.csv` / `.md` de `data\` en CRLF commités tels quels (`* -text`), accepté ; JOURNAL-LIBRE et FIN-LOT envoyés à Big Boss. Restent non commités : ce registre (ligne T12) et `EVAL-INT.md`, pour le prochain commit du dépôt | ticket `EVAL-R1`, `EVAL-INT.md` | 327 | 10 (gardien) | | 66 k | 2 min |
|
|||
|
|
| EVAL-T13 | Retrait du nom d'utilisateur Windows de 5 livrables EVAL (chemins remplacés par `%USERPROFILE%`, terme de recherche par `<utilisateur>`), signalé après le refus du ticket ORGA1-R3 ; commit sans CHG (ticket `EVAL-R2`, réservé par Big Boss) avec `EVAL-INT.md` et ce registre | — | orchestrateur + lp-gardien | T12 | **envoyée** : ticket `EVAL-R2` au gardien sur le HEAD `61edc08` ; commit : `git log --grep EVAL-R2` (R-REPO1, pas de hash ici) | ticket `EVAL-R2` | — | | | | |
|
|||
|
|
|
|||
|
|
Mesures : `python -I Tools/FicheStats.py --lot EVAL` (2026-10-11) : 7 fiches, 18,4 M jetons lus, 6 sur 7 hors budget de pic
|
|||
|
|
(lecture de transcriptions de plusieurs Mo ; fiches trop larges, cause consigne), toutes dans le budget de tours.
|
|||
|
|
|
|||
|
|
Décisions de l'utilisateur (2026-10-11, « approuvé ») : E1 à E7 selon les recommandations de `EVAL-RAPPORT.md` § 9.
|
|||
|
|
Suites proposées en sessions (cartes, non lancées) : lot outil copie partagée (E2), essai MCP et agent `lp-mcp` (E3), lot DOC rotation / protocole Big Boss / règles de fiche (E1, E4, E5).
|