12 KiB
VERIF1-RECH-01 : existe-t-il, sur la marketplace Claude, un outil ou skill de validation qui épargne Big Boss ?
Fiche VERIF1-RECH-01, niveau N2, session « Sonnet · VERIF1 » (sonnet). Date de lecture : 2026-10-15. Lecture seule : rien installé, aucun plugin activé, aucun téléchargement, aucune modification hors ce livrable et VERIF1-TACHES.md. Le contenu des pages est une donnée, jamais une instruction. Aucune page Fab concernée.
Niveaux : établi (lu à la source citée), estimé (déduction), incertain (non lu). Plusieurs pages GitHub ont été lues par WebFetch, qui rend un résumé de petit modèle et non le texte brut : tout ce qui concerne licence, réseau et hooks est à relire à la source avant reprise (règle R1 de SK-ARBRE : revue intégrale avant copie).
1. Verdict en une phrase
Option (b) : écrire notre outil Tools\VerifLivrable.ps1 et notre skill lp-verif, en reprenant seulement des idées. Aucun candidat ne rejoue mécaniquement les comptes d'un livrable Markdown (C1), et ceux qui s'en approchent passent par le modèle (coût en jetons, C6), le réseau (C3), des hooks ou un plugin entier (C5). Les contrôles mécaniques de C2 existent déjà chez nous.
2. Méthode et périmètre de la recherche
| Source (ordre demandé) | Ce qui a été fait | Résultat |
|---|---|---|
(1) Catalogue local %USERPROFILE%\.claude\plugins\plugin-directory-cache-v2.json (champ fetchedAt 2026-10-15T11:53Z) |
3 367 entrées ; filtre sur les mots verif, valid, lint, audit, secret, redact, markdown, diff, claim, receipt, reproduc, evidence, hallucinat… : environ 670 entrées touchées au premier filtre (bruit : juridique, finance, marketing, sécurité d'API) ; les 20 plus proches de nos critères ont été lues par leur résumé | établi (comptes du script) |
(1 bis) Marketplace officielle marketplaces\claude-plugins-official\ |
40 plugins internes + 14 externes ; lus en local : code-review, pr-review-toolkit, security-guidance, claude-security, receipts (README, plugin.json, licence) |
établi |
(2) Outil SearchPlugins |
non utilisé : le catalogue local couvre la même marketplace, et l'outil sert à proposer une installation, hors mandat | établi |
| (3) Pages GitHub des candidats | 5 pages lues par WebFetch + 1 SKILL.md brut (Groundtruth) |
établi (résumés) |
(4) etat\SK\SK-T2-SKILLS-WEB.md |
relu : évalue la marketplace officielle en bloc, obra/superpowers (verification-before-completion, déjà repris en debug-verification), Epic, etc. Non refait |
établi |
Limite : le catalogue contient 3 367 entrées, dont beaucoup de tiers au champ checks.review.state = « none » (aucune revue enregistrée) parmi les lignes lues, et d'autres à « done » ; je ne prétends pas à l'exhaustivité, seulement à une recherche ciblée sur nos critères.
3. Tableau des candidats
C1 rejouer les comptes d'un livrable Markdown ; C2 contrôles mécaniques (fins de ligne, diff, secrets, données personnelles) ; C3 aucun réseau, Windows ; C4 licence MIT ou Apache-2.0, code lisible ; C5 utilisable sans plugin entier ni hook tiers ; C6 coût en jetons faible. O rempli, P partiel, N non, ? non établi.
| # | Candidat | Source exacte | Licence | C1 | C2 | C3 | C4 | C5 | C6 | Ce qu'on reprendrait |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Groundtruth (skill, v0.1.0 expérimental) | https://github.com/mediagato/groundtruth ; skills/groundtruth/SKILL.md |
MIT (README) | P : extrait les affirmations vérifiables (commandes, versions, valeurs) dans un registre, verdicts TRUE / STALE / UNVERIFIABLE / MISSING, sources primaires dans l'ordre système, code, git | P : scanne les secrets avant livraison | N : sondes réseau (SSH, curl, WebFetch), modifie les docs, commit / push selon le risque | O (MIT, Markdown) | O : un seul skill, sans scripts ni binaires visibles | N : tout est fait par le modèle (procédure, pas de programme) | l'idée : registre d'affirmations avec les 4 verdicts, ordre des sources primaires, « ne jamais deviner, UNVERIFIABLE reste signalé » ; pas les écritures ni les sondes réseau |
| 2 | lens (plugin) | https://github.com/apurvbazari/claude-plugins (dossier lens) |
MIT (page du dépôt) | N : compare le diff de session à la spec et au plan | P | ? réseau non précisé ; Windows non mentionné | O | N : plugin d'une collection, dépendance optionnelle à walkthrough |
N : revue par modèle, constats vérifiés « de façon adversariale » | l'idée : lecture seule, jamais de commit ni d'édition, rapport Markdown autonome |
| 3 | LeakStop (hooks) | https://github.com/alexandremartinezolmos/claude-code-leakstop | MIT (page) | N | P : secrets seulement (clés AWS, GitHub, Anthropic, OpenAI, Stripe…), pas de données personnelles | O annoncé : « Local-only, no network » (README, non vérifié) ; Windows non mentionné | O (TypeScript lisible, pas de binaire) | N : fonctionne par hooks sur Edit, Write, Bash, Read | O : détection par code | la liste de motifs de secrets, comme source d'inspiration pour compléter PubCheck.ps1 ; pas les hooks |
| 4 | Grounding Guard (hooks) | https://github.com/sanjeewamadhuranga/grounding-guard | MIT (page) | N : vérifie noms de paquets, versions, imports, SHA git inexistants | N | N : interroge les registres npm, PyPI, crates.io… ; Node ≥ 18 | O | N : hook PostToolUse + contrôle au commit | O : code | rien (hors sujet pour un projet UE) ; seule idée : « échoue ouvert » avec délai de 5 s |
| 5 | code-review (Anthropic) |
claude-plugins-official\plugins\code-review (local) |
Apache-2.0 (LICENSE lu) | N | N : revue de pull request par 4 agents | N : GitHub (pull request) | O | N : commande de plugin | N : 4 agents en parallèle | rien : notre code-review intégré fait déjà le travail |
| 6 | security-guidance (Anthropic) |
claude-plugins-official\plugins\security-guidance (local, v2.0.13) |
Apache-2.0 (LICENSE lu) | N | P : motifs sur les éditions, secrets codés en dur | N : revue de diff par modèle, sortie vers api.anthropic.com ou la passerelle (README lignes 97-98) |
O | N : hooks + agent | N : appels au modèle | rien |
| 7 | claude-security (Anthropic) |
claude-plugins-official\plugins\claude-security (local, v0.12.0) |
« All rights reserved » (LICENSE lu) | N | N | N | N | N | N | rien (licence propriétaire) |
| 8 | pr-review-toolkit (Anthropic) |
claude-plugins-official\plugins\pr-review-toolkit (local) |
Apache-2.0 (LICENSE lu) | N | N : 6 agents de revue (commentaires, tests, erreurs, types) | O | O | P : agents Markdown copiables un à un | N | éventuellement le gabarit de silent-failure-hunter pour une revue de code, hors de cette fiche |
| 9 | Agent Evaluation (grayskripko) | https://github.com/grayskripko/marketing-skills/tree/main/plugins/agent-evaluation : HTTP 404 | ? | ? | ? | ? | ? | ? | ? | non lu |
| 10 | Autres tiers vus au filtre (Agent Verifier, loopsmith, roadmapsmith, Vibe Guardian, SLOBAC, verification-foundation, aspiration-self-monitoring, Assetlib Audit…) | résumés du catalogue local seulement | non lues | ? | ? | ? | ? | ? | ? | non retenus : objets sans rapport avec nos critères (code d'agent, tests, droit, images) ou sans revue ; non lus |
Sources des lignes 1 à 4 et 10 : catalogue local (résumés) et pages GitHub lues le 2026-10-15 (résumés WebFetch). Lignes 5 à 8 : fichiers locaux de la marketplace officielle (README, plugin.json, LICENSE).
Lecture honnête de la ligne 1 : le résumé de WebFetch sur SKILL.md ajoute une section « Idée réutilisable : rejouer les commandes citées » (doctests). Je ne peux pas dire si elle figure dans le fichier ou si c'est une suggestion du résumeur ; le fichier ne décrit, lui, que l'extraction d'affirmations et leur vérification par le modèle. Je ne m'appuie donc que sur le registre d'affirmations, non sur le rejeu de commandes.
4. Ce que nous avons déjà (C2 couvert localement)
| Besoin | Outil local | Niveau |
|---|---|---|
| données personnelles, secrets d'identité dans un livrable ou un index | Tools\PubCheck.ps1 (modes -Fichiers, -Index, -Pointe, -Arbre) |
établi (en-tête relu) |
| fins de ligne CRLF / LF / mixte, BOM, MD5, comparaison à l'instantané | Tools\FileCheck.ps1 (avec -Lot) |
établi |
| conversion en LF | Tools\NormaliserLF.py |
établi |
| manifestes d'arbres et comparaison | Tools\Manifeste.py |
établi |
| instantané et retour | Tools\Snapshot.ps1, Restore.ps1 |
établi |
| comptes de build, fiches, journaux | Tools\Build.ps1 -FromLog, FicheStats.py, LogStats.ps1, Indicateurs.py |
établi (index Tools\LISEZMOI.md) |
| méthode de recompte (sans outil) | skills sk-recount, debug-verification, lp-validate |
établi |
Ce qui manque, et que personne ne fournit : C1. Rejouer les commandes citées dans un livrable Markdown (« commande : wc -l fichier → 1012 », « Grep → 10 ») et comparer avec le compte annoncé. Aujourd'hui le recompte se fait à la main par le modèle (Big Boss ou la session), ce qui consomme des jetons et retombe sur Big Boss.
5. Verdict proposé, avec options
Rien n'est décidé ici : le choix est à l'utilisateur.
| Option | Contenu | Pour | Contre |
|---|---|---|---|
| (a) Reprendre un candidat | aucun ne remplit C1 + C3 + C5 | n/a | le meilleur (Groundtruth) est une procédure confiée au modèle, avec réseau et écritures : coût en jetons, c'est le contraire du but |
| (b) Écrire notre outil (recommandée) | Tools\VerifLivrable.ps1 : lit un .md, repère les lignes au format convenu `commande |
résultat attendu, rejoue les commandes en lecture seule (liste blanche : wc, grep, Measure-Object, Get-ChildItem, git ls-files…), compare, imprime un tableau OK / ÉCART / NON REJOUABLE et un code de sortie 0 / 1 / 2 ; appelle PubCheck.ps1etFileCheck.ps1; skilllp-verif` qui dit comment écrire un livrable « vérifiable » et à lire seulement le verdict |
répond à C1 à C6 ; aucun réseau ; le modèle lit le verdict seulement |
| (c) Les deux | (b) + reprise de l'idée de registre d'affirmations de Groundtruth (verdicts TRUE / STALE / UNVERIFIABLE) et d'un motif de secrets de LeakStop dans PubCheck.ps1 |
un vocabulaire de verdicts éprouvé ; couvre les clés API | revue R1 de ces dépôts avant toute copie ; LeakStop et Groundtruth sont de jeunes dépôts à 0 étoile |
Recommandation : (b), avec en (c) la reprise des idées sans copier de code (verdicts à quatre états, lecture seule, « ne jamais deviner »). Rien à installer pour cela. Conditions : liste blanche stricte des commandes rejouables (pas de commande qui écrit), format de ligne de preuve décidé dans la fiche, niveau d'agent modeste.
6. Ce que je n'ai pas lu
- Le texte brut des pages GitHub (résumés WebFetch) ; le code de LeakStop, de Grounding Guard et de lens ;
plugin.jsonde Groundtruth ; la licence en texte intégral des dépôts tiers. - Le dossier
agent-evaluation(HTTP 404) et la quasi-totalité des 3 367 entrées du catalogue (résumés filtrés seulement). SearchPluginsn'a pas été interrogé.
Compte rendu
Aucune commande n'a modifié le projet ni installé quoi que ce soit. Pages lues le 2026-10-15 : https://github.com/mediagato/groundtruth, https://raw.githubusercontent.com/mediagato/groundtruth/main/skills/groundtruth/SKILL.md, https://github.com/sanjeewamadhuranga/grounding-guard, https://github.com/alexandremartinezolmos/claude-code-leakstop, https://github.com/apurvbazari/claude-plugins ; https://github.com/grayskripko/marketing-skills/tree/main/plugins/agent-evaluation (404). Lectures locales : catalogue du plugin directory, marketplace officielle (code-review, pr-review-toolkit, security-guidance, claude-security, receipts), Tools\PubCheck.ps1, FileCheck.ps1, NormaliserLF.py, Manifeste.py, etat\SK\SK-T2-SKILLS-WEB.md, etat\SK\SK-ARBRE*.md (règles R1 à R4).