Trust Labels étiquettes de confiance

Le problème #

L’injection de prompt fonctionne parce qu’un modèle ne distingue pas les « instructions » des « données ». Les défenses au niveau du modèle (classifieurs, durcissement des prompts) fuient, et les attaquants peuvent s’adapter. Fin octobre 2025, Meta a proposé l’Agents Rule of Two : tant que l’injection n’est pas résolue de façon fiable, une session devrait avoir au plus deux des trois propriétés.

L’approche la plus fiable consiste à borner les conséquences en dehors du modèle. Le stockage est précisément l’endroit où passent toutes les lectures et écritures, et c’est donc un endroit naturel pour transformer cette règle en invariant testable.

Fonctionnement #

• Étiquettes. Trois origines, trois sensibilités et un indicateur reviewed (posé par l’approbation d’une validation). Les points d’import (pages web, e-mails, téléversements) valent external par défaut ; quand un détecteur de secrets trouve des identifiants, il les étiquette automatiquement secret.
• Contamination de session. Le résumé de tout ce qu’une exécution a lu (d’après le manifeste de lecture) ; au sein d’une session elle ne fait que croître, et une nouvelle session repart propre.
• L’invariant. A = la session a lu external ; B = l’habilitation peut lire private ou plus (seuil configurable) ; C = l’habilitation peut proposer une fusion dans un arbre protégé, partager, supprimer ou envoyer des données vers l’extérieur. Quand les trois sont réunis dans une même session, l’appel qui déclenche C est refusé ou envoyé à une validation.
• En pratique : sous une habilitation qui a à la fois B et C, dès qu’une session a lu du contenu externe, toute action de type C ultérieure exige une personne. Pour éviter cette friction, faites le travail de « lecture de contenu externe » dans une session distincte sans B, et ne transmettez les résultats que par une passation structurée.
• Propagation. Les dérivations faites par le NAS lui-même (index, résumés) héritent de façon déterministe de l’union des étiquettes de leurs entrées ; les fichiers qu’une exécution écrit héritent de la contamination de session de l’exécution (le choix prudent).
• Déclassification. Uniquement par une Human Gate, ou par une passation structurée : la sortie de la session contaminée est restreinte à des champs validés par un schéma JSON (énumérations, identifiants, chaînes bornées), et c’est seulement après validation qu’une session privilégiée peut la lire. On ne peut faire confiance qu’à ce qui peut être validé de façon déterministe.
• L’application se fait à la passerelle et au montage (qui connaissent l’habilitation et la session), pas à l’intérieur du modèle.

Commencer petit #

• Ne faites que deux choses : étiquetez external les fichiers du répertoire d’import, et par défaut n’accordez à une exécution qui a lu external ni sortie de données ni fusion protégée sans validation.
• Écrivez la politique sous forme de règles déterministes en Cedar ou Rego, et donnez des raisons lisibles en cas de refus.
• Faites tourner en mode « journal seulement » pendant une semaine pour voir ce qu’il bloquerait par erreur, puis activez l’application.

Esquisse d’interface #

À titre d’illustration seulement. Les noms de champs peuvent changer avant la spécification v0.3.

# Deterministic policy (Cedar- or Rego-style rules can express the same thing)
session_invariant: rule_of_two
properties:
  A: session.read_origin includes "external"
  B: lease.sensitivity_max >= "private"
  C: lease allows propose_protected | share | delete | egress
on_would_complete_ABC: gate        # never "allow"
rules:
  - id: r-merge-1
    when: session.A and op == "merge" and target.protected
    then: gate
  - id: r-secret-1
    when: session.read_sensitivity == "secret" and op == "egress"
    then: deny

Ce que demande la spécification #

• Chaque point d’import DOIT attribuer une étiquette par défaut ; le contenu externe DOIT être étiqueté external.
• Au sein d’une session, la contamination DOIT uniquement croître.
• L’évaluation des politiques DOIT être déterministe et NE DOIT PAS appeler un LLM.
• Un appel qui permettrait à une session de réunir A+B+C DOIT être refusé ou envoyé à une validation.
• La déclassification DOIT passer par une validation ou par une passation structurée validée par un schéma.
• Les données dérivées DOIVENT hériter de l’union des étiquettes de leurs entrées.

Ce qui est emprunté, et ce qui est nouveau #

Tout ce qui précède relève de réflexions établies. Ce qui est nouveau : mettre en œuvre la contamination de session à la frontière du stockage avec le manifeste de lecture, et appliquer les étiquettes aux écritures de mémoire et aux données dérivées. Nous gardons délibérément le treillis d’étiquettes à 3×3, car les treillis fins mènent en pratique à une explosion d’étiquettes. OpenClaw fait déjà des étiquettes d’origine et de l’isolation à l’intérieur d’un seul runtime ; notre seule différence est de placer cela dans un stockage partagé.

• Agents Rule of Two (Meta)
• The lethal trifecta
• CaMeL
• Fides
• Design Patterns for Securing LLM Agents against Prompt Injections
• OpenClaw memory architecture

Limites assumées #

• Ce n’est pas une défense contre l’injection de prompt ; il en limite les conséquences.
• Le NAS ne voit pas les outils extérieurs (un navigateur, la messagerie) ; il a donc besoin de la coopération du runtime.
• La contamination est prudente et apporte de la friction et des faux positifs ; un texte libre hors des schémas structurés peut encore porter les mots d’un attaquant.
• Les canaux cachés ne peuvent pas être éliminés.

Questions ouvertes #

• La granularité d’une étiquette doit-elle être le fichier ou le paragraphe ?
• Comment gouverner le vocabulaire des étiquettes entre locataires ?
• Comment réduire les faux positifs ?

Questions #

Concepts liés #

• Human Gate (validation humaine) N’apparaît qu’avant les actions irréversibles, tournées vers l’extérieur ou qui élèvent les privilèges, et montre le vrai diff.
• Agent Memory (mémoire de l’agent) Des notes que vous pouvez lire et modifier font la vérité. Les index sont un cache que vous pouvez jeter.
• Capability Lease (habilitation de capacité) Une autorisation étroite pour une exécution, avec une expiration et des budgets. Les habilitations filles ne peuvent être que plus étroites.