L’évaluation de la variabilité interprétative qualifie comment et pourquoi des interprétations générées diffèrent entre contextes contrôlés.
Ce cadre existe pour éviter la surlecture des tests isolés. Il sépare la variation normale de formulation de la variation qui affecte le sens, l’autorité des sources, la catégorie, la preuve ou la recommandation.
Enregistrement minimal d’observation
Chaque observation doit conserver :
- l’entité, la source, l’affirmation, le produit ou la catégorie cible ;
- la source canonique ou la baseline, lorsqu’elle existe ;
- la requête et la langue ;
- le système ou la surface observée ;
- le statut de recherche web ou de récupération, lorsqu’il est visible ;
- le contexte approximatif, comme région, mode de session ou classe d’appareil, lorsque pertinent ;
- l’horodatage ;
- les sources citées ou activées, lorsqu’elles sont visibles ;
- la sortie brute ;
- la décision de qualification et son motif.
Axes d’évaluation
IVA-1 : variation de récupération
Les sources citées ou activées diffèrent entre contextes.
IVA-2 : variation de sélection
Des sources comparables existent, mais des sources différentes dominent la réponse.
IVA-3 : variation de représentation
Le rôle, la catégorie, les limites, la preuve ou les différenciateurs de la cible changent.
IVA-4 : variation de recommandation
La cible passe d’absente à mentionnée, recommandée, recommandée en premier ou déplacée par un concurrent.
IVA-5 : variation contextuelle
La région, la langue, l’état de session, le mode outil ou la fenêtre temporelle modifie la substance de la réponse.
IVA-6 : variation ou fixation de couche de livraison
La réponse observée peut être fraîche, mise en cache, routée, approuvée, affinée ou assemblée depuis un ancien état de récupération. Des sorties identiques peuvent donc indiquer une stabilité réelle ou une fixation de couche de livraison.
États de qualification
- Stable : la formulation diffère, le sens tient.
- Fragile : un déplacement mineur apparaît, mais le canon reste récupérable.
- Instable : la catégorie, la preuve ou la recommandation change matériellement.
- Dérivé : la sortie contredit le canon ou la baseline.
- Non concluant : la preuve est insuffisante ou le contexte est mal contrôlé.
Règle de preuve
Une seule sortie ne peut pas établir la stabilité. Un motif répété peut soutenir un constat de stabilité, de fragilité ou de dérive seulement si les conditions de test et les sorties brutes restent reconstructibles.
Relation avec l’observabilité interprétative
L’évaluation de la variabilité interprétative est une composante de l’observabilité interprétative. L’observabilité fournit les traces, métriques et preuves nécessaires pour décider si la variabilité est du bruit, un signal précoce ou une condition de dérive gouvernée.
Objet natif vs objet livré
Une évaluation valide doit préciser si l’objet observé est une interrogation native du modèle ou une réponse livrée par une application. Si le chemin est inconnu, les claims doivent être rétrogradés en observation de surface livrée.