Retainer · 03
Un système IA se dégrade en silence.
Il ne tombe pas en panne : il répond un peu moins bien, refuse un peu moins souvent quand il devrait, met un peu plus de temps. Personne ne s'en aperçoit avant qu'un utilisateur ne perde confiance — et à ce moment-là, c'est perdu.
Pourquoi la dégradation est invisible
Un service classique tombe ou tient. Un système d'IA a un troisième état : il fonctionne, mais moins bien. Trois causes principales.
La dérive du corpus. Les documents indexés vieillissent, de nouveaux arrivent, la couverture change. Le RAG répond toujours — avec des sources de moins en moins pertinentes.
La dérive des dépendances. Une bibliothèque monte de version, un comportement change à la marge. La CVE d'aujourd'hui est dans le code que vous avez installé il y a six mois.
La dérive d'usage. Les utilisateurs posent des questions que personne n'avait prévues. Le taux de refus monte ou descend, et sans mesure personne ne sait lequel des deux est le problème.
Ce que comprend le retainer
- Harness d'éval nocturne, baselines épinglées, budget de dérive explicite
- Veille des vulnérabilités et des versions, exceptions tracées nommément
- Observabilité : latences à froid comme à chaud, taux de refus, coût réel
- Rapport mensuel lisible par un comité, pas seulement par un ingénieur
- Astreinte douce sur les régressions détectées par les gates
Le dispositif tourne déjà — sur moi
Je ne vends pas un dispositif théorique. L'éval nocturne tourne sur mon écosystème depuis des mois, en dix sections : qualité des réponses, code exécuté sous pytest, chaîne d'approvisionnement, posture système, fraîcheur du journal, et le reste.
Le verdict rouge n'est pas une décoration : il a déjà déclenché des correctifs réels. C'est la seule preuve qui compte pour un dispositif de surveillance — un tableau de bord que personne ne regarde et qui n'a jamais rien déclenché n'est pas un dispositif, c'est un décor.
Le juge de paix du RAG est un gate de non-régression avec des baselines épinglées : couverture, taux de refus, zéro hallucination. Un score sous baseline fait échouer la nuit. Pas d'alerte à trier le lendemain : un échec franc.
Les limites du dispositif
- Ce n'est pas une astreinte 24/7. C'est une surveillance quotidienne automatisée avec une réactivité en jours ouvrés, pas un centre d'opérations.
- Un gate ne remplace pas un jugement humain sur la qualité. Il attrape les régressions, pas les problèmes que personne n'a pensé à mesurer.
- Sans baseline initiale, le premier mois sert à l'établir. On ne détecte une dérive que par rapport à quelque chose.
- Si votre système change d'architecture tous les deux mois, les baselines n'ont pas le temps de servir. Le retainer suppose un système stabilisé.
Cette compétence intervient dans
Vos données ne peuvent pas sortir ?
C'est exactement le problème que je résous. Un appel de 30 minutes suffit à cadrer un audit.