L'architecture de ce laboratoire, chez vous.

Le problème que ça résout

La plupart des organisations qui ne peuvent pas envoyer leurs données dans un cloud se retrouvent devant un faux choix : renoncer à l'IA générative, ou signer un contrat de confidentialité et espérer.

Le troisième chemin existe et il est devenu praticable : des modèles à poids ouverts suffisamment bons, une mémoire unifiée suffisamment large, un runtime suffisamment rapide. Ce qui manque n'est pas le modèle — c'est l'infrastructure autour : qui décide quel modèle est chargé, qui garantit qu'une réponse est sourcée, qui empêche un agent d'écrire là où il ne devrait pas.

C'est cette couche que je construis. Elle vaut pour une machine unique comme pour un petit parc.

Ce que ça comprend

1. Gateway d'inférence conscient des ressources : plusieurs modèles, un seul budget RAM
2. RAG dont chaque réponse est sourcée — et qui refuse plutôt que d'inventer
3. Agents outillés avec approbation explicite des actions qui écrivent
4. Services supervisés, endpoints de santé, journal d'usage respectueux
5. Transfert de compétences : votre équipe reprend la main, documentation à l'appui

Ce que ça coûte en matériel

C'est la première question d'un DSI, et presque personne n'y répond publiquement. Voici l'ordre de grandeur, mesuré sur ma propre machine.

Sur une machine à 128 Go de mémoire unifiée, je tiens un budget de 80 Go pour les modèles, le reste allant au système et aux applications. Cela permet de garder résident un modèle de conversation de 35 milliards de paramètres quantifié, plus un second modèle spécialisé, avec éviction LRU entre les autres.

En dessous de 64 Go, il faut choisir : un seul modèle résident, et accepter le coût de rechargement à chaque bascule. C'est viable pour un usage séquentiel, pas pour plusieurs applications concurrentes.

Le chiffre qui compte réellement n'est pas le pic de performance, c'est la latence à froid. À chaud, une réponse part en 5 à 7 secondes. Au premier appel après une éviction, il faut compter environ deux minutes de chargement. C'est cette seconde valeur qu'il faut dimensionner dans les délais d'attente et annoncer aux utilisateurs — annoncer la latence à chaud est la manière la plus sûre de décevoir.

Lire l'étude de cas complète →

Ce que je ne fais pas

• Pas d'orchestration multi-nœuds sur cluster GPU NVIDIA. Ma spécialité est la mémoire unifiée Apple Silicon et l'inférence sur une machine.
• Pas de pré-entraînement ni de fine-tuning à grande échelle. J'assemble, j'optimise et je durcis des modèles à poids ouverts.
• Pas de solution qui expose vos données à un tiers, même partiellement. C'est la raison d'être de la prestation.
• Pas de livraison sans transfert de compétences. Une stack que personne ne sait maintenir est une dette, pas un actif — le transfert fait partie du périmètre, pas d'une option.