CabrIA · Une IA locale pour le test logiciel, construite sur vos preuves de terrain
CabrIA (programme de R&D d'AI Cabra) est une IA locale et souveraine pour les tests logiciels, en cours de développement : un modèle ouvert Mixture-of-Experts de 35 milliards de paramètres servi en local, associé à un RAG local vérifiable (qa-brain) dont chaque réponse cite ses sources. Vos conventions, vos écrans et vos incidents constituent une matière que les modèles génériques ne connaissent pas. La capture et la raffinerie ont constitué 1 892 exemples admis au 9 octobre 2026 ; le premier fine-tuning reste à réaliser. Une configuration de laboratoire à coût maîtrisé, sur infrastructure locale en France.
L'impasse des LLM génériques dans les tests d'entreprise
Pour une DSI soucieuse de conformité et de fiabilité, déléguer sa QA à des API de cloud public pose trois verrous majeurs.
Zéro mémoire de vos conventions
Les modèles publics ne connaissent ni vos écrans SAP spécifiques, ni vos règles d'habilitation, ni l'historique de vos incidents. Leurs suggestions restent vagues et inapplicables.
Exfiltration de données de test
Envoyer des captures d'écran, des logs d'exécution ou des requêtes API vers des serveurs tiers expose des données clients et des secrets d'entreprise à des juridictions extraterritoriales.
Suggestions invérifiables
Un LLM classique invente des sélecteurs inexistants et ne cite pas ses sources. Impossible de lui confier l'analyse d'un échec de test critique sans vérification humaine exhaustive.
LLM cloud générique ou IA locale spécialisée : ce qui change pour la QA
Deux approches comparées sans nommer de fournisseur ; la dernière ligne dit où en est CabrIA.
| Critère | LLM cloud générique | CabrIA, IA locale en R&D |
|---|---|---|
| Où vont les données de test | Vers les serveurs du fournisseur | Elles restent chez vous, on-premise ou en cloud souverain (France, UE) ; secrets et données personnelles masqués avant stockage |
| Connaissance de vos conventions | Aucune, hors ce que contient la requête | Servie par le RAG (en service), apprise par fine-tuning (prévu) |
| Sources des réponses | Pas de source citée par défaut | Citations obligatoires dans qa-brain, abstention possible hors corpus |
| Version du modèle | Changée par le fournisseur | Figée, choisie et mesurée sur un banc de 77 cas |
| Disponibilité aujourd'hui | Produit disponible | Programme de R&D : RAG en service, premier fine-tuning à venir |
La boucle d'apprentissage de CabrIA
Chaque exécution de test produit de l'expérience : capturée passivement, validée par exécution réelle, puis stockée dans une double mémoire locale.
Ce qui tourne, ce qui est en cours, ce qui reste à faire
État relevé le 6 octobre 2026 dans la feuille de route du programme. Une étape n'y est déclarée faite que si son critère de sortie est atteint.
- Enregistreur de vol : listener Robot Framework, reporter Playwright, plugin rf-mcp et hooks Playwright MCP capturent les exécutions ; 4 146 190 enregistrements consolidés au 9 octobre 2026.
- Raffinerie : 1 892 exemples admis au 9 octobre 2026, notés par un juge distinct de 30 milliards de paramètres.
- Banc d'évaluation : 77 cas au 11 septembre 2026, construit avant tout entraînement.
- Mémoire RAG qa-brain : 4 119 passages indexés au 9 octobre 2026, réponses à citations obligatoires, interrogée par les agents de test de SAPFX et de rf-test-agents.
- Diversification du jeu de données au-delà de SAP, vers le web et Odoo.
- Validation systématique du code généré par exécution sur fixtures hors ligne.
- Paires de préférences pour la passe DPO.
- Premier fine-tuning LoRA bf16 du modèle ouvert, sur une station locale.
- Comparaison du modèle entraîné au modèle de base sur le banc, avec un critère de sortie fixé à l'avance : un gain net sur au moins trois axes, sans régression majeure.
- Serving local du modèle entraîné et branchement dans les agents de test comme modèle local.
Aucun gain de fine-tuning n'est revendiqué tant que cette comparaison n'est pas faite.
Les quatre briques de CabrIA
Du collecteur passif au modèle servi localement, chaque composant est conçu pour la portabilité universelle, l'isolation des secrets et la vérification systématique par exécution.
Architecture Mixture-of-Experts, on-premise ou cloud souverain
Modèle MoE sous licence Apache 2.0 de 35 milliards de paramètres, dont ~3 milliards actifs par token, servi localement en GGUF. Le premier entraînement LoRA bf16 est prévu sur une configuration de laboratoire à coût maîtrisé (128 Go unifiés). Son gain sera comparé au modèle de base sur le banc de 77 cas.
Enregistreur de vol et protection des données
4 146 190 enregistrements consolidés au 9 octobre 2026, dont 2 603 689 issus des tests SAP, 1 423 915 des tests web et 82 851 des tests Odoo. Listener Robot Framework, ingestion des rapports JSON Playwright, plugin rf-mcp et hooks MCP alimentent la collecte avec masquage des secrets. Un enregistrement capturé n'est pas un exemple d'entraînement admis.
Raffinerie SFT/DPO et vérification par exécution réelle
1 892 exemples admis au 9 octobre 2026, dont 917 critiques de tests, 526 diagnostics, 313 paires spécification-suite et 136 enseignements ; 52 doublons y sont marqués. Un juge distinct de 30 milliards de paramètres note les candidats, avec confirmation et traçabilité. La validation systématique du code généré sur fixtures hors ligne et les paires DPO restent des jalons à compléter avant entraînement.
Deuxième mémoire : RAG local vérifiable qa-brain
4 119 passages indexés au 9 octobre 2026 : documentations versionnées et leçons de terrain. Qdrant combine recherche dense, BM25 en appoint et reranking. Le serveur MCP qa-brain, en service, exige des citations (une réponse sans citation est rejetée et remplacée par les passages bruts) et peut s'abstenir ; le contrôle comparatif n'a montré ni gain ni dégradation du mode appoint sur les 19 cas du banc. Pour le voir à l'œuvre : le chapitre qa-brain du film « Comment des agents IA pilotent SAP » (5:12).
Comment CabrIA se branche sur Robot Framework, Playwright et les agents MCP
CabrIA ne remplace aucun outil de test : il observe les exécutions et sert une mémoire aux agents.
Il observe vos exécutions
Un listener Robot Framework, un reporter Playwright, un plugin pour le serveur rf-mcp et des hooks pour Playwright MCP consignent les exécutions, les réparations de localisateurs et les sessions d'agents, sans modifier les tests. Secrets et données personnelles sont masqués avant tout stockage.
Il répond avec ses sources
Le serveur MCP local qa-brain expose trois outils : qa_search, qa_ask et qa_status. Les agents de test de SAPFX et de rf-test-agents l'interrogent avant leurs décisions de jugement (quelle ancre tient, quelle classe d'échec) ; une réponse sans citation est rejetée, et l'observation sur le système réel tranche toujours.
Il prépare un modèle qui connaîtra vos conventions
Après tri et anonymisation, les exécutions capturées deviennent des exemples d'entraînement : critiques de tests, diagnostics, paires spécification-suite, enseignements. Le modèle entraîné sera branché dans les agents après sa comparaison au modèle de base.
Voir aussi : les agents de test rf-test-agents, les briques CabrIA dans l'atelier SAPFX et le chapitre qa-brain du film « Comment des agents IA pilotent SAP ».
Les trois engagements éthiques de CabrIA
Une conception rigoureuse pour garantir la traçabilité intégrale et le plein contrôle de vos équipes.
Rien ne se répare en silence
L'auto-réparation opaque est le pire ennemi de la QA. Chez AI Cabra, chaque ajustement de localisateur est tracé dans les logs avec un avertissement explicite et une proposition de patch pérenne.
L'humain reste en commande
L'IA accélère la recherche des causes racines et génère des propositions de correctifs. L'expert métier ou le testeur conserve le pouvoir d'arbitrage et de validation avant tout merge.
Souveraineté territoriale absolue
Modèles installés sur vos serveurs internes ou dans un cloud souverain, en France ou dans l'Union européenne. Vos flux de production et jeux de tests restent protégés de toute intrusion ou analyse par des tiers.
IA locale pour la QA : les questions clés sur CabrIA
Tout ce que vous devez savoir sur l'architecture MoE, la double mémoire souveraine, le banc d'évaluation et le serveur MCP qa-brain.
Pourquoi un modèle MoE local de 35 milliards de paramètres est-il plus adapté qu'un LLM cloud générique en QA ?
Le modèle MoE retenu active environ 3 milliards de paramètres sur 35 milliards par token. Il peut être servi localement sur une configuration de laboratoire à coût maîtrisé de 128 Go unifiés. Ce choix permet de garder les données sur l'infrastructure privée ; il ne démontre pas une supériorité générale en QA. Le premier fine-tuning et sa comparaison au modèle de base restent à réaliser.
Comment fonctionne la double mémoire de CabrIA (Fine-tuning vs RAG qa-brain) ?
CabrIA sépare rigoureusement savoir-faire et faits volatils (ADR 0002). Le fine-tuning prévu (SFT LoRA puis DPO), encore à réaliser, vise à ancrer dans les poids le savoir-faire pérenne : conventions Robot Framework et Playwright, diagnostic d'échecs, auto-réparation bornée. Le RAG local hybride (Qdrant + BM25 via le serveur MCP qa-brain) gère les documentations et les leçons de terrain, avec obligation absolue de citer ses sources sous peine de rejet.
Pourquoi CabrIA impose-t-il une validation par exécution sur fixtures hors ligne ?
Un code plausible peut échouer à l'exécution : une note de juge ne suffit pas à le valider. La raffinerie utilise un juge distinct de 30 milliards de paramètres et une confirmation des notes. La validation systématique du code généré sur fixtures hors ligne reste à compléter avant entraînement ; les 1 892 exemples admis au 9 octobre 2026 ne constituent pas 1 892 scénarios ainsi exécutés.
Sur quel matériel on-premise CabrIA s'entraîne-t-il et est-il déployé ?
CabrIA repose sur une configuration de laboratoire à coût maîtrisé : deux stations de 128 Go de mémoire unifiée, dédiées respectivement à l'entraînement prévu en LoRA bf16 et au serving local GGUF. Le débit historique d'environ 100 tok/s dépend du modèle et des conditions de mesure ; ce n'est ni un engagement de performance ni un résultat après fine-tuning. Le mélange anti-oubli reste à définir.
CabrIA est-il disponible aujourd'hui ?
Pas comme produit. CabrIA est un programme de R&D d'AI Cabra, sans version publiée. Ce qui tourne déjà : la capture des exécutions de tests, la raffinerie, le banc d'évaluation et le serveur MCP qa-brain, que les agents de test de SAPFX et de rf-test-agents interrogent. Le premier fine-tuning est prévu ; démonstrations privées et pilotes se cadrent sur devis.
Peut-on utiliser un LLM local pour automatiser les tests logiciels ?
Oui, c'est l'objet de CabrIA : un modèle ouvert servi on-premise ou dans un cloud souverain (France, UE), sans envoyer les données de test vers un cloud tiers. La partie en service aujourd'hui est la mémoire RAG qa-brain, qui répond avec ses sources ; le modèle spécialisé par fine-tuning est en préparation et sera comparé au modèle de base sur un banc de 77 cas avant toute annonce de gain.
RAG ou fine-tuning : que choisir pour un assistant IA de test ?
Les deux, pour deux usages (ADR 0002). Le RAG sert les faits qui changent, comme la documentation des versions installées et les leçons de terrain, et il les cite ; le fine-tuning doit apprendre les méthodes durables, comme les conventions de test et le diagnostic d'échecs. Chez CabrIA, le RAG est en service et le fine-tuning est prévu, son gain restant à mesurer.
Les données de test quittent-elles l'entreprise avec CabrIA ?
Non : modèle, index RAG et données capturées restent chez vous, on-premise ou en cloud souverain (France, UE), et secrets et données personnelles sont masqués avant tout stockage. Si un agent interroge qa-brain depuis un assistant IA hébergé hors de ce périmètre, les passages qu'il reçoit transitent par cet assistant ; un circuit entièrement souverain suppose un agent sur un modèle servi on-premise ou en cloud souverain, ce que prévoit la suite du programme.
Résultats mesurés et périmètre de validation
Étudier une IA QA locale combinant modèle ouvert et RAG hybride. Revu le 9 octobre 2026. Bilan interne de R&D, sans validation indépendante ni résultat client revendiqué.
- 1 070 tests automatisés réussis Exécutés le 9 octobre 2026 en un seul processus : 1 070 réussis sur 1 071 (capture 352, évaluation 130, pilotage 38, RAG 165, raffinerie 386). Le test restant interroge les services réels du laboratoire et a dépassé son délai. Ils vérifient le logiciel CabrIA, pas la qualité générale des réponses du modèle. Exécution interne du 09/10/2026
- 1 892 exemples d'entraînement admis Stock relevé le 9 octobre 2026, dont 917 critiques de tests, 526 diagnostics, 313 paires spécification-suite et 136 enseignements ; 52 doublons y sont marqués. Le premier entraînement LoRA et la comparaison avant/après restent à réaliser ; aucun gain de fine-tuning n'est revendiqué. Journal interne du 09/10/2026
- 4 119 passages indexés État relevé le 9 octobre 2026 sur le serveur qa-brain en service. Recherche dense et BM25 en appoint opérationnels ; comparaison du 11 septembre sur 19 cas : aucun gain ni dégradation du mode appoint. Le volume de l'index ne mesure pas la justesse des réponses. Relevé interne du 09/10/2026
- 77 cas au banc d'évaluation Banc documenté au 11 septembre 2026, dont 19 cas RAG. Sur les 16 cas positifs RAG du 30 août : hit-rate et groundedness de 0,875 avant audit, puis 1,0 après élargissement de deux critères ; 3 contrôles de silence tenus. Ce résultat porte sur le corpus testé, pas sur une absence générale d'hallucinations. Évaluations internes datées, sans validation indépendante
Intéressé par un banc d'essai CabrIA pour votre entreprise ?
Le banc d'évaluation et le module de capture tournent déjà chez AI Cabra. Contactez nos ingénieurs pour organiser une démonstration privée ou cadrer un pilote de fine-tuning local.
- Un échange technique, pas commercial
- Vos données restent en France