sūveryn › Benchmark
Your data. Your premises. Your AI.
En novembre 2026, nous avons fait travailler le produit entier sur de vrais contrats et actes : les lire, répondre à 106 questions et contrôler chaque réponse par rapport aux passages qu’elle cite. 93 réponses sur 106 ont passé chaque contrôle, en quelques secondes chacune, sur du matériel qu’un cabinet ou une étude peut posséder. Les rapports et le code sont publics : vous pouvez le vérifier vous-même.
Mesuré du 11 au 13 novembre 2026 · publié le 15 novembre 2026
Les documents sont réels, utilisés avec l’accord de leur propriétaire sur une machine GPU louée, puis effacés. Le rapport ne contient que des décomptes : aucun document, aucune partie, aucune phrase n’y est nommé.
| Documents | Onze : dix PDF de 3 à 98 pages (299 pages au total, dont 145 numérisées) et un fichier Word |
|---|---|
| Nature | Surtout des contrats d’entreprise, avec quelques actes notariés, en néerlandais, en français et en anglais, d’un seul propriétaire |
| Questions | 106, en 23 séries, le plus souvent en néerlandais |
| Modèles | Qwen3.8-27B (4 bits, llama.cpp) ; Mistral Small 3.2 24B à titre de comparaison. Tous deux sont open-weight et tournent sur le serveur lui-même |
| Carte graphique | Une RTX 4090 de 24 Go, le minimum que demande sūveryn ; deux tours sur des cartes de 32 Go |
| Code | suveryn-core tel qu’il était chaque jour, avec son propre test des réponses |
Les mêmes documents et les mêmes questions sur trois jours, avec Qwen3.8-27B. Ce que le premier tour a montré a été intégré au code avant le deuxième. Entre les tours, le code et la carte ont tous deux changé ; la progression ne peut donc pas être attribuée à l’un des deux seulement.
| 11 nov., carte de 32 Go | 12 nov., RTX 4090 (24 Go) | 13 nov., RTX 5090 (32 Go) | |
|---|---|---|---|
| Réponses qui passent | 83 sur 106 | 88 sur 106 | 93 sur 106 |
| Sommes calculées par le serveur | 5 sur 8 | 7 sur 8 | 7 sur 8 |
| Secondes par réponse | 13,6 | 11,6 | 7,4 |
Une réponse ne compte comme réussie que si ces cinq points sont vérifiés :
Ce sont des règles fixes qui donnent chaque fois le même résultat, pas le second avis d’un modèle. Lorsqu’une règle trouve quelque chose, sūveryn le signale au lecteur, et une personne décide.
Une page de texte numérique prend 0,1 à 0,4 seconde, une page numérisée 0,4 à 1,6. Le document le plus long, 98 pages dont 66 numérisées, a été lu en 34 secondes sur la carte de 32 Go et en 56 secondes sur la RTX 4090. Chaque document a été lu sans erreur.
Pour 44 des 106 questions, les documents étaient plus longs que ce que le modèle lit en une fois ; la réponse a alors été construite à partir des passages qui correspondent le mieux à la question.
Le 12 novembre, sur une RTX 4090 de 24 Go.
| Mistral Small 3.2 24B | Qwen3.8-27B | |
|---|---|---|
| Réponses qui passent | 85 sur 106 | 88 sur 106 |
| Signalements des contrôles | 108 | 63 |
| Sommes calculées par le serveur | 6 sur 8 | 7 sur 8 |
| Secondes par réponse | 8,8 | 11,6 |
| De la place pour le lecteur de documents sur une carte de 24 Go | Demande une carte plus grande | Oui |
Qwen est le modèle par défaut : davantage de ses réponses passent les contrôles, et il laisse de la place au lecteur de documents sur la carte minimale. Mistral Small, du laboratoire européen Mistral AI, répond plus vite. Avec les réglages essayés jusqu’ici, il demande une carte de plus de 24 Go ; il reste donc un second modèle pour des machines plus grandes.
En octobre, nous avons mesuré toute la chaîne sur une RTX 4090 : la lecture des documents numérisés, les deux modèles, plusieurs personnes en même temps et des documents de 60 pages. Les documents de test étaient des actes synthétiques et trois documents réels, dont deux actes notariés belges. Qwen a fait moins d’erreurs juridiques sur les actes réels ; Mistral était 20 à 40 % plus rapide. Le rapport donne le matériel que nous recommandons pour une étude ou un cabinet.
Tout ce qui figure ici vient de trois rapports publics, en anglais, et le test des réponses fait partie du code open source. Sur une machine GPU, avec vos propres documents et, à côté de chacun, un fichier de questions :
OWN_QUESTIONS=/path/to/your/documents bash scripts/gpu-round.sh
Dans ce test, pour la plupart des questions : 93 réponses sur 106 ont passé chaque contrôle lors du dernier tour, en 7 à 12 secondes par réponse selon la carte. Chaque réponse cite ses passages, des règles fixes les contrôlent, et lorsqu’une règle trouve quelque chose, sūveryn le signale, pour qu’une personne puisse vérifier précisément ce passage.
Qwen3.8-27B. Sur une carte de 24 Go, 88 de ses 106 réponses ont passé les contrôles, contre 85 pour Mistral Small 3.2 24B, avec moins de signalements, et il laisse de la place au lecteur de documents. Mistral répond plus vite et reste disponible comme second modèle pour une carte plus grande.
Un serveur dans vos propres locaux avec au moins une NVIDIA GeForce RTX 4090 (24 Go) : le produit entier a tourné sur cette carte sans erreur de mémoire. Pour une machine de bureau, le benchmark matériel prescrit 64 Go de mémoire système.
Les documents étaient de vrais contrats et actes, utilisés avec l’accord de leur propriétaire sur une machine GPU louée, puis effacés. Les rapports ne contiennent que des décomptes : aucun document, aucune partie, aucune phrase n’y est nommé.
Un pilote se déroule sur des dossiers clôturés, sur un serveur dans vos propres locaux. Vous contrôlez les réponses à l’aide de documents que vous connaissez.
Réponse sous deux jours ouvrables.
Sūveryn pour d’autres pratiques