sūveryn › Benchmark

Your data. Your premises. Your AI.

Benchmark : l’IA locale sur de vrais contrats et actes, mesurée sur une seule carte graphique

En novembre 2026, nous avons fait travailler le produit entier sur de vrais contrats et actes : les lire, répondre à 106 questions et contrôler chaque réponse par rapport aux passages qu’elle cite. 93 réponses sur 106 ont passé chaque contrôle, en quelques secondes chacune, sur du matériel qu’un cabinet ou une étude peut posséder. Les rapports et le code sont publics : vous pouvez le vérifier vous-même.

Mesuré du 11 au 13 novembre 2026 · publié le 15 novembre 2026

  • 93 sur 106réponses passent chaque contrôle au dernier tour ; 83 et 88 aux deux tours précédents
  • 299 pagesdans dix PDF, dont 145 numérisées, toutes lues sans erreur
  • 24 Goune seule RTX 4090 a fait tourner le produit entier, sans erreur de mémoire
  • 11,6 spar réponse sur une RTX 4090 ; 7,4 s sur une RTX 5090

Ce qui a été testé

Les documents sont réels, utilisés avec l’accord de leur propriétaire sur une machine GPU louée, puis effacés. Le rapport ne contient que des décomptes : aucun document, aucune partie, aucune phrase n’y est nommé.

DocumentsOnze : dix PDF de 3 à 98 pages (299 pages au total, dont 145 numérisées) et un fichier Word
NatureSurtout des contrats d’entreprise, avec quelques actes notariés, en néerlandais, en français et en anglais, d’un seul propriétaire
Questions106, en 23 séries, le plus souvent en néerlandais
ModèlesQwen3.8-27B (4 bits, llama.cpp) ; Mistral Small 3.2 24B à titre de comparaison. Tous deux sont open-weight et tournent sur le serveur lui-même
Carte graphiqueUne RTX 4090 de 24 Go, le minimum que demande sūveryn ; deux tours sur des cartes de 32 Go
Codesuveryn-core tel qu’il était chaque jour, avec son propre test des réponses

Les réponses, en trois tours

Les mêmes documents et les mêmes questions sur trois jours, avec Qwen3.8-27B. Ce que le premier tour a montré a été intégré au code avant le deuxième. Entre les tours, le code et la carte ont tous deux changé ; la progression ne peut donc pas être attribuée à l’un des deux seulement.

11 nov., carte de 32 Go12 nov., RTX 4090 (24 Go)13 nov., RTX 5090 (32 Go)
Réponses qui passent83 sur 10688 sur 10693 sur 106
Sommes calculées par le serveur5 sur 87 sur 87 sur 8
Secondes par réponse13,611,67,4

Chaque réponse est contrôlée par cinq règles

Une réponse ne compte comme réussie que si ces cinq points sont vérifiés :

Ce sont des règles fixes qui donnent chaque fois le même résultat, pas le second avis d’un modèle. Lorsqu’une règle trouve quelque chose, sūveryn le signale au lecteur, et une personne décide.

La lecture des documents

Une page de texte numérique prend 0,1 à 0,4 seconde, une page numérisée 0,4 à 1,6. Le document le plus long, 98 pages dont 66 numérisées, a été lu en 34 secondes sur la carte de 32 Go et en 56 secondes sur la RTX 4090. Chaque document a été lu sans erreur.

Pour 44 des 106 questions, les documents étaient plus longs que ce que le modèle lit en une fois ; la réponse a alors été construite à partir des passages qui correspondent le mieux à la question.

Deux modèles ouverts, tous deux sur votre propre serveur

Le 12 novembre, sur une RTX 4090 de 24 Go.

Mistral Small 3.2 24BQwen3.8-27B
Réponses qui passent85 sur 10688 sur 106
Signalements des contrôles10863
Sommes calculées par le serveur6 sur 87 sur 8
Secondes par réponse8,811,6
De la place pour le lecteur de documents sur une carte de 24 GoDemande une carte plus grandeOui

Qwen est le modèle par défaut : davantage de ses réponses passent les contrôles, et il laisse de la place au lecteur de documents sur la carte minimale. Mistral Small, du laboratoire européen Mistral AI, répond plus vite. Avec les réglages essayés jusqu’ici, il demande une carte de plus de 24 Go ; il reste donc un second modèle pour des machines plus grandes.

Ce que le test a changé dans le produit

Ce que ce tour ne couvre pas encore

Le tour précédent : le matériel, octobre 2026

En octobre, nous avons mesuré toute la chaîne sur une RTX 4090 : la lecture des documents numérisés, les deux modèles, plusieurs personnes en même temps et des documents de 60 pages. Les documents de test étaient des actes synthétiques et trois documents réels, dont deux actes notariés belges. Qwen a fait moins d’erreurs juridiques sur les actes réels ; Mistral était 20 à 40 % plus rapide. Le rapport donne le matériel que nous recommandons pour une étude ou un cabinet.

Benchmark matériel, octobre 2026 (anglais)

Lisez-le, exécutez-le

Tout ce qui figure ici vient de trois rapports publics, en anglais, et le test des réponses fait partie du code open source. Sur une machine GPU, avec vos propres documents et, à côté de chacun, un fichier de questions :

OWN_QUESTIONS=/path/to/your/documents bash scripts/gpu-round.sh

Questions fréquentes

Un modèle open-weight sur une seule carte graphique peut-il répondre à des questions sur de vrais contrats ?

Dans ce test, pour la plupart des questions : 93 réponses sur 106 ont passé chaque contrôle lors du dernier tour, en 7 à 12 secondes par réponse selon la carte. Chaque réponse cite ses passages, des règles fixes les contrôlent, et lorsqu’une règle trouve quelque chose, sūveryn le signale, pour qu’une personne puisse vérifier précisément ce passage.

Quel modèle sūveryn utilise-t-il par défaut, et pourquoi ?

Qwen3.8-27B. Sur une carte de 24 Go, 88 de ses 106 réponses ont passé les contrôles, contre 85 pour Mistral Small 3.2 24B, avec moins de signalements, et il laisse de la place au lecteur de documents. Mistral répond plus vite et reste disponible comme second modèle pour une carte plus grande.

Quel matériel faut-il ?

Un serveur dans vos propres locaux avec au moins une NVIDIA GeForce RTX 4090 (24 Go) : le produit entier a tourné sur cette carte sans erreur de mémoire. Pour une machine de bureau, le benchmark matériel prescrit 64 Go de mémoire système.

Des dossiers de clients ont-ils été utilisés pour le test ?

Les documents étaient de vrais contrats et actes, utilisés avec l’accord de leur propriétaire sur une machine GPU louée, puis effacés. Les rapports ne contiennent que des décomptes : aucun document, aucune partie, aucune phrase n’y est nommé.

Jugez-le sur un dossier que vous connaissez par cœur

Un pilote se déroule sur des dossiers clôturés, sur un serveur dans vos propres locaux. Vous contrôlez les réponses à l’aide de documents que vous connaissez.

Réponse sous deux jours ouvrables.

Sūveryn pour d’autres pratiques