sūveryn › Benchmark
Your data. Your premises. Your AI.
In november 2026 hebben we het hele product op echte contracten en akten laten werken: ze lezen, 106 vragen beantwoorden en elk antwoord controleren aan de hand van de passages die het vermeldt. 93 van de 106 antwoorden doorstonden elke controle, in enkele seconden per antwoord, op hardware die een kantoor zelf kan bezitten. De rapporten en de code zijn openbaar, zodat u het zelf kunt nagaan.
Gemeten van 11 tot 13 november 2026 · gepubliceerd op 15 november 2026
De documenten zijn echt, gebruikt met toestemming van hun eigenaar op een gehuurde GPU-machine en daarna gewist. Het rapport bevat alleen tellingen: geen document, partij of zin wordt genoemd.
| Documenten | Elf: tien pdf’s van 3 tot 98 pagina’s (299 pagina’s in totaal, waarvan 145 scans) en één Word-bestand |
|---|---|
| Soort | Vooral bedrijfscontracten, met enkele notariële akten, in het Nederlands, Frans en Engels, van één eigenaar |
| Vragen | 106, in 23 reeksen, meestal in het Nederlands |
| Modellen | Qwen3.8-27B (4-bit, llama.cpp); Mistral Small 3.2 24B ter vergelijking. Beide zijn open-weight en draaien op de server zelf |
| Grafische kaart | Een RTX 4090 met 24 GB, het minimum dat sūveryn vraagt; twee rondes op kaarten met 32 GB |
| Code | suveryn-core zoals het er elke dag stond, met zijn eigen antwoordentest |
Dezelfde documenten en vragen op drie dagen, met Qwen3.8-27B. Wat de eerste ronde liet zien, is vóór de tweede in de code verwerkt. Tussen de rondes veranderden zowel de code als de kaart, dus de stijging is niet aan één van beide toe te schrijven.
| 11 nov., kaart van 32 GB | 12 nov., RTX 4090 (24 GB) | 13 nov., RTX 5090 (32 GB) | |
|---|---|---|---|
| Antwoorden die de controles doorstaan | 83 van 106 | 88 van 106 | 93 van 106 |
| Sommen gemaakt door de server | 5 van 8 | 7 van 8 | 7 van 8 |
| Seconden per antwoord | 13,6 | 11,6 | 7,4 |
Een antwoord telt pas als geslaagd wanneer deze vijf punten kloppen:
Dit zijn vaste regels die elke keer hetzelfde resultaat geven, geen tweede mening van een model. Waar een regel iets vindt, markeert sūveryn het voor de lezer, en een mens beslist.
Een pagina digitale tekst duurt 0,1 tot 0,4 seconden, een gescande pagina 0,4 tot 1,6. Het langste document, 98 pagina’s waarvan 66 scans, was in 34 seconden gelezen op de kaart van 32 GB en in 56 seconden op de RTX 4090. Elk document werd zonder fout gelezen.
Voor 44 van de 106 vragen waren de documenten langer dan wat het model in één keer leest; het antwoord werd dan gemaakt uit de passages die het best bij de vraag passen.
12 november, op een RTX 4090 met 24 GB.
| Mistral Small 3.2 24B | Qwen3.8-27B | |
|---|---|---|
| Antwoorden die de controles doorstaan | 85 van 106 | 88 van 106 |
| Meldingen van de controles | 108 | 63 |
| Sommen gemaakt door de server | 6 van 8 | 7 van 8 |
| Seconden per antwoord | 8,8 | 11,6 |
| Ruimte voor de documentlezer op een kaart van 24 GB | Vraagt een grotere kaart | Ja |
Qwen is het standaardmodel: meer van zijn antwoorden doorstaan de controles, en het laat op de minimumkaart ruimte voor de documentlezer. Mistral Small, van het Europese lab Mistral AI, antwoordt sneller. Met de instellingen die tot nu toe zijn geprobeerd, vraagt het een grotere kaart dan 24 GB; het blijft dus een tweede model voor grotere machines.
In oktober hebben we de hele keten gemeten op één RTX 4090: scans lezen, de twee modellen, meerdere mensen tegelijk en documenten van 60 pagina’s. De testdocumenten waren synthetische akten en drie echte documenten, waarvan twee Belgische notariële akten. Qwen maakte minder juridische fouten op de echte akten; Mistral was 20 tot 40% sneller. Het rapport geeft de hardware die we voor een kantoor aanbevelen.
Alles op deze pagina komt uit drie openbare rapporten, in het Engels, en de antwoordentest maakt deel uit van de open-sourcecode. Op een GPU-machine, met uw eigen documenten en bij elk document een bestand met vragen:
OWN_QUESTIONS=/path/to/your/documents bash scripts/gpu-round.sh
In deze test voor de meeste vragen: 93 van de 106 antwoorden doorstonden in de laatste ronde elke controle, in 7 tot 12 seconden per antwoord naargelang de kaart. Elk antwoord vermeldt zijn passages, vaste regels controleren ze, en waar een regel iets vindt, markeert sūveryn het, zodat een mens precies die passage kan nakijken.
Qwen3.8-27B. Op een kaart van 24 GB doorstonden 88 van zijn 106 antwoorden de controles, tegenover 85 voor Mistral Small 3.2 24B, met minder meldingen, en het laat ruimte voor de documentlezer. Mistral antwoordt sneller en blijft beschikbaar als tweede model voor een grotere kaart.
Een server in uw eigen kantoor met minstens een NVIDIA GeForce RTX 4090 (24 GB): het hele product draaide op die kaart zonder geheugenfout. Voor een kantoormachine schrijft de hardwarebenchmark 64 GB systeemgeheugen voor.
De documenten waren echte contracten en akten, gebruikt met toestemming van hun eigenaar op een gehuurde GPU-machine en daarna gewist. De rapporten bevatten alleen tellingen: geen document, partij of zin wordt genoemd.
Een pilot loopt op afgesloten dossiers, op een server in uw eigen kantoor. U controleert de antwoorden aan de hand van documenten die u kent.
U krijgt binnen twee werkdagen antwoord.
Sūveryn voor andere praktijken