Banc d'essai · IA locale CPU
Test bench · local CPU AI

Gemma 4 · Qwen 3.5 · Ministral 3

Six modèles ouverts, trois familles (Google, Alibaba, Mistral), jugés sur deux épreuves françaises : une rédaction libre, puis un résumé fidèle bourré de chiffres. Sur un simple CPU, sans le moindre GPU. Même machine, mêmes prompts, réponses brutes.

Six open models, three families (Google, Alibaba, Mistral), judged on two French-language tasks: free writing, then a faithful, number-heavy summary. On a plain CPU, no GPU whatsoever. Same machine, same prompts, raw responses.

Note: HDS is France's certified health-data hosting scheme, broadly equivalent to HIPAA in the US. The models were prompted in French; their raw answers are shown untranslated.

CPU seul, aucun GPUCPU only, no GPU Modèles ouverts (Apache 2.0)Open models (Apache 2.0) 14 août 202614 August 2026
Machine
Machine
Bosgame EffiZen mini-PC
Processeur
Processor
AMD Ryzen 7 5825U 8 cœurs / 16 threads, Zen 3AMD Ryzen 7 5825U 8 cores / 16 threads, Zen 3
Mémoire hôte
Host memory
64 GoGB
Stockage
Storage
NVMe Samsung 990 EVO 2 × 1 ToTB
Inférence
Inference
CPU seul le GPU intégré n'est pas sollicitéCPU only the integrated GPU is not used
Bac à sable
Sandbox
VM 4 vCPU · 16 GoGB Debian 13 · Ollama

Synthèse

Summary

à chaud · tokens/s · fidélité chiffreswarm · tokens/s · number fidelity
ModèleModelTaille Q4Q4 size T1 débitT1 rateT2 débitT2 rate T2 fidélitéT2 fidelity
qwen3.5:2b-q41,9 Go 23,6 t/s24,4 t/s 9/12
ministral3:3bedge3,0 Go 16,7 t/s15,8 t/s 11/12
qwen3.5:4b-q43,4 Go 11,7 t/s12,2 t/s 12/12
ministral3:8b6,1 Go 7,4 t/s7,3 t/s 12/12
gemma4:e2b7,2 Go 22,1 t/s20,4 t/s 9/12
gemma4:e4b9,6 Go 11,6 t/s11,3 t/s 9/12

À retenir pour de l'edge sans GPU

Takeaways for GPU-less edge

Tout tourne sur CPU, modèles de 1,9 à 9,6 Go, aucune carte graphique sollicitée.

All on CPU, models from 1.9 to 9.6 GB, no graphics card used.

  • ministral3:3b le meilleur rapport fidélité / poids : 11/12, 16 tok/s, 3 Go. Le choix embarqué quand la donnée compte.
  • ministral3:3b best fidelity / size ratio: 11/12, 16 tok/s, 3 GB. The embedded pick when data matters.
  • qwen3.5:2b le plus rapide et léger : 24 tok/s, 1,9 Go. Pour le non-critique (9/12).
  • qwen3.5:2b fastest and lightest: 24 tok/s, 1.9 GB. For the non-critical (9/12).
  • qwen3.5:4b fidélité maximale (12/12) et encore rapide (12 tok/s) : le meilleur compromis global.
  • qwen3.5:4b maximum fidelity (12/12) and still fast (12 tok/s): the best overall trade-off.
  • ministral3:8b 12/12 et la plus belle prose française, mais un tier au-dessus : ~7 tok/s, plus de RAM.
  • ministral3:8b 12/12 and the finest French prose, but a tier up: ~7 tok/s, more RAM.
Épreuve 1Test 1

Rédaction libre

Free writing

note de direction · HDSboard memo · HIPAA/HDS
Consigne système
System prompt

Tu es un assistant professionnel. Réponds en français, clair et concis.

You are a professional assistant. Answer in French, clear and concise.

Demande
Request

Rédige une note de 5 lignes maximum pour expliquer à un comité de direction hospitalier ce qu'apporte l'hébergement de données de santé (HDS) certifié et pourquoi il est indispensable. Ton professionnel.

Write a memo of at most 5 lines to explain to a hospital board what certified health-data hosting (HIPAA in the US; HDS in France) brings and why it is essential. Professional tone.

Génération libre : pas de texte source. La consigne ci-dessus est l'unique entrée fournie au modèle, qui rédige à partir de ses seules connaissances.

Free generation: no source text. The prompt above is the only input given to the model, which writes from its own knowledge alone.

qwen3.5:2b-q4
froidcold 9,0 schaudwarm 5,0 sdébitrate 23,6 t/s

L'Hébergement des Données de Santé (HDS) certifié offre une assurance qualité, en garantissant le respect strict du secret médical par un prestataire indépendant. Cette certification permet aux établissements hospitaliers d'assurer la confidentialité et l'intégrité de leurs dossiers patients sans compromettre leur sécurité juridique ou éthique.

Son adoption est indispensable car elle transforme les données sensibles en actifs numériques sécurisés, répondant ainsi à des exigences légales croissantes tout en renforçant la confiance du public envers le système de santé.

gemma4:e2b
froidcold 10,8 schaudwarm 5,8 sdébitrate 22,1 t/s

Objet : Importance de l'Hébergement de Données de Santé (HDS) certifié

L'HDS certifié garantit la sécurité, la confidentialité et la conformité réglementaire des données de santé. Il assure une protection optimale contre les cybermenaces et les accès non autorisés. Cette certification est indispensable pour maintenir la confiance des patients et des autorités de régulation. Elle est cruciale pour garantir la continuité des soins et la légalité de nos pratiques. L'HDS certifié est donc une exigence fondamentale de notre mission.

qwen3.5:4b-q4
froidcold 22,6 schaudwarm 14,5 sdébitrate 11,7 t/s

L'Hébergement de Données de Santé certifié garantit la sécurité maximale des dossiers patients, conforme aux exigences strictes du RGPD et de la loi Informatique et Libertés. Il assure une continuité de service ininterrompue grâce à sa redondance géographique, évitant toute interruption critique pour les soins urgents. Ce système protège activement contre les cyberattaques en cryptant les données dès leur création et limitant l'accès aux seuls professionnels autorisés. Son adoption est indispensable pour garantir la confiance des patients dans le numérique médical tout en permettant une gestion administrative fluide du réseau hospitalier. Sans lui, nous risquerions de violer nos obligations légales et d'exposer notre établissement à des sanctions graves ainsi qu'à un préjudice irréparable pour l'activité clinique.

gemma4:e4b
froidcold 23,3 schaudwarm 11,1 sdébitrate 11,6 t/s

Objet : Importance de l'Hébergement de Données de Santé (HDS) Certifié

L'HDS garantit un cadre sécurisé, conforme au RGPD, pour le stockage des données de santé sensibles. Cette certification assure une protection maximale contre les fuites et accès non autorisés. C'est indispensable pour maintenir la confiance des patients et respecter nos obligations légales strictes. Utiliser un prestataire HDS minimise notre risque juridique et opérationnel critique. En bref, c'est la garantie de la confidentialité et de la pérennité de nos données médicales.

ministral3:3b
chaudwarm 9,7 sdébitrate 16,7 t/s

Note sur l'hébergement des Données de Santé (HDS) certifié

L'hébergement des Données de Santé Certifiées (DSC) sécurise, centralise et interopérable les données médicales des patients, améliorant ainsi la coordination des soins. Pour le comité de direction, cela réduit les risques d'erreurs, optimise les processus décisionnels en temps réel et renforce la conformité réglementaire (RGPD, HDS). Indispensable pour moderniser l'hospitalisation, il accélère aussi l'innovation médicale via des analyses prédictives et une meilleure traçabilité. Un investissement stratégique essentiel pour la qualité et la performance du système de santé.

ministral3:8b
chaudwarm 31,4 sdébitrate 7,4 t/s

Objet : Valeur stratégique d'un Hébergement de Données de Santé (HDS) certifié

Chers membres du Comité de Direction,

L'HDS certifié garantit la sécurité, l'intégrité et la confidentialité des données patients, conformément au RGPD et à la loi Informatique et Libertés. Il permet une interopérabilité sécurisée entre acteurs de santé (médecins, hôpitaux, laboratoires), optimisant les parcours de soins tout en réduisant les risques juridiques et financiers liés aux fuites.

Indispensable pour renforcer la confiance des patients, il facilite aussi l'innovation (recherche, télémédecine) dans un cadre légal robuste. Enfin, il évite les sanctions coûteuses et préserve la réputation de notre établissement face aux exigences croissantes en cybersécurité.

Un investissement clé pour moderniser notre système de santé tout en maîtrisant ses risques.

Cordialement, [Votre nom/prénom]

Épreuve 2Test 2

Résumé fidèle

Faithful summary

texte source chiffré · fidélité mesuréenumber-laden source · fidelity measured
Consigne système
System prompt

Tu es un assistant qui résume fidèlement. N'invente AUCUN chiffre, ne garde que ce qui est écrit. Réponds en français.

You are an assistant that summarises faithfully. Invent NO number, keep only what is written. Answer in French.

Texte source · données 100 % fictives
Source text · 100% fictitious data

⚠ Chiffres et faits inventés de toutes pièces pour ce test de fidélité. Aucun lien avec des indicateurs réels, de GRADeS BFC ou d'ailleurs.

⚠ Numbers and facts entirely made up for this fidelity test. No link to any real indicators, from GRADeS BFC or elsewhere.

Le GRADeS Bourgogne-Franche-Comté a déployé en 2025 une plateforme régionale de télé-expertise couvrant 42 établissements de santé et 1 300 professionnels. Sur les douze derniers mois, 18 700 demandes ont été traitées, avec un délai de réponse médian de 3,2 heures, contre 5,1 heures l'année précédente. Le taux de satisfaction des médecins requérants atteint 91 %. Le budget de fonctionnement s'élève à 2,4 millions d'euros, financé à 70 % par l'ARS. Le comité de pilotage du 14 mars 2026 a validé l'extension du dispositif à la dermatologie et à la cardiologie d'ici fin 2026, avec un objectif de 25 000 demandes annuelles. Une évaluation médico-économique indépendante est prévue au premier trimestre 2027.

Demande
Request

Résume ce texte en 3 puces maximum pour un comité de direction, en conservant les chiffres clés, puis indique en une ligne la prochaine échéance.

Summarise this text in at most 3 bullets for a board, keeping the key figures, then give the next milestone in one line.

qwen3.5:2b-q49/12
chaudwarm 7,2 sdébitrate 24,4 t/s
  • Plateforme régionale couvrant 42 établissements et traitant 18 700 demandes en douze derniers mois, avec un délai de réponse médian de 3,2 heures.
  • Taux de satisfaction des médecins requérants atteint 91 %, le budget s'élèvant à 2,4 millions d'euros financé à 70 % par l'ARS.
  • Extension validée au premier trimestre 2026 pour la dermatologie et la cardiologie avec un objectif de 25 000 demandes annuelles, suivie d'une évaluation médico-économique indépendante en Q1 2027.

La prochaine échéance est le premier trimestre 2027 (évaluation).

Perdus / erronés : 20251 300 pros5,1 h + « validée au T1 2026 » (faux)
gemma4:e2b9/12
chaudwarm 7,7 sdébitrate 20,4 t/s

Voici le résumé pour le comité de direction :

  • Déploiement en 2025 d'une plateforme régionale de télé-expertise couvrant 42 établissements de santé et 1 300 professionnels.
  • Sur les douze derniers mois, 18 700 demandes ont été traitées avec un délai de réponse médian de 3,2 heures, et un taux de satisfaction de 91 %.
  • Le budget de fonctionnement est de 2,4 millions d'euros, financé à 70 % par l'ARS.

La prochaine échéance est l'évaluation médico-économique indépendante prévue au premier trimestre 2027.

Perdus : 5,1 hfin 202625 000 (extension omise)
qwen3.5:4b-q4✓ 12/12 fidèle
chaudwarm 18,3 sdébitrate 12,2 t/s
  • En 2025, le GRADeS Bourgogne-Franche-Comté a traité 18 700 demandes sur un an pour 42 établissements et 1 300 professionnels, avec une satisfaction de 91 %, un délai médian de 3,2 heures (contre 5,1 l'année précédente) et un budget de fonctionnement de 2,4 millions d'euros financé à 70 % par l'ARS.
  • Le comité de pilotage du 14 mars 2026 a validé une extension couvrant la dermatologie et la cardiologie avec un objectif de 25 000 demandes annuelles d'ici fin 2026, suivie par une évaluation médico-économique indépendante au premier trimestre 2027.
  • La prochaine échéance est l'évaluation médico-économique indépendante prévue au premier trimestre 2027.
Tous les chiffres conservés, aucune erreur.
gemma4:e4b9/12
chaudwarm 13,1 sdébitrate 11,3 t/s

Voici le résumé pour le comité de direction :

  • Plateforme régionale déployée en 2025 couvrant 42 établissements et 1 300 professionnels.
  • Traitement de 18 700 demandes sur les douze derniers mois, avec un délai médian réduit à 3,2 heures (contre 5,1 heures précédemment).
  • Le budget de fonctionnement est de 2,4 millions d'euros, financé à 70 % par l'ARS.

Prochaine échéance : une évaluation médico-économique indépendante est prévue au premier trimestre 2027.

Perdus : 91 %fin 202625 000
ministral3:3b11/12
chaudwarm 18,5 sdébitrate 15,8 t/s
  • Déploiement en 2025 : plateforme couvrant 42 établissements et 1 300 professionnels, 18 700 demandes traitées en un an, délai médian 3,2 heures (contre 5,1 heures), 91 % de satisfaction.
  • Budget annuel : 2,4 millions d'euros, financé à 70 % par l'ARS.
  • Prochaines étapes : extension dermatologie et cardiologie d'ici fin 2026, objectif 25 000 demandes. Validation du comité de pilotage le 14 mars 2026.

Prochaine échéance : comité de pilotage le 14 mars 2026.

Manquant : 2027 + échéance erronée (14 mars 2026, déjà passé)
ministral3:8b✓ 12/12 fidèle
chaudwarm 41,1 sdébitrate 7,3 t/s
  • Déploiement et performance : plateforme lancée en 2025, 42 établissements, 1 300 professionnels. 18 700 demandes sur 12 mois, délai médian 3,2 heures (contre 5,1 h en 2024). Satisfaction 91 %.
  • Financement et extensions : budget de 2,4 millions d'euros, financé à 70 % par l'ARS. Extension dermatologie et cardiologie d'ici fin 2026, objectif 25 000 demandes annuelles.
  • Prochaine échéance : évaluation médico-économique indépendante au premier trimestre 2027.
Tous les chiffres conservés, échéance correcte.

Lecture

Reading

deux profils, confirmés sur les deux épreuvestwo profiles, confirmed on both tasks
GEMMA · discipline
GEMMA · discipline

Concis, format « note » net, respecte les contraintes. Mais sur un texte dense, cette concision lui fait abandonner des données : E2B et E4B restent à 9/12.

Concise, clean "memo" format, respects constraints. But on a dense text, that concision makes it drop data: E2B and E4B stay at 9/12.

QWEN · complétude
QWEN · completeness

Riche en contenu métier. Le 4B garde 12/12, rapide (12 tok/s) : le meilleur compromis fidélité / vitesse du lot.

Rich in domain content. The 4B keeps 12/12, fast (12 tok/s): the best fidelity / speed trade-off of the lot.

MISTRAL · équilibre 🇫🇷
MISTRAL · balance 🇫🇷

Le 8B rejoint le sommet (12/12) avec la plus belle prose. Surprise : le 3B, plus petit qu'un E4B, préserve mieux les chiffres (11/12). Apache 2.0, acteur français.

The 8B reaches the top (12/12) with the finest prose. Surprise: the 3B, smaller than an E4B, preserves numbers better (11/12). Apache 2.0, a French player.

Un pattern net : Qwen et Mistral préservent les chiffres, Gemma les sacrifie à la concision. Deux modèles à 12/12 pour la fidélité : qwen3.5:4b (le plus rapide) et ministral3:8b (le meilleur français). Et pour l'edge contraint, ministral3:3b à 11/12 pour 3 Go.

A clear pattern: Qwen and Mistral preserve the numbers, Gemma sacrifices them to concision. Two models at 12/12 for fidelity: qwen3.5:4b (the fastest) and ministral3:8b (the best French). And for constrained edge, ministral3:3b at 11/12 for 3 GB.