Corpus synthétique, toutes les entités sont fictives.
Benchmark des pipelines
État au 2026-10-04
Structure (plan Hn)
Classement
| Modèle | f1 | precision | recall | f1_titles_only | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/gemma-4 | 0.923 | 1 | 0.857 | 0.923 | 0.003 | 1867 | 59443 | 2026-10-03 | 6d2e7cc1 | complet |
| eurouter/deepseek-v4-flash-0731 | 0.918 | 1 | 0.849 | 0.918 | 0.006 | 3326 | 99914 | 2026-10-04 | 6d2e7cc1 | complet |
| eurouter/deepseek/deepseek-v4.1-flash | 0.869 | 0.941 | 0.807 | 0.914 | 0.021 | 14486 | 337996 | 2026-10-04 | 6d2e7cc1 | complet |
| mistral/mistral-medium-latest | 0.798 | 0.856 | 0.748 | 0.906 | 0.016 | 3406 | 61795 | 2026-10-03 | 55b37de9 | complet |
| eurouter/glm-5.2 | 0.711 | 0.743 | 0.681 | 0.895 | 0.265 | 53440 | 1623786 | 2026-10-03 | 6d2e7cc1 | complet |
| eurouter/minimax-m3 | 0.678 | 0.703 | 0.655 | 0.896 | 0.059 | 28600 | 928625 | 2026-10-04 | 6d2e7cc1 | complet |
Runs partiels
Aucune mesure.
Autres mesures — non comparables
Version de brique ou jeu différent du groupe de référence.
| Modèle | f1 | precision | recall | f1_titles_only | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/deepseek-v4-flash-0731 | 0.918 | 1 | 0.849 | 0.918 | 0.006 | 3218 | 367564 | 2026-08-26 | c6cb28c | version de brique différente |
| eurouter/llama-3.3-70b-instruct | 0.752 | 0.794 | 0.714 | 0.912 | 0.004 | 3124 | 191697 | 2026-08-26 | a00e425 | version de brique différente |
| eurouter/gpt-oss-120b | 0.836 | 0.887 | 0.79 | 0.916 | 0.01 | 20807 | 135983 | 2026-08-26 | a00e425 | version de brique différente |
| eurouter/kimi-k3 | 0.695 | 0.711 | 0.681 | 0.91 | 0.42 | 26042 | 484115 | 2026-08-26 | a00e425 | version de brique différente |
| eurouter/llama-3.1-nemotron-ultra-253b | 0.557 | 0.61 | 0.513 | 0.913 | 0.016 | 2594 | 81219 | 2026-08-25 | 318d047 | version de brique différente |
| eurouter/nemotron-3-nano-30b-a3b | 0.824 | 0.988 | 0.706 | 0.833 | 0.011 | 50904 | 379341 | 2026-08-25 | 318d047 | version de brique différente |
| eurouter/minimax-m3 | 0.687 | 0.702 | 0.672 | 0.893 | 0.099 | 51265 | 690419 | 2026-08-25 | d3c1719 | version de brique différente |
| eurouter/deepseek-v4-pro | 0.775 | 0.835 | 0.723 | 0.901 | 0.042 | 2006 | 64848 | 2026-08-25 | d3c1719 | version de brique différente |
| mistral/mistral-large-latest | 0.908 | 1 | 0.832 | 0.908 | 0.069 | 4656 | 81363 | 2026-08-25 | f8658de | version de brique différente |
| mistral/mistral-small-latest | 0.437 | 0.455 | 0.42 | 0.882 | 0.005 | 5709 | 56872 | 2026-08-25 | f8658de | version de brique différente |
Découpe (chunking)
Classement
Aucune mesure.
Runs partiels
Aucune mesure.
Autres mesures — non comparables
Version de brique ou jeu différent du groupe de référence.
Aucune mesure.
Sémantique
Classement
| Modèle | primary_accuracy | entities_f1 | entities_precision | entities_recall | date_juste | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/gemma-4 | 0.7 | 0.645 | 0.556 | 0.769 | 10 | 0.003 | 3954 | 66470 | 2026-10-04 | e95a4bc4 | complet |
| eurouter/minimax-m3 | 0.6 | 0.541 | 0.417 | 0.769 | 10 | 0.026 | 12562 | 148957 | 2026-10-03 | 55b37de9 | complet |
| eurouter/deepseek-v4-flash-0731 | 0.5 | 0.526 | 0.4 | 0.769 | 10 | 0.004 | 5300 | 41219 | 2026-10-04 | 6d2e7cc1 | complet |
| eurouter/deepseek/deepseek-v4.1-flash | 0.5 | 0.345 | 0.222 | 0.769 | 10 | 0.022 | 17767 | 102810 | 2026-10-04 | e95a4bc4 | complet |
| eurouter/glm-5.2 | 0.4 | 0.595 | 0.458 | 0.846 | 10 | 0.128 | 25801 | 298193 | 2026-10-04 | 6d2e7cc1 | complet |
| eurouter/alibaba/qwen3.8-27b | 0.4 | 0.526 | 0.4 | 0.769 | 10 | 0.067 | 22867 | 254285 | 2026-10-04 | 6d2e7cc1 | complet |
| eurouter/kimi-k2.6 | 0.4 | 0.417 | 0.286 | 0.769 | 10 | 0.132 | 32611 | 859940 | 2026-10-04 | 6d2e7cc1 | complet |
| mistral/mistral-medium-latest | 0.3 | 0.512 | 0.367 | 0.846 | 9 | 0.014 | 4378 | 28101 | 2026-10-03 | 55b37de9 | complet |
| eurouter/apertus-70b | 0 | 0.48 | 0.324 | 0.923 | 1 | 0.014 | 4306 | 173580 | 2026-10-04 | 6d2e7cc1 | complet |
Runs partiels
Aucune mesure.
Autres mesures — non comparables
Version de brique ou jeu différent du groupe de référence.
| Modèle | primary_accuracy | entities_f1 | entities_precision | entities_recall | date_juste | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/deepseek/deepseek-v4.1-flash | 0.4 | 0.345 | 0.222 | 0.769 | 10 | 0.016 | 11956 | 113754 | 2026-10-04 | 6d2e7cc1 | mesure antérieure du même modèle |
| eurouter/gemma-4 | 0.7 | 0.581 | 0.5 | 0.692 | 10 | 0.003 | 3979 | 42223 | 2026-10-04 | 6d2e7cc1 | mesure antérieure du même modèle |
| eurouter/minimax-m3 | 0.8 | 0.541 | 0.417 | 0.769 | 10 | 0.025 | 12444 | 181844 | 2026-08-26 | c6cb28c | version de brique différente |
| eurouter/nemotron-3-nano-30b-a3b | 0.7 | 0.465 | 0.333 | 0.769 | 10 | 0.005 | 23829 | 82031 | 2026-08-26 | c6cb28c | version de brique différente |
| eurouter/kimi-k3 | 0.7 | 0.378 | 0.292 | 0.538 | 10 | 0.285 | 19186 | 333185 | 2026-08-26 | fa26694 | version de brique différente |
| eurouter/llama-3.1-nemotron-ultra-253b | 0.6 | 0.457 | 0.364 | 0.615 | 10 | 0.012 | 3354 | 75542 | 2026-08-26 | fa26694 | version de brique différente |
| eurouter/deepseek-v4-pro | 0.6 | 0.421 | 0.32 | 0.615 | 10 | 0.035 | 5478 | 23453 | 2026-08-26 | fa26694 | version de brique différente |
| eurouter/llama-3.3-70b-instruct | 0.4 | 0.688 | 0.579 | 0.846 | 10 | 0.003 | 3862 | 192923 | 2026-08-26 | fa26694 | version de brique différente |
| mistral/mistral-small-latest | 0.6 | 0.348 | 0.214 | 0.923 | 10 | 0.003 | 5455 | 37106 | 2026-08-26 | fa26694 | version de brique différente |
| mistral/mistral-large-latest | 0.5 | 0.615 | 0.462 | 0.923 | 9 | 0.052 | 4847 | 76255 | 2026-08-26 | fa26694 | version de brique différente |
| eurouter/gpt-oss-120b | 0.3 | 0.458 | 0.314 | 0.846 | 10 | 0.005 | 10031 | 60174 | 2026-08-26 | fa26694 | version de brique différente |
| eurouter/deepseek-v4-flash-0731 | 0.3 | 0.629 | 0.5 | 0.846 | 10 | 0.004 | 4906 | 165968 | 2026-08-26 | fa26694 | version de brique différente |
| mistral/mistral-medium-latest | 0.3 | 0.478 | 0.333 | 0.846 | 9 | 0.014 | 4526 | 37947 | 2026-08-25 | f8658de | version de brique différente |
Graphe (entités & étiquettes)
Classement
| Modèle | mentions_f1 | mentions_precision | mentions_recall | tags_recall | dedupe_score | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/minimax-m3 | 0.733 | 0.647 | 0.846 | 0.756 | 1 | 0.024 | 11714 | 157851 | 2026-10-03 | 55b37de9 | complet |
| eurouter/gemma-4 | 0.645 | 0.556 | 0.769 | 0.683 | 1 | 0.003 | 4026 | 82101 | 2026-10-04 | e95a4bc4 | complet |
| eurouter/glm-5.2 | 0.595 | 0.458 | 0.846 | 0.829 | 1 | 0.113 | 22377 | 359194 | 2026-10-04 | 6d2e7cc1 | complet |
| mistral/mistral-medium-latest | 0.571 | 0.414 | 0.923 | 0.659 | 1 | 0.014 | 4409 | 28146 | 2026-10-03 | 55b37de9 | complet |
| eurouter/deepseek-v4-flash-0731 | 0.541 | 0.417 | 0.769 | 0.707 | 1 | 0.004 | 5269 | 49940 | 2026-10-03 | 55b37de9 | complet |
| eurouter/alibaba/qwen3.8-27b | 0.5 | 0.391 | 0.692 | 0.732 | 1 | 0.063 | 21622 | 195027 | 2026-10-04 | 6d2e7cc1 | complet |
| eurouter/apertus-70b | 0.48 | 0.324 | 0.923 | 0.512 | 1 | 0.014 | 4386 | 159152 | 2026-10-04 | 6d2e7cc1 | complet |
| eurouter/deepseek/deepseek-v4.1-flash | 0.34 | 0.225 | 0.692 | 0.78 | 1 | 0.016 | 12072 | 158177 | 2026-10-04 | e95a4bc4 | complet |
Runs partiels
| Modèle | mentions_f1 | mentions_precision | mentions_recall | tags_recall | dedupe_score | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/kimi-k2.6 | 0.4 | 0.276 | 0.727 | 0.622 | 1 | 0.125 | 31015 | 1247833 | 2026-10-04 | 6d2e7cc1 | partiel 1/10 — non comparable |
Autres mesures — non comparables
Version de brique ou jeu différent du groupe de référence.
| Modèle | mentions_f1 | mentions_precision | mentions_recall | tags_recall | dedupe_score | Coût € | Tokens sortie | Durée ms | Date | Commit | Statut |
|---|---|---|---|---|---|---|---|---|---|---|---|
| eurouter/deepseek/deepseek-v4.1-flash | 0.313 | 0.196 | 0.769 | 0.878 | 1 | 0.026 | 20866 | 310029 | 2026-10-04 | 6d2e7cc1 | mesure antérieure du même modèle |
| eurouter/gemma-4 | 0.581 | 0.5 | 0.692 | 0.707 | 1 | 0.003 | 3986 | 42814 | 2026-10-04 | 6d2e7cc1 | mesure antérieure du même modèle |
| eurouter/llama-3.3-70b-instruct | 0.629 | 0.5 | 0.846 | 0.39 | 1 | 0.003 | 3782 | 181896 | 2026-08-26 | c6cb28c | version de brique différente |
| eurouter/minimax-m3 | 0.706 | 0.571 | 0.923 | 0.78 | 1 | 0.025 | 12141 | 217394 | 2026-08-26 | c6cb28c | version de brique différente |
| eurouter/kimi-k3 | 0.324 | 0.25 | 0.462 | 0.854 | 1 | 0.275 | 18414 | 340942 | 2026-08-26 | a64d9a5 | version de brique différente |
| eurouter/llama-3.1-nemotron-ultra-253b | 0.457 | 0.364 | 0.615 | 0.366 | 1 | 0.012 | 3387 | 87120 | 2026-08-26 | a64d9a5 | version de brique différente |
| eurouter/deepseek-v4-pro | 0.444 | 0.348 | 0.615 | 0.829 | 1 | 0.033 | 5055 | 22106 | 2026-08-26 | a64d9a5 | version de brique différente |
| mistral/mistral-small-latest | 0.324 | 0.197 | 0.923 | 0.488 | 1 | 0.003 | 5439 | 37742 | 2026-08-26 | a64d9a5 | version de brique différente |
| mistral/mistral-large-latest | 0.526 | 0.4 | 0.769 | 0.732 | 1 | 0.052 | 4789 | 76874 | 2026-08-26 | a64d9a5 | version de brique différente |
| eurouter/gpt-oss-120b | 0.558 | 0.4 | 0.923 | 0.366 | 1 | 0.005 | 9660 | 70660 | 2026-08-26 | a64d9a5 | version de brique différente |
| eurouter/nemotron-3-nano-30b-a3b | 0.478 | 0.333 | 0.846 | 0.317 | 1 | 0.006 | 26694 | 93167 | 2026-08-26 | a64d9a5 | version de brique différente |
| eurouter/deepseek-v4-flash-0731 | 0.524 | 0.379 | 0.846 | 0.634 | 1 | 0.004 | 5150 | 167730 | 2026-08-26 | a64d9a5 | version de brique différente |
| mistral/mistral-medium-latest | 0.478 | 0.333 | 0.846 | 0.707 | 1 | 0.013 | 4440 | 36149 | 2026-08-25 | f8658de | version de brique différente |