⚠️ Onderbouwde pilot, nog GEEN ranglijst.Underpowered pilot, NOT a ranking yet.
Generieke code + reasoning scheiden onze vloot NIET (frontier-vier identiek, 27/27 gepoold incl. de
zwaardere tier; Qwen 24/27, CI overlapt = niet significant). STAR (echte 21.02-macro's) is het ENIGE domein dat
scheidt — opus 5/12, gemini 2/12, gpt-5.5 1/12, qwen 0/12, glm 0/12. Opus schrijft draaiende 21.02-
macro's, de raw-lokale modellen NUL: opus > qwen én opus > glm is significant (Fisher-exact p=0,02) — een sterk
richtingssignaal, maar N=12 is te klein voor harde significantie (opus-vs-gpt/gemini niet significant). Veelzeggend:
glm is 27/27 op code maar 0/12 op STAR — net als de lokale Qwen; generieke modelkwaliteit voorspelt
GEEN lab-macrokwaliteit. Raw macro-schrijven is voor ELK model moeilijk (allen hallucineren de niche-API: glm verzint
Vector3/SimpleShapePartFactory) → de curated skill is de echte hefboom. Kies geen modellen op N=6-27; echt
rangschikken vraagt N≥50 uit échte lab-taken + agentisch + differential. Cross-vendor review: Gemini 3.1 Pro deepthink
+ 3 onafhankelijke audits. Vijf keer zelf-gecorrigeerd (laatst: een scorer die een macro met een
runtime-fout ("does not exist in manager") tóch liet slagen → opus 6→5/12, significantie via Fisher niet Wilson).
Generic code + reasoning do NOT separate our fleet (frontier four identical, 27/27 pooled incl. the
harder tier; Qwen 24/27, CI overlaps = not significant). STAR (real 21.02 macros) is the ONLY domain that separates —
opus 5/12, gemini 2/12, gpt-5.5 1/12, qwen 0/12, glm 0/12. Opus writes runnable 21.02 macros, the
raw-local models write ZERO: opus > qwen and opus > glm are significant (Fisher exact p=0.02) — a strong
directional signal, but N=12 is too small for hard significance (opus-vs-gpt/gemini not significant). Telling:
glm is 27/27 on code but 0/12 on STAR — same floor as local Qwen; generic model quality does NOT
predict lab-macro quality. Raw macro-writing is hard for EVERY model (all hallucinate the niche API: glm invents
Vector3/SimpleShapePartFactory) → the curated skill is the real lever. Don't pick models on N=6-27; real ranking needs
N≥50 from real lab tasks + agentic + differential. Cross-vendor review: Gemini 3.1 Pro deepthink + 3 independent
audits. Self-corrected five times (latest: a scorer passed a macro that logged a runtime error
("does not exist in manager") yet exited 0 → opus 6→5/12, significance via Fisher not Wilson).
›De matrix (pilot)The matrix (pilot)
1.000 (verzadigd, verzwaar)1.000 (saturated, harden)
0.75-0.99<0.75
| agent | routeroute | code makkelijkcode easy | code zwaarcode hard | code brutaalcode brutal | code extreemcode extreme | redenerenreasoning | redeneren+reasoning+ | STAR macroSTAR macro | zelf-herstelself-repair | t-horizon |
|---|
| opus-4.8 | claude -p
€0 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.417 | 1.000 | - |
| gpt-5.5 | OpenAI
metered | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.083 | 1.000 | - |
| gemini-3.1-pro | Google
metered | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.167 | 1.000 | - |
| glm-5.2 | OpenRouter
cents | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.000 | 1.000 | - |
| qwen-local | Thor
€0 | 1.000 | 0.667 | 0.875 | 1.000 | 1.000 | 1.000 | 0.000 | 0.833 | 23 min |
Score = fractie taken waarvan de gegenereerde code/macro echt draait / het antwoord exact klopt. Geen model beoordeelt een ander model.
Score = fraction of tasks whose generated code/macro actually runs / whose answer exactly matches. No model grades another.
Een cel van 1.000 is geen eindpunt, het is een opdracht om die taken te verzwaren tot ze scheiden.
A 1.000 cell is not an endpoint, it is an instruction to harden those tasks until they separate.