⚠️ Onderbouwde pilot, nog GEEN ranglijst.Underpowered pilot, NOT a ranking yet.
Generieke code + reasoning scheiden onze vloot NIET (frontier-vier identiek, 22/22 gepoold; Qwen niet
significant lager). STAR (echte 21.02-macro's) is het ENIGE domein dat iets scheidt — maar bij N=12 alleen de
uitersten: opus 6/12 vs raw-qwen 0/12 = significant (CIs disjunct); opus-vs-gpt en
gpt/gemini-vs-qwen overlappen (niet significant). Raw macro-schrijven is voor ELK model moeilijk (allen hallucineren
de niche-API) → de curated skill is de echte hefboom. Kies geen modellen op N=6-22; echt rangschikken vraagt N≥50 uit
échte lab-taken + agentisch + differential. Cross-vendor review: Gemini 3.1 Pro deepthink. Vier keer zelf-gecorrigeerd.
Generic code + reasoning do NOT separate our fleet (frontier four identical, 22/22 pooled; Qwen not
significantly lower). STAR (real 21.02 macros) is the ONLY domain that separates anything — but at N=12 only the
extremes: opus 6/12 vs raw-qwen 0/12 = significant (disjoint CIs); opus-vs-gpt and
gpt/gemini-vs-qwen overlap (not significant). Raw macro-writing is hard for EVERY model (all hallucinate the niche
API) → the curated skill is the real lever. Don't pick models on N=6-22; real ranking needs N≥50 from real lab tasks
+ agentic + differential. Cross-vendor review: Gemini 3.1 Pro deepthink. Self-corrected four times.
›De matrix (pilot)The matrix (pilot)
1.000 (verzadigd, verzwaar)1.000 (saturated, harden)
0.75-0.99<0.75
| agent | routeroute | code makkelijkcode easy | code zwaarcode hard | code brutaalcode brutal | redenerenreasoning | redeneren+reasoning+ | STAR macroSTAR macro | t-horizon |
|---|
| opus-4.8 | claude -p
€0 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.500 | - |
| gpt-5.5 | OpenAI
metered | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.250 | - |
| gemini-3.1-pro | Google
metered | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.250 | - |
| glm-5.2 | OpenRouter
cents | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | blk | - |
| qwen-local | Thor
€0 | 1.000 | 0.667 | 0.875 | 1.000 | 1.000 | 0.000 | 23 min |
Score = fractie taken waarvan de gegenereerde code/macro echt draait / het antwoord exact klopt. Geen model beoordeelt een ander model.
Score = fraction of tasks whose generated code/macro actually runs / whose answer exactly matches. No model grades another.
Een cel van 1.000 is geen eindpunt, het is een opdracht om die taken te verzwaren tot ze scheiden.
A 1.000 cell is not an endpoint, it is an instruction to harden those tasks until they separate.