Seneste Level 4 Eval
- MiMo V2.5 Pro: 93.8% Adopted
- Qwen 3.6 Plus: 78.5% Useful
- MiniMax M2.7: 43.1% Monitoring
Sidst kørt: 2026-05-12
Dashboard
›
Testcenter
Test og validering
Testcenter
Testcenter samler alle typer tests, evals og valideringer — fra daglige LLM-checks til modelbenchmarks og dashboard compliance.
6test-typer
5benchmarks
18free modeller
~19/20compliance
📋 Test Katalog
| Test Type | Beskrivelse | Status | Sidst Kørt | Resultat |
|---|---|---|---|---|
| Free LLM Availability | Tjekker om :free modeller er tilgængelige på OpenRouter | Adopted | Daglig (cron) | 18 modeller aktive |
| Browser QA | Visuel/layout check af sider | Useful | On-demand | Sprint 1-3 bestået |
| Docs Review | Gennemgang af Hermes docs for public-safety | Adopted | 2026-05-19 | 330/330 gennemgået |
| Level 4 Eval | Model-kvalitetstest med scoring | Useful | 2026-05-12 | MiMo 93.8%, Qwen 78.5% |
| Agent Group Sprint | Multi-agent design sprint med spec compliance | Monitoring | 2026-05-20 | Score: 6/20 (Sprint 1-3: ~19/20) |
| Regressionscheck | Tjekker om deployed sider har fejl | Monitoring | Manuelt | — |
🔗 Benchmark Links
SWE-bench UsefulSoftware engineering benchmark — real-world GitHub issues. Standard eval for code agents.OpenRouter Rankings UsefulLive model rankings på OpenRouter baseret på bruger-votes og kvalitet.Chatbot Arena UsefulLMSYS Chatbot Arena — crowd-sourced modelvurderinger med ELO-scoring.LiveCodeBench MonitoringLive coding benchmark med kontinuerligt opdaterede opgaver.MMLU — Papers With Code UsefulMassive Multitask Language Understanding — standard LLM-kvalitets-benchmark.
📊 Evalueringsresultater
Free LLM Coverage
- 18 aktive :free modeller
- Daglig opdatering via cron
- OpenRouter free-tier trackning
- Fallback-kæde: free → paid budget → premium
Kilde: Free LLM Availability test
Dashboard Compliance
- Før Sprint 1-3: 6-7/20
- Efter Sprint 1-3: ~19/20
- Forbedring: +12-13 point (+185%)
- Agent Group design sprint evalueret
Kilde: Agent Group 1 Test 1 + Sprint 1-3 audit