Denne side viser de aktive indsamlinger bag LLM- og operations-dashboardet: hvem der kører dem, hvor ofte de kører, hvad de samler ind, og hvor data bliver gemt, og hvilke URL’er eller lokale kildestier de læser fra, vist én kilde per linje. Siden viser kun public-safe metadata — ikke credentials, rå prompts eller hemmelige tokens.
Opdateret: 2026-06-09 18:53 UTC
1185Hermes sessions i dashboard-data
46dage i session-tidsserie
30model-intel snapshots i dashboardet
18OpenRouter app-poster vist
341modeller i OpenRouter catalog DB
395eksporterede free-LLM testresultater
9historik-sektioner i rankings DB
Kort fortalt
Der er tre hovedspor: Hermes-brug fra /opt/data/state.db, model-intelligence fra OpenRouter/NanoGPT/offentlige rangeringer, og free-LLM tests hvor GPT-5.5 superviserer budget-gatede scenarietests af gratis OpenRouter-modeller.
Dashboardets nuværende JSON blev genereret 2026-06-09T14:01:48.287686+00:00. Sessionsperioden i dashboardet går fra 2026-04-25 til 2026-06-09. Sessions-tabellen viser et udsnit på 200 rækker ud af 1185 sessions.
Indsamler tekniske modeldata og krydstjekker dem mellem OpenRouter, Hermes Agent app-siden og NanoGPT. Den bruges til model-scorecards, context/pris-felter og ændringsdetektion.
Bruger
Bruger offentlige API-svar, public HTML/scrape-output, normalisering til JSON/CSV/JSONL samt pass-gates og secret-scan.
Kost
Lav. OpenRouter Models API og de offentlige sider er gratis at læse. NanoGPT scrape API kan koste eller rate-limite afhængigt af konto/kvote. Ingen LLM-kald i selve local collector-runnet.
Bemærkning
God som daglig baseline, men den afhænger af at public HTML/API-felter ikke ændrer struktur.
Anbefaling
Behold daglig kørsel. Tilføj alert hvis en kilde fejler 2 dage i træk, så dashboardet ikke viser gammel model-intel som frisk data.
Collector-mappen indeholder artefakter fra 32 forskellige datoer: 2026-05-04 til 2026-06-09, med huller. Den aktive collector-mappe har 504 filer på ca. 136,2 MiB. De 5 SQLite DB-filer i mappen fylder ca. 580 KiB og indeholder samlet 2.184 rækker. Den nyeste aktive OpenRouter intelligence DB har 15 tabeller og 589 rækker, heraf 341 model_catalog-rækker.
Beskrivelse
Indsamler offentlige OpenRouter-rangeringer: populære modeller, apps, coding apps, rankings, Hermes Agent app og LangChain app. Den forklarer hvilke modeller/apps der trender uden at teste dem selv.
Bruger
Bruger public OpenRouter-sider, OpenRouter Models API, lokal parser og SQLite-tabeller i openrouter_intelligence.db.
Kost
Lav til moderat. Public side/API-læsning er normalt gratis, men browser/web scraping kan bruge managed web/browser-kapacitet og kan fejle ved client-rendering eller rate-limits.
Bemærkning
Nogle OpenRouter-sektioner er client-renderede; derfor kan direkte HTML give delvise data, og browser-supplement kan være nødvendigt.
Anbefaling
Behold dagligt run og markér datakvalitet per sektion: API-data som stærk, browser-supplement som observeret, og delvise client-rendered resultater som monitoring.
OpenRouter collector agent med hermes-llm-evaluation + openrouter-model-intelligence-collector skills
OpenRouter rankings history
ok
Hvem
openrouter-rankings-history-daily
Hvor ofte
Dagligt 05:20 UTC · 1 gang dagligt
Senest
Manuel smoke-test 2026-06-09 · cron starter 2026-06-10 05:20 UTC
Næste
2026-06-10 05:20 UTC
Data
Append-only historik for OpenRouter apps, coding agents, tool calls, productivity apps og app-specifik modelbrug.
Dage og omfang
Første historik-snapshot er oprettet for 2026-06-09. Public JSON indeholder 9 sektioner og 99 aktuelle observationer. Delvise eller fejlede sektioner: apps_global_top60, coding_agents_top50, productivity_top50.
Beskrivelse
Gemmer daglige observationer i en ny append-only database, så items ikke slettes når de forsvinder fra en liste. Aggregatoren beregner first_seen, last_seen, days_on_list, current_rank, previous_rank, rank_delta og absent_today.
Bruger
Bruger eksisterende OpenRouter collector-output hvor det allerede findes, og henter kun supplerende kilder for productivity, Nous Research API og de to Hermes Web UI URL-varianter.
Kost
Lav. Det er et no-agent Python-script uden LLM-kald. Omkostningen er public HTTP fetches, lokal SQLite og JSON-eksport.
Bemærkning
Parseren indsætter ikke hardcoded fallback-data som dagens data. Hvis parsing fejler, markeres sektionen som parsing_failed i stedet for at opfinde rækker.
Anbefaling
Behold som én samlet cron kl. 05:20 UTC efter den eksisterende OpenRouter collector. Næste forbedring er bedre parser/browser-fallback for global top 60 og productivity top 50.
OpenRouter :free katalog, nye/ændrede gratis modeller, normalized free_models snapshots og latest_free_models state
Beskrivelse
Finder aktuelle gratis OpenRouter-modeller, ændringer i kataloget og hvilke modeller der bør prioriteres til test. Den opdaterer latest_free_models og normaliserede snapshots.
Bruger
Bruger OpenRouter Models API, OpenRouter key/account endpoint til kvote/status og OpenRouter docs for free-model regler og rate-limits.
Kost
Lav. Katalog- og konto-checks er små API-kald. De bør ikke koste modeltokens, men tæller stadig som API-trafik og kan være rate-limited.
Bemærkning
Vigtigt for ikke at teste modeller der er forsvundet, ændret navn eller ikke længere er gratis.
Anbefaling
Behold dagligt discovery-run før test-runs. Brug discovery-resultatet som gate: kun modeller der stadig er :free og synlige i kataloget bør testes.
Scenario-testresultater for gratis modeller: prompt-svar, score, statuskoder, latency, 402/429-hændelser og supervisor-review
Beskrivelse
Kører budget-gatede scenarietests af gratis modeller og scorer svarene med GPT-5.5 som supervisor. Det giver kvalitet, latency, fejlstatus og 402/429-hændelser.
Bruger
Bruger OpenRouter Models API, OpenRouter chat completions API, key/account endpoint, lokal ledger, scenario-batteri og supervisor-review.
Kost
Moderat. Selve gratis modelkald er 0 USD når :free virker, men supervisor-scoring med GPT-5.5 kan koste penge. Derudover kan 429/402 stoppe runs eller kræve cooldown.
Bemærkning
Dette er den mest værdifulde, men også mest cost-sensitive pipeline. Den skal forblive budget-gated og fail-closed.
Anbefaling
Behold hver 180. minut kun hvis budget/nytte er tydelig. Ellers sænk frekvensen og prioritér nye, ændrede eller højt rangerede gratis modeller.
/opt/data/home/hermes-llm-eval/free_llm_manager/evals og results
Ansvarlig type
GPT-5.5 via openai-codex som supervisory Free-LLM Manager Agent
Dashboard data pipeline
scheduled
Hvem
dashboard-data-pipeline
Hvor ofte
Dagligt 05:00 UTC · 1 gang dagligt
Senest
ikke registreret i cron
Næste
2026-06-10 05:00 UTC
Data
Aggregerer Hermes state.db, model-intel scorecards og OpenRouter intelligence til dashboard-data.json
Beskrivelse
Samler Hermes session-metadata, model-intel snapshots og OpenRouter intelligence til den JSON som dashboard-forslag-1-2 og beslægtede sider viser.
Bruger
Bruger lokale SQLite/JSON/CSV artefakter fra state.db, model-intel collection og OpenRouter intelligence DB. Public dashboard JSON er output, ikke primær kilde.
Kost
Meget lav. Det er lokal fil- og SQLite-behandling uden LLM-kald. Omkostningen er primært CPU/disk og minimal cron-tid.
Bemærkning
Cron-listen viste scheduled, men ingen registreret sidste kørsel for dette job. Dashboard JSON findes dog og er public.
Anbefaling
Få last_run/status synliggjort eller kør job manuelt én gang. Tilføj datakvalitetsbadge hvis JSON er ældre end 24-48 timer.
Hermes driftsstatus, achievement-batches, skills, cron, konfigurations- og forbedringsfund
Beskrivelse
Gennemgår Hermes drift, achievements, skills, cron, konfiguration og forbedringsmuligheder. Den kan foreslå eller udføre forbedringer afhængigt af tier.
Bruger
Bruger Hermes docs, lokal Hermes-konfiguration, skills, cron-status, dashboardet og GitHub/release-kontekst når relevant.
Kost
Moderat. Den kører med LLM-model og web/file/terminal-værktøjer hver anden dag. Omkostningen afhænger af model, antal værktøjskald og review-dybde.
Bemærkning
Den indsamler ikke én ekstern datakilde som de andre; den er en driftsreview-agent der læser mange kilder og producerer anbefalinger.
Anbefaling
Behold hver anden dag. Kræv tydelig Tier 1/2/3-klassifikation, så auto-fix ikke glider over i infrastrukturændringer uden godkendelse.
Telegram-status + lokale ændringer/rapporter afhængigt af tier
Ansvarlig type
Hermes Optimizer Agent · mimo-v2.5-pro via Xiaomi
Dataflow
1. Rå indsamling
Cron-jobs henter offentlige modeldata, OpenRouter-rangeringer, Hermes session-metadata og free-model testresultater.
2. Normalisering
Collector-scripts skriver JSON, CSV, JSONL og SQLite-tabeller med ensartede felter, timestamps og pass-gates.
3. Kvalitetskontrol
Secret-scan, policy pass, 402/429 stop-gates, rate-limit ledger og supervisor scoring bruges før data vises.
4. Dashboard
Public-safe aggregater udstilles som statiske HTML/JSON-sider på hermes-agent-info.nordicagent.academy.
Kendte forbehold
Free-LLM eksportfilen viser seneste samlede export som 2026-05-28T20:38:14.453481+00:00, mens de rå eval-filer fortsat opdateres. Seneste rå eval-fil fundet: free_llm_scenario_eval_20260609T175942Z.json.
Dashboard-data pipeline er planlagt dagligt kl. 05:00 UTC, men cron-listen viste endnu ingen registreret sidste kørsel for netop det job. Den aktuelle dashboard JSON findes dog og bruges af live-siden.