Run Local LLMs on Mac
Run Local LLMs on Mac
Finding
Denne side er vigtig, fordi den viser en Hermes-native vej til private, lokale model-endpoints uden at bygge ekstra model-routing i n8n eller LangGraph.
What it is
Siden forklarer, hvordan man kører en lokal OpenAI-kompatibel LLM-server på Apple Silicon Mac med enten llama.cpp eller MLX via omlx. Begge kan eksponere et `/v1/chat/completions`-endpoint, som Hermes kan bruge som custom endpoint. Den vigtigste driftsidé er, at lokale modeller kan give privat, billig testkapacitet, især med quantized KV cache i llama.cpp på mindre Macs.
Should we use it?
Use later. For Lisa’s Hermes+n8n+LangGraph mission er dette relevant som lokal udviklings- og fallback-kapacitet, ikke som primær drift nu. Den nuværende mission bør stadig prioritere den centrale Hermes-modelstack, gateway, cron, skills, n8n flows og LangGraph-arkitektur. Lokale Mac-modeller giver mest værdi, når Lisa vil teste prompts, workflows eller private dokumenter uden API-omkostninger og uden at sende data ud.
Recommendation
Behandl local LLM on Mac som en fremtidig “private dev sandbox” for Hermes: brug den til prompt-/workflow-test og privacy-sensitive eksperimenter, men ikke som primær produktionsmodel for Lisa’s Hermes OS endnu.
Use now
- Når Lisa arbejder på en Apple Silicon Mac og vil teste Hermes prompts uden API-forbrug.
- Når et workflow indeholder følsomt materiale, som bør afprøves lokalt før ekstern modelbrug.
- Når n8n eller LangGraph skal teste OpenAI-kompatible lokale endpoints uden at ændre Hermes core.
- Når der skal laves hurtige, billige eksperimenter med mindre modeller som lokal assistent eller fallback.
Do not use / wait
- Brug det ikke som primær model for VPS-/Telegram-drift, hvis Hermes kører centralt et andet sted.
- Vent, hvis Lisa ikke har en Apple Silicon Mac med nok unified memory.
- Brug det ikke til lange, kritiske agent-runs uden først at teste stabilitet, timeout og modelkvalitet.
- Brug det ikke som erstatning for Hermes’ provider/fallback-konfiguration; det er et endpoint-valg, ikke en ny orchestration-stack.
Public page note
Hermes kan kobles til lokale Mac-modeller via OpenAI-kompatible endpoints, så udvikling og private test kan køre billigere og mere lokalt uden ekstra agent-infrastruktur.