Scrapling
Scrapling
Finding
Scrapling-siden er vigtig, fordi den giver Hermes et mere robust scraping-lag, når almindelig `web_extract` ikke kan hente dynamiske, beskyttede eller crawl-baserede websider.
What it is
Scrapling er en optional Hermes-skill til web scraping med tre niveauer: hurtig HTTP-hentning, browserbaseret JavaScript-rendering og stealth-fetching til sider med botbeskyttelse. Den kan bruges både via CLI og Python, og den har også et spider-framework til multi-page crawling. Den er nyttig som specialværktøj, men kræver tydelig juridisk og etisk afgrænsning, især ved Cloudflare- og anti-bot-bypass.
Should we use it?
Use later. For Lisa’s Hermes+n8n+LangGraph mission passer Scrapling bedst som et kontrolleret research-værktøj, ikke som standard browsing eller publiceringspipeline. Hermes bør først bruge native `web_search` og `web_extract`; Scrapling aktiveres kun, når der er et konkret databehov, manuel review og respekt for robots.txt, ToS og lovgivning. LangGraph kan senere orkestrere mere komplekse crawling-forløb, mens n8n kun bør bruges til gentagne, godkendte og lavrisiko scraping-flows.
Recommendation
Installer ikke Scrapling som standard endnu; dokumentér den som “approved specialist skill” til research-cases, hvor native Hermes web tools fejler, og kræv manuel godkendelse før dynamisk, stealth eller Cloudflare-relateret scraping.
Use now
- Når `web_extract` ikke returnerer nok data fra en statisk side.
- Når en JS-renderet side kræver browser-rendering for at se indholdet.
- Når Lisa skal lave afgrænset research på flere sider med tydelig kilde- og dataafgrænsning.
- Når output skal gemmes som markdown, HTML, tekst eller JSON til manuel analyse.
- Når en Hermes-agent skal hente public-safe researchdata uden at håndtere credentials.
Do not use / wait
- Ikke til automatisk scraping af sider med uklare Terms of Service.
- Ikke til personprofilering, stalking eller indsamling af følsomme persondata.
- Ikke som standard-erstatning for Hermes `web_search` eller `web_extract`.
- Ikke til Cloudflare-bypass uden konkret legitimt formål og manuel godkendelse.
- Ikke i n8n som fuldautomatisk tilbagevendende crawler uden rate limits, audit trail og review.
- Ikke på Hermes-containeren før browserafhængigheder og ressourceforbrug er vurderet.
Public page note
Scrapling kan beskrives offentligt som en optional Hermes research-skill til ansvarlig web scraping, dynamisk sidehentning og kontrolleret crawling, med krav om juridisk respekt, kildekontrol og manuel review.