@robot-resources/scraper-mcp
⚠️ VERALTET — integriert in
@robot-resources/scraper. Dieser MCP-Server wird jetzt als integriertescraper-mcp-Binärdatei innerhalb des Haupt-Scraper-Pakets ausgeliefert. Installieren Sie ein Paket und erhalten Sie das MCP. Automatische Konfiguration übernpx robot-resources --for=cursorodernpx robot-resources --for=claude-code. Die Tools (scraper_compress_url,scraper_crawl_url) und die unten aufgeführten Parameter sind unverändert.
MCP-Server für Scraper — Kontextkompression für KI-Agenten.
Was ist Robot Resources?
Human Resources, aber für Ihre KI-Agenten.
Robot Resources verleiht KI-Agenten zwei Superkräfte:
Router — Leitet jeden LLM-Aufruf an das günstigste fähige Modell weiter. 60-90 % Kosteneinsparungen bei OpenAI, Anthropic und Google.
Scraper — Komprimiert Webseiten zu sauberem Markdown. 70-80 % weniger Token pro Seite.
Beides läuft lokal. Ihre API-Schlüssel verlassen niemals Ihren Rechner. Kostenlos, unbegrenzt, keine Stufen.
Installieren Sie die komplette Suite
npx robot-resourcesEin Befehl richtet alles ein. Erfahren Sie mehr unter robotresources.ai
Related MCP server: Scraper MCP
Über diesen MCP-Server
Dieses Paket stellt KI-Agenten zwei Tools zur Verfügung, um Webinhalte über das Model Context Protocol in token-effizientes Markdown zu komprimieren: Einzelseiten-Kompression und mehrseitiges BFS-Crawling.
Installation
npx @robot-resources/scraper-mcpOder global installieren:
npm install -g @robot-resources/scraper-mcpClaude Desktop-Konfiguration
Fügen Sie dies zu Ihrer claude_desktop_config.json hinzu:
{
"mcpServers": {
"scraper": {
"command": "npx",
"args": ["-y", "@robot-resources/scraper-mcp"]
}
}
}Tools
scraper_compress_url
Komprimieren Sie eine einzelne Webseite in Markdown mit 70-90 % weniger Token.
Parameter:
Parameter | Typ | Erforderlich | Standard | Beschreibung |
| string | ja | — | Zu komprimierende URL |
| string | nein |
|
|
| number | nein |
| Abruf-Timeout in Millisekunden |
| number | nein |
| Maximale Wiederholungsversuche (0-10) |
Beispiel-Prompt: "Komprimiere https://docs.example.com/getting-started"
scraper_crawl_url
Crawlen Sie mehrere Seiten von einer Start-URL aus unter Verwendung der BFS-Link-Erkennung.
Parameter:
Parameter | Typ | Erforderlich | Standard | Beschreibung |
| string | ja | — | Start-URL zum Crawlen |
| number | nein |
| Maximale Anzahl der zu crawlendenden Seiten (1-100) |
| number | nein |
| Maximale Link-Tiefe (0-5) |
| string | nein |
|
|
| string[] | nein | — | Einzuschließende URL-Muster (Glob) |
| string[] | nein | — | Auszuschließende URL-Muster (Glob) |
| number | nein |
| Timeout pro Seite in Millisekunden |
Beispiel-Prompt: "Crawle die Dokumentation unter https://docs.example.com mit maximal 20 Seiten"
Abrufmodi
Modus | Wie | Verwendung bei |
| Einfaches HTTP | Standard-Websites, APIs, Dokumentationen |
| TLS-Fingerabdruck-Impersonation | Anti-Bot-geschützte Websites |
| Headless-Browser (Playwright) | JS-gerenderte SPAs |
| Schnell → Stealth-Fallback bei 403/Challenge | Unbekannte Websites (Standard) |
Stealth erfordert impit und Render erfordert playwright als Peer-Abhängigkeiten von @robot-resources/scraper.
Anforderungen
Node.js 18+
Verwandtes
@robot-resources/scraper - Kern-Kompressionsbibliothek
@robot-resources/router-mcp - MCP-Server für LLM-Kostenoptimierung
Robot Resources - Human Resources, aber für Ihre KI-Agenten
Lizenz
MIT
Maintenance
Resources
Unclaimed servers have limited discoverability.
Looking for Admin?
If you are the server author, to access and configure the admin panel.
Latest Blog Posts
- Why MCP Servers Need Execution Sandboxing (And Why Your Current Stack Isn't Enough)By Om-Shree-0709 on .Agentic AiPrompt InjectionWebAssembly
MCP directory API
We provide all the information about MCP servers via our MCP API.
curl -X GET 'https://glama.ai/api/mcp/v1/servers/robot-resources/scraper-mcp'
If you have feedback or need assistance with the MCP directory API, please join our Discord server