WebCrawlerAPI MCP server
Commit 17. Okt. 2026Konvertiert jede Webseite in sauberes Markdown für KI-Assistenten, verarbeitet JavaScript-gerenderte Inhalte und entfernt Boilerplate-Elemente.
Auch bekannt als WebCrawlerAPI/mcp-server, mcp-server
- Stars
- 0
- Tools
- 1
- Downloads, 30 Tage
- —
- Neueste Version
- 0.1.3
- Letzter Commit
- 17. Okt. 2026
- Lizenz
- MIT
Was ist WebCrawlerAPI MCP?
WebCrawlerAPI ist ein MCP server. Konvertiert jede Webseite in sauberes Markdown für KI-Assistenten, verarbeitet JavaScript-gerenderte Inhalte und entfernt Boilerplate-Elemente. Er stellt 1 Tool bereit, etwa url.
Zusammenfassung generiert aus dem README des Projekts
Über WebCrawlerAPI MCP server
Die Hauptfunktion von WebCrawlerAPI ist die Konvertierung von Webseiten in sauberes Markdown für KI-Assistenten. Dieser Remote MCP server ermöglicht es Entwicklern, Dokumentationen, Artikel und Produktseiten direkt in einen Chat oder eine Knowledge Base zu ziehen. Durch die Nutzung des get_markdown Tools können Nutzer jede öffentliche URL bis zu 2048 Zeichen abrufen und den Hauptinhalt ohne Ablenkungen durch Werbung, Navigationsmenüs oder Boilerplate-Code erhalten.
Da der Server auf der WebCrawlerAPI-Infrastruktur läuft, kann er Seiten erfolgreich verarbeiten, die ein JavaScript-Rendering erfordern. Das Setup erfolgt über eine Verbindung zu einem streamable HTTP Transport via Clients wie Claude Desktop, Cursor, VS Code oder ChatGPT. Anstatt API-Keys manuell verwalten zu müssen, nutzt das System OAuth 2.1 Authentifizierung. Bei der ersten Verbindung öffnet sich ein Browserfenster, damit du dich anmelden und den Zugriff für deine spezifische Organisation genehmigen kannst, welche die Abrechnung für jede Anfrage übernimmt.
Was du damit machen kannst
- 1Dokumentationen für den KI-Kontext extrahierenEin Entwickler kann eine KI anweisen, ein spezifisches technisches Handbuch abzurufen und es für besseres Reasoning in Markdown umzuwandeln.
- 2JavaScript-lastige Webseiten lesenDu kannst Inhalte von modernen Webanwendungen anfordern, die eine Skriptausführung benötigen, um Informationen anzuzeigen.
- 3Webinhalte für LLMs bereinigenEin KI-Client kann eine Webseite abrufen und dabei automatisch unnötige Elemente wie Werbeanzeigen entfernen.
Geschrieben aus dem README des Projekts. Jeder Use Case wurde gegen ein Zitat daraus geprüft.
So installierst du WebCrawlerAPI MCP
Formate geprüft am 10. Nov. 2026Zu Cursor hinzufügenZu Goose hinzufügenWebCrawlerAPI MCP in Claude Code installieren
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpWebCrawlerAPI MCP in Cursor installieren
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}WebCrawlerAPI MCP in VS Code installieren
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}WebCrawlerAPI MCP in VS Code CLI installieren
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'WebCrawlerAPI MCP in Codex installieren
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpWebCrawlerAPI MCP in Codex config.toml installieren
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
WebCrawlerAPI MCP in Gemini CLI installieren
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpWebCrawlerAPI MCP in Gemini settings.json installieren
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}WebCrawlerAPI MCP tools 1
Erkannt aus dem READMEurl
| url | — |
Automatisierte Checks
Geluften am 14. Nov. 2026Vollständiger Bericht →Noch nicht verifiziert. Ein Server benötigt einen Score von 80, keine kritischen Befunde und genug Daten für unsere Prüfung. Wie die Checks funktionieren · Was du für mehr Punkte verbessern kannst
- Source Repository verknüpft und erreichbarwebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Bestanden
- Paket nennt dieses Repository als QuelleNicht geprüft
- Build-Provenienz (Sigstore-Attestierung)Nicht geprüft
- Open Source Lizenz (OSI)MITspdx.org/licenses/MIT.html ↗Bestanden
- Commit oder Release im letzten JahrLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Bestanden
- OpenSSF ScorecardNicht geprüft
- Package-Name ähnelt keinem populären PackageNicht geprüft
- Keine kritischen Advisories im Paket oder seinen AbhängigkeitenNicht geprüft
- Keine versteckten Anweisungen an das Modell1 tool description and the README read; no override phrases, credential paths or hidden charactersBestanden
- Destruktive Tools sind markiertNo tool named like delete, drop or execBestanden
- Remote-Endpoint beantwortet den MCP-HandshakeHTTPS endpoint answered 401 (sign-in required)Bestanden
README
Auf GitHub ansehenWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
WebCrawlerAPI MCP Fragen
Wie füge ich WebCrawlerAPI MCP zu Claude Code hinzu?
Führe claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp in deinem Terminal aus. Füge --scope user hinzu, damit der Server in jedem Projekt verfügbar ist.
Wie füge ich WebCrawlerAPI MCP zu Cursor hinzu?
Öffne ~/.cursor/mcp.json und füge den Server unter mcpServers hinzu, mit der Cursor-Config aus dem Installationsabschnitt oben.
Welche Tools bietet WebCrawlerAPI MCP?
Er stellt 1 Tool bereit, darunter url.
Wie authentifiziere ich mich bei WebCrawlerAPI?
Der Server nutzt OAuth 2.1. Wenn du deine erste Anfrage stellst, öffnet sich ein Browserfenster, damit du dich anmelden und den Zugriff für deine Organisation genehmigen kannst.
Kann der Server Seiten lesen, die JavaScript verwenden?
Ja, der Server läuft auf WebCrawlerAPI, was sicherstellt, dass JavaScript-gerenderte Seiten korrekt verarbeitet werden.
Was passiert, wenn eine Seite nicht abgerufen werden kann?
Das Tool gibt eine Fehlermeldung aus, die den Grund erklärt, wie etwa eine nicht erreichbare Seite, ein robots.txt-Block, ein Timeout oder ein leeres Guthaben.
Loggt der Server meine Daten?
Der Server empfängt die angeforderten URLs und gibt den Inhalt zurück, loggt aber keine Tokens oder vollständigen URLs, die Query-Strings enthalten.