Serveur MCP WebCrawlerAPI
Commit 17 oct. 2026Convert n'importe quelle page web en Markdown propre pour les assistants IA, en gérant le contenu rendu par JavaScript et en supprimant les éléments superflus.
Aussi connu sous WebCrawlerAPI/mcp-server, mcp-server
- Étoiles
- 0
- Outils
- 1
- Téléchargements, 30 jours
- —
- Dernière version
- 0.1.3
- Dernier commit
- 17 oct. 2026
- Licence
- MIT
Qu'est-ce que WebCrawlerAPI MCP ?
WebCrawlerAPI est un serveur MCP. Convert n'importe quelle page web en Markdown propre pour les assistants IA, en gérant le contenu rendu par JavaScript et en supprimant les éléments superflus. Il expose 1 outil, comme url.
Résumé généré à partir du README du projet
À propos du MCP server WebCrawlerAPI
La fonction principale de WebCrawlerAPI est de convertir des pages web en Markdown propre pour les assistants IA. Ce MCP server distant permet aux développeurs d'extraire de la documentation, des articles et des pages produits directement dans un chat ou une base de connaissances. En utilisant l'outil get_markdown, les utilisateurs peuvent récupérer n'importe quelle URL publique jusqu'à 2048 caractères et obtenir le contenu principal sans la distraction des publicités, des menus de navigation ou du code superflu.
Comme le serveur fonctionne sur l'infrastructure WebCrawlerAPI, il peut traiter avec succès les pages nécessitant un rendu JavaScript. La configuration consiste à se connecter à un transport streamable HTTP via des clients comme Claude Desktop, Cursor, VS Code ou ChatGPT. Au lieu de gérer manuellement des clés API, le système utilise l'authentification OAuth 2.1. Lors de votre première connexion, une fenêtre de navigateur s'ouvre pour vous permettre de vous connecter et d'approuver l'accès pour votre organisation spécifique, qui gère la facturation de chaque requête.
Ce que vous pouvez faire avec
- 1Extraction de documentation pour le contexte IAUn développeur peut demander à une IA de récupérer un manuel technique spécifique et de le convertir en Markdown pour améliorer le raisonnement.
- 2Lecture de sites web riches en JavaScriptVous pouvez demander le contenu d'applications web modernes qui nécessitent l'exécution de scripts pour afficher les informations.
- 3Nettoyage de contenu web pour les LLMUn client IA peut récupérer une page web tout en supprimant automatiquement les éléments inutiles comme les publicités.
Extrait du README du projet. Chaque cas d'utilisation est vérifié par rapport à une citation du document.
Comment installer WebCrawlerAPI MCP
Formats vérifiés le 10 nov. 2026Ajouter à CursorAjouter à GooseInstaller WebCrawlerAPI MCP dans Claude Code
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstaller WebCrawlerAPI MCP dans Cursor
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Installer WebCrawlerAPI MCP dans VS Code
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Installer WebCrawlerAPI MCP dans VS Code CLI
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'Installer WebCrawlerAPI MCP dans Codex
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpInstaller WebCrawlerAPI MCP dans Codex config.toml
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Installer WebCrawlerAPI MCP dans Gemini CLI
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstaller WebCrawlerAPI MCP dans Gemini settings.json
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}Outils MCP WebCrawlerAPI 1
Détectés depuis le READMEurl
| url | — |
Vérifications automatisées
Exécuté le 14 nov. 2026Rapport complet →Pas encore vérifié. Un serveur nécessite un score de 80, aucune faille sérieuse et suffisamment de données pour que nous puissions effectuer les vérifications. Fonctionnement des vérifications · Ce qu'il faut corriger pour gagner des points
- Dépôt source lié et accessiblewebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Réussi
- Le nom du package correspond au dépôt sourceNon vérifié
- Provenance du build (attestation Sigstore)Non vérifié
- Licence open source (OSI)MITspdx.org/licenses/MIT.html ↗Réussi
- Commit ou version publiée au cours de l'année écouléeLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Réussi
- OpenSSF ScorecardNon vérifié
- Nom du package non proche d'un package populaireNon vérifié
- Aucun avis critique dans le package ou ses dépendancesNon vérifié
- Aucune instruction cachée destinée au modèle1 tool description and the README read; no override phrases, credential paths or hidden charactersRéussi
- Les outils destructifs sont étiquetésNo tool named like delete, drop or execRéussi
- Le point de terminaison distant répond à la poignée de main MCPHTTPS endpoint answered 401 (sign-in required)Réussi
README
Voir sur GitHubWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
Questions sur WebCrawlerAPI MCP
Comment ajouter WebCrawlerAPI MCP à Claude Code ?
Exécutez claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp dans votre terminal. Ajoutez --scope user pour le rendre disponible dans tous les projets.
Comment ajouter WebCrawlerAPI MCP à Cursor ?
Ouvrez ~/.cursor/mcp.json et ajoutez le serveur sous mcpServers, avec la configuration Cursor indiquée dans la section d'installation ci-dessus.
Quels outils WebCrawlerAPI MCP fournit-il ?
Il expose 1 outil, dont url.
Comment s'authentifier avec WebCrawlerAPI ?
Le serveur utilise OAuth 2.1. Lors de votre première requête, une fenêtre de navigateur s'ouvrira pour vous permettre de vous connecter et d'approuver l'accès pour votre organisation.
Le serveur peut-il lire des pages utilisant JavaScript ?
Oui, le serveur fonctionne sur WebCrawlerAPI, ce qui garantit que les pages rendues par JavaScript sont traitées correctement.
Que se passe-t-il si une page ne peut pas être récupérée ?
L'outil renverra un message d'erreur expliquant l'échec, comme un site inaccessible, un blocage via robots.txt, un timeout ou un solde insuffisant.
Le serveur enregistre-t-il mes données ?
Le serveur reçoit les URL demandées et renvoie le contenu, mais il n'enregistre ni les tokens ni les URL complètes contenant des chaînes de requête.