MCP server de WebCrawlerAPI
Commit 17 oct 2026Convierte cualquier página web en Markdown limpio para asistentes de IA, gestionando contenido renderizado con JavaScript y eliminando el boilerplate.
También conocido como WebCrawlerAPI/mcp-server, mcp-server
- Stars
- 0
- Herramientas
- 1
- Descargas, 30 días
- —
- Última versión
- 0.1.3
- Último commit
- 17 oct 2026
- Licencia
- MIT
¿Qué es WebCrawlerAPI MCP?
WebCrawlerAPI es un MCP server. Convierte cualquier página web en Markdown limpio para asistentes de IA, gestionando contenido renderizado con JavaScript y eliminando el boilerplate. Expone 1 herramienta, como url.
Resumen generado a partir del README del proyecto
Acerca del MCP server de WebCrawlerAPI
La función principal de WebCrawlerAPI es convertir páginas web en Markdown limpio para asistentes de IA. Este MCP server remoto permite a los desarrolladores extraer documentación, artículos y páginas de productos directamente a un chat o a una base de conocimientos. Al usar la herramienta get_markdown, los usuarios pueden obtener cualquier URL pública de hasta 2048 caracteres y recibir el contenido principal sin la distracción de anuncios, menús de navegación o código boilerplate.
Debido a que el servidor se ejecuta en la infraestructura de WebCrawlerAPI, puede procesar con éxito páginas que requieren renderizado de JavaScript. La configuración consiste en conectarse a un transporte streamable HTTP a través de clientes como Claude Desktop, Cursor, VS Code o ChatGPT. En lugar de gestionar claves de API de forma manual, el sistema utiliza autenticación OAuth 2.1. La primera vez que te conectas, se abre una ventana en el navegador para que inicies sesión y apruebes el acceso para tu organización específica, la cual gestiona la facturación de cada solicitud.
Qué puedes hacer con él
- 1Extracción de documentación para contexto de IAUn desarrollador puede instruir a una IA para que obtenga un manual técnico específico y lo convierta en Markdown para mejorar su razonamiento.
- 2Lectura de sitios web con mucho JavaScriptPuedes solicitar contenido de aplicaciones web modernas que requieren la ejecución de scripts para mostrar la información.
- 3Limpieza de contenido web para LLMsUn cliente de IA puede recuperar una página web eliminando automáticamente elementos innecesarios como la publicidad.
Escrito a partir del README del proyecto. Cada caso de uso se verifica con una cita del mismo.
Cómo instalar WebCrawlerAPI MCP
Formatos verificados el 10 nov 2026Añadir a CursorAñadir a GooseInstalar WebCrawlerAPI MCP en Claude Code
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstalar WebCrawlerAPI MCP en Cursor
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Instalar WebCrawlerAPI MCP en VS Code
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Instalar WebCrawlerAPI MCP en VS Code CLI
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'Instalar WebCrawlerAPI MCP en Codex
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpInstalar WebCrawlerAPI MCP en Codex config.toml
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Instalar WebCrawlerAPI MCP en Gemini CLI
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstalar WebCrawlerAPI MCP en Gemini settings.json
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}Herramientas de WebCrawlerAPI MCP 1
Detectado desde el READMEurl
| url | — |
Verificaciones automáticas
Ejecutado 14 nov 2026Informe completo →Aún no verificado. Un servidor necesita una puntuación de 80, ningún hallazgo grave y suficientes datos para que podamos revisarlo. Cómo funcionan las verificaciones · Qué corregir para obtener más puntos
- Repositorio de origen vinculado y accesiblewebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Aprobado
- El paquete indica este repositorio como su origenNo verificado
- Procedencia de la compilación (atestación de Sigstore)No verificado
- Licencia de código abierto (OSI)MITspdx.org/licenses/MIT.html ↗Aprobado
- Commit o lanzamiento en el último añoLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Aprobado
- OpenSSF ScorecardNo verificado
- El nombre del paquete no es similar a un paquete popularNo verificado
- No hay avisos críticos en el paquete ni en sus dependenciasNo verificado
- Sin instrucciones ocultas para el modelo1 tool description and the README read; no override phrases, credential paths or hidden charactersAprobado
- Las herramientas destructivas están etiquetadasNo tool named like delete, drop or execAprobado
- El endpoint remoto responde al handshake de MCPHTTPS endpoint answered 401 (sign-in required)Aprobado
README
Ver en GitHubWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
Preguntas sobre WebCrawlerAPI MCP
¿Cómo agrego WebCrawlerAPI MCP a Claude Code?
Ejecuta claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp en tu terminal. Añade --scope user para que esté disponible en todos los proyectos.
¿Cómo agrego WebCrawlerAPI MCP a Cursor?
Abre ~/.cursor/mcp.json y añade el servidor en mcpServers, usando la configuración de Cursor que se muestra en la sección de instalación de arriba.
¿Qué herramientas proporciona WebCrawlerAPI MCP?
Expone 1 herramienta, incluidas url.
¿Cómo me autentico con WebCrawlerAPI?
El servidor utiliza OAuth 2.1. Cuando realices tu primera solicitud, se abrirá una ventana en el navegador para que inicies sesión y apruebes el acceso para tu organización.
¿Puede el servidor leer páginas que usan JavaScript?
Sí, el servidor se ejecuta en WebCrawlerAPI, lo que garantiza que las páginas renderizadas con JavaScript se procesen correctamente.
¿Qué ocurre si no se puede obtener una página?
La herramienta devolverá un mensaje de error explicando el fallo, como un sitio inaccesible, un bloqueo por robots.txt, un timeout o un saldo vacío.
¿El servidor registra mis datos?
El servidor recibe las URLs solicitadas y devuelve el contenido, pero no registra tokens ni URLs completas que contengan query strings.