MCP server WebCrawlerAPI
Commit 17 de out. de 2026Converte qualquer página web em Markdown limpo para assistentes de IA, processando conteúdo renderizado via JavaScript e removendo elementos desnecessários.
Também conhecido como WebCrawlerAPI/mcp-server, mcp-server
- Stars
- 0
- Ferramentas
- 1
- Downloads, 30 dias
- —
- Versão mais recente
- 0.1.3
- Último commit
- 17 de out. de 2026
- Licença
- MIT
O que é o MCP WebCrawlerAPI?
Converte qualquer página web em Markdown limpo para assistentes de IA, processando conteúdo renderizado via JavaScript e removendo elementos desnecessários. Ele expõe 1 ferramenta, como url.
Resumo gerado a partir do README do projeto
Sobre o MCP server de WebCrawlerAPI
A função principal do WebCrawlerAPI é converter páginas web em Markdown limpo para assistentes de IA. Este MCP server remoto permite que desenvolvedores extraiam documentações, artigos e páginas de produtos diretamente para um chat ou base de conhecimento. Ao usar a ferramenta get_markdown, os usuários podem buscar qualquer URL pública de até 2048 caracteres e receber o conteúdo principal sem a distração de anúncios, menus de navegação ou boilerplate code.
Como o servidor roda na infraestrutura do WebCrawlerAPI, ele consegue processar com sucesso páginas que exigem renderização de JavaScript. A configuração envolve a conexão a um transporte streamable HTTP via clientes como Claude Desktop, Cursor, VS Code ou ChatGPT. Em vez de gerenciar chaves de API manualmente, o sistema utiliza autenticação OAuth 2.1. Quando você se conecta pela primeira vez, uma janela do navegador é aberta para que você faça login e aprove o acesso para sua organização específica, que gerencia o faturamento de cada requisição.
O que você pode fazer com ele
- 1Extração de documentação para contexto de IAUm desenvolvedor pode instruir uma IA a buscar um manual técnico específico e convertê-lo em Markdown para melhorar o raciocínio.
- 2Leitura de sites com muito JavaScriptVocê pode solicitar conteúdo de aplicações web modernas que exigem a execução de scripts para exibir informações.
- 3Limpeza de conteúdo web para LLMsUm cliente de IA pode recuperar uma página web removendo automaticamente elementos desnecessários, como anúncios.
Escrito a partir do README do projeto. Cada caso de uso é verificado com uma citação dele.
Como instalar o MCP WebCrawlerAPI
Formatos verificados em 10 nov 2026Adicionar ao CursorAdicionar ao GooseInstalar o MCP WebCrawlerAPI no Claude Code
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstalar o MCP WebCrawlerAPI no Cursor
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Instalar o MCP WebCrawlerAPI no VS Code
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Instalar o MCP WebCrawlerAPI no VS Code CLI
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'Instalar o MCP WebCrawlerAPI no Codex
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpInstalar o MCP WebCrawlerAPI no Codex config.toml
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Instalar o MCP WebCrawlerAPI no Gemini CLI
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstalar o MCP WebCrawlerAPI no Gemini settings.json
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}Ferramentas do MCP WebCrawlerAPI 1
Detectadas a partir do READMEurl
| url | — |
Verificações automatizadas
Executado em 14 de nov. de 2026Relatório completo →Ainda não verificado. Um servidor precisa de uma pontuação de 80, nenhum problema grave e dados suficientes para verificarmos. Como as verificações funcionam · O que corrigir para ganhar mais pontos
- Repositório de origem vinculado e acessívelwebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Passou
- O pacote indica este repositório como sua origemNão verificado
- Proveniência da build (atestação Sigstore)Não verificado
- Licença de código aberto (OSI)MITspdx.org/licenses/MIT.html ↗Passou
- Commit ou release no último anoLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Passou
- OpenSSF ScorecardNão verificado
- Nome do pacote não é próximo a um pacote popularNão verificado
- Nenhum aviso crítico no pacote ou em suas dependênciasNão verificado
- Sem instruções ocultas para o modelo1 tool description and the README read; no override phrases, credential paths or hidden charactersPassou
- Ferramentas destrutivas estão rotuladasNo tool named like delete, drop or execPassou
- O endpoint remoto responde ao handshake do MCPHTTPS endpoint answered 401 (sign-in required)Passou
README
Ver no GitHubWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
Perguntas sobre o MCP WebCrawlerAPI
Como adiciono o MCP WebCrawlerAPI ao Claude Code?
Execute claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp no seu terminal. Adicione --scope user para torná-lo disponível em todos os projetos.
Como adiciono o MCP WebCrawlerAPI ao Cursor?
Abra ~/.cursor/mcp.json e adicione o servidor em mcpServers, usando a configuração do Cursor mostrada na seção de instalação acima.
Quais ferramentas o MCP WebCrawlerAPI oferece?
Ele expõe 1 ferramenta, incluindo url.
Como faço a autenticação com o WebCrawlerAPI?
O servidor utiliza OAuth 2.1. Ao fazer sua primeira requisição, uma janela do navegador será aberta para você fazer login e aprovar o acesso para sua organização.
O servidor consegue ler páginas que utilizam JavaScript?
Sim, o servidor roda no WebCrawlerAPI, o que garante que páginas renderizadas com JavaScript sejam processadas corretamente.
O que acontece se uma página não puder ser acessada?
A ferramenta retornará uma mensagem de erro explicando a falha, como um site inacessível, bloqueio via robots.txt, timeout ou saldo insuficiente.
O servidor registra meus dados?
O servidor recebe as URLs solicitadas e retorna o conteúdo, mas não registra tokens ou URLs completas que contenham query strings.