MCP server WebCrawlerAPI
Коммит 17 окт. 2026 г.Преобразует любую веб-страницу в чистый Markdown для ИИ-ассистентов, обрабатывая контент, отрисованный с помощью JavaScript, и удаляя лишние элементы интерфейса.
Также известен как WebCrawlerAPI/mcp-server, mcp-server
- Звёзды
- 0
- Инструменты
- 1
- Загрузки, 30 дней
- —
- Последняя версия
- 0.1.3
- Последний коммит
- 17 окт. 2026 г.
- Лицензия
- MIT
Что такое WebCrawlerAPI MCP?
WebCrawlerAPI — это MCP server. Преобразует любую веб-страницу в чистый Markdown для ИИ-ассистентов, обрабатывая контент, отрисованный с помощью JavaScript, и удаляя лишние элементы интерфейса. Он предоставляет 1 инструмент, например url.
Сводка сгенерирована из README проекта
О WebCrawlerAPI MCP server
Основная функция WebCrawlerAPI — преобразование веб-страниц в чистый Markdown для ИИ-ассистентов. Этот удаленный MCP server позволяет разработчикам извлекать документацию, статьи и страницы продуктов напрямую в чат или базу знаний. С помощью инструмента get_markdown пользователи могут загружать любой публичный URL длиной до 2048 символов и получать основной контент без рекламы, навигационных меню и лишнего программного кода.
Благодаря тому, что сервер работает на инфраструктуре WebCrawlerAPI, он может успешно обрабатывать страницы, требующие рендеринга JavaScript. Настройка включает подключение через streamable HTTP транспорт с помощью таких клиентов, как Claude Desktop, Cursor, VS Code или ChatGPT. Вместо ручного управления API ключами система использует аутентификацию OAuth 2.1. При первом подключении откроется окно браузера, чтобы вы могли войти в систему и одобрить доступ для вашей организации, которая отвечает за оплату каждого запроса.
Что вы можете с ним делать
- 1Извлечение документации для контекста ИИРазработчик может дать команду ИИ загрузить конкретное техническое руководство и преобразовать его в Markdown для более качественного анализа.
- 2Чтение сайтов с интенсивным использованием JavaScriptВы можете запрашивать контент современных веб-приложений, которым требуется выполнение скриптов для отображения информации.
- 3Очистка веб-контента для LLMИИ-клиент может извлекать веб-страницу, автоматически удаляя ненужные элементы, такие как реклама.
Взято из README проекта. Каждый вариант использования проверен на соответствие цитате из него.
Как установить WebCrawlerAPI MCP
Форматы проверены 10 ноя 2026Добавить в CursorДобавить в GooseУстановка WebCrawlerAPI MCP в Claude Code
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpУстановка WebCrawlerAPI MCP в Cursor
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Установка WebCrawlerAPI MCP в VS Code
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Установка WebCrawlerAPI MCP в VS Code CLI
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'Установка WebCrawlerAPI MCP в Codex
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpУстановка WebCrawlerAPI MCP в Codex config.toml
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Установка WebCrawlerAPI MCP в Gemini CLI
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpУстановка WebCrawlerAPI MCP в Gemini settings.json
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}Инструменты WebCrawlerAPI MCP 1
Определено из READMEurl
| url | — |
Автоматические проверки
Запущено 14 нояб. 2026 г.Полный отчёт →Еще не проверено. Для сервера требуется оценка 80, отсутствие серьезных проблем и достаточно данных для нашей проверки. Как работают проверки · Что исправить, чтобы получить больше баллов
- Связанный и доступный исходный репозиторийwebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Пройдено
- Пакет указывает этот репозиторий как источникНе проверялось
- Происхождение сборки (аттестация Sigstore)Не проверялось
- Open source лицензия (OSI)MITspdx.org/licenses/MIT.html ↗Пройдено
- Коммит или релиз за последний годLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Пройдено
- OpenSSF ScorecardНе проверялось
- Имя пакета не похоже на популярный пакетНе проверялось
- Нет критических предупреждений в пакете или его зависимостяхНе проверялось
- Нет скрытых инструкций для модели1 tool description and the README read; no override phrases, credential paths or hidden charactersПройдено
- Деструктивные инструменты помеченыNo tool named like delete, drop or execПройдено
- Удалённая конечная точка отвечает на рукопожатие MCPHTTPS endpoint answered 401 (sign-in required)Пройдено
README
Открыть на GitHubWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
Вопросы о WebCrawlerAPI MCP
Как добавить WebCrawlerAPI MCP в Claude Code?
Выполните claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp в терминале. Добавьте --scope user, чтобы сервер был доступен во всех проектах.
Как добавить WebCrawlerAPI MCP в Cursor?
Откройте ~/.cursor/mcp.json и добавьте сервер в mcpServers, используя конфигурацию Cursor из раздела установки выше.
Какие инструменты предоставляет WebCrawlerAPI MCP?
Он предоставляет 1 инструмент, включая url.
Как пройти аутентификацию в WebCrawlerAPI?
Сервер использует OAuth 2.1. При первом запросе откроется окно браузера, где вам нужно будет войти в систему и подтвердить доступ для вашей организации.
Может ли сервер читать страницы, использующие JavaScript?
Да, сервер работает на базе WebCrawlerAPI, что гарантирует корректную обработку страниц с JavaScript-рендерингом.
Что произойдет, если страницу не удастся загрузить?
Инструмент вернет сообщение об ошибке с объяснением причины, например: недоступный сайт, блокировка через robots.txt, таймаут или пустой баланс.
Логирует ли сервер мои данные?
Сервер получает запрашиваемые URL и возвращает контент, но он не логирует токены или полные URL-адреса, содержащие строки запроса.