WebCrawlerAPI MCP server
2026년 10월 17일 커밋모든 웹 페이지를 AI 어시스턴트용 클린 Markdown으로 변환하며, JavaScript로 렌더링된 콘텐츠를 처리하고 불필요한 요소를 제거합니다.
다른 이름 WebCrawlerAPI/mcp-server, mcp-server
- 스타
- 0
- Tools
- 1
- 다운로드, 30일
- —
- 최신 버전
- 0.1.3
- 마지막 커밋
- 2026년 10월 17일
- 라이선스
- MIT
WebCrawlerAPI MCP란?
WebCrawlerAPI은(는) MCP server입니다. 모든 웹 페이지를 AI 어시스턴트용 클린 Markdown으로 변환하며, JavaScript로 렌더링된 콘텐츠를 처리하고 불필요한 요소를 제거합니다. 1개 도구를 제공합니다. 예: url.
프로젝트 README에서 생성된 요약
WebCrawlerAPI MCP server 정보
WebCrawlerAPI의 주요 기능은 웹 페이지를 AI 어시스턴트용 클린 Markdown으로 변환하는 것입니다. 이 원격 MCP server를 사용하면 개발자가 문서, 기사, 제품 페이지를 채팅창이나 지식 베이스로 직접 가져올 수 있습니다. get_markdown 도구를 사용하면 최대 2048자 길이의 모든 공개 URL을 가져올 수 있으며, 광고, 탐색 메뉴 또는 불필요한 코드 없이 본문 내용만 받을 수 있습니다.
서버가 WebCrawlerAPI 인프라에서 실행되므로 JavaScript 렌더링이 필요한 페이지도 성공적으로 처리할 수 있습니다. 설정 시 Claude Desktop, Cursor, VS Code 또는 ChatGPT와 같은 클라이언트에서 streamable HTTP 트랜스포트를 통해 연결합니다. 수동으로 API 키를 관리하는 대신 OAuth 2.1 인증을 사용합니다. 처음 연결할 때 브라우저 창이 열리면 로그인하여 각 요청의 비용을 처리하는 특정 조직의 액세스 권한을 승인하면 됩니다.
활용 사례
- 1AI 컨텍스트를 위한 문서 추출개발자가 AI에게 특정 기술 매뉴얼을 가져와 더 나은 추론을 위해 Markdown으로 변환하도록 지시할 수 있습니다.
- 2JavaScript 비중이 높은 웹사이트 읽기정보 표시를 위해 스크립트 실행이 필요한 현대적인 웹 애플리케이션의 콘텐츠를 요청할 수 있습니다.
- 3LLM을 위한 웹 콘텐츠 정제AI 클라이언트가 웹 페이지를 가져오면서 광고와 같은 불필요한 요소를 자동으로 제거할 수 있습니다.
프로젝트의 README를 바탕으로 작성되었습니다. 모든 활용 사례는 해당 내용의 인용문과 대조하여 확인합니다.
WebCrawlerAPI MCP 설치 방법
형식 확인: 2026년 11월 10일Cursor에 추가Goose에 추가Claude Code에 WebCrawlerAPI MCP 설치
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpCursor에 WebCrawlerAPI MCP 설치
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}VS Code에 WebCrawlerAPI MCP 설치
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}VS Code CLI에 WebCrawlerAPI MCP 설치
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'Codex에 WebCrawlerAPI MCP 설치
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpCodex config.toml에 WebCrawlerAPI MCP 설치
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Gemini CLI에 WebCrawlerAPI MCP 설치
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpGemini settings.json에 WebCrawlerAPI MCP 설치
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}WebCrawlerAPI MCP 도구 1
README에서 감지됨url
| url | — |
자동 검사
2026년 11월 14일에 실행됨전체 보고서 →아직 인증되지 않았습니다. 서버는 80점 이상의 점수, 심각한 결함 없음, 그리고 검사에 충분한 데이터를 갖추어야 합니다. 검사 방식 · 점수를 높이기 위해 수정할 항목
- 소스 저장소 연결 및 접근 가능webcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗통과
- 패키지가 이 저장소를 소스로 명시검사되지 않음
- 빌드 출처(Sigstore 증명)검사되지 않음
- 오픈 소스 라이선스 (OSI)MITspdx.org/licenses/MIT.html ↗통과
- 최근 1년 내 커밋 또는 릴리스Last commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗통과
- OpenSSF Scorecard검사되지 않음
- 패키지 이름이 인기 패키지와 유사하지 않음검사되지 않음
- 패키지 및 해당 종속성에 중요한 보안 권고 없음검사되지 않음
- 모델에 대한 숨겨진 지침 없음1 tool description and the README read; no override phrases, credential paths or hidden characters통과
- 파괴적인 도구에 라벨 표시됨No tool named like delete, drop or exec통과
- 원격 엔드포인트가 MCP 핸드셰이크에 응답HTTPS endpoint answered 401 (sign-in required)통과
README
GitHub에서 보기WebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
WebCrawlerAPI MCP 질문
WebCrawlerAPI MCP를 Claude Code에 추가하려면 어떻게 하나요?
터미널에서 claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp를 실행합니다. 모든 프로젝트에서 사용할 수 있게 하려면 --scope user를 추가합니다.
WebCrawlerAPI MCP를 Cursor에 추가하려면 어떻게 하나요?
~/.cursor/mcp.json를 열고 mcpServers 아래에 서버를 추가합니다. 위 설치 섹션에 표시된 Cursor 구성을 사용합니다.
WebCrawlerAPI MCP는 어떤 도구를 제공하나요?
1개 도구를 제공합니다. 예: url.
WebCrawlerAPI 인증은 어떻게 하나요?
이 서버는 OAuth 2.1을 사용합니다. 첫 요청 시 브라우저 창이 열리며, 여기서 로그인하여 조직의 액세스 권한을 승인할 수 있습니다.
JavaScript를 사용하는 페이지도 읽을 수 있나요?
네, WebCrawlerAPI 기반으로 작동하므로 JavaScript로 렌더링되는 페이지도 정확하게 처리할 수 있습니다.
페이지를 가져올 수 없는 경우 어떻게 되나요?
사이트 접속 불가, robots.txt 차단, 타임아웃 또는 잔액 부족 등 실패 원인을 설명하는 에러 메시지를 반환합니다.
서버가 제 데이터를 로그로 남기나요?
서버는 요청된 URL을 수신하고 콘텐츠를 반환하지만, 토큰이나 쿼리 스트링이 포함된 전체 URL을 로그로 남기지는 않습니다.