WebCrawlerAPI MCPサーバー
コミット 2026年10月17日あらゆるウェブページをAIアシスタント向けのクリーンなMarkdownに変換します。JavaScriptでレンダリングされるコンテンツにも対応し、不要な要素を削除します。
別名 WebCrawlerAPI/mcp-server, mcp-server
- スター
- 0
- ツール
- 1
- ダウンロード数(30日間)
- —
- 最新バージョン
- 0.1.3
- 最終コミット
- 2026年10月17日
- ライセンス
- MIT
WebCrawlerAPI MCPとは
WebCrawlerAPIはMCPサーバーです。 あらゆるウェブページをAIアシスタント向けのクリーンなMarkdownに変換します。JavaScriptでレンダリングされるコンテンツにも対応し、不要な要素を削除します。. 1個のツールを提供しており、urlなどがあります。
プロジェクトのREADMEから生成された概要
WebCrawlerAPI MCP server について
WebCrawlerAPIの主な機能は、ウェブページをAIアシスタントが利用しやすいクリーンなMarkdownに変換することです。このリモートMCP serverを使用すると、開発者はドキュメント、記事、製品ページなどをチャットやナレッジベースに直接取り込むことができます。get_markdownツールを使用することで、最大2048文字までの公開URLを取得し、広告、ナビゲーションメニュー、ボイラープレートコードなどの不要な情報を除いたメインコンテンツのみを受け取ることができます。
このサーバーはWebCrawlerAPIのインフラストラクチャ上で動作しているため、JavaScriptのレンダリングが必要なページも正常に処理できます。セットアップには、Claude Desktop、Cursor、VS Code、またはChatGPTなどのクライアントを介して、streamable HTTPトランスポートに接続します。手動でAPIキーを管理する代わりに、システムはOAuth 2.1認証を使用します。最初に接続する際、ブラウザウィンドウが開いてサインインを行い、各リクエストの課金を行う特定の組織へのアクセスを承認します。
できること
- 1AIコンテキスト用のドキュメント抽出開発者はAIに対し、特定の技術マニュアルを取得してMarkdownに変換し、推論の精度を高めるよう指示できます。
- 2JavaScriptを多用するウェブサイトの読み取り情報の表示にスクリプトの実行を必要とするモダンなウェブアプリケーションから、コンテンツをリクエストできます。
- 3LLM向けウェブコンテンツのクリーニングAIクライアントは、広告などの不要な要素を自動的に取り除きながらウェブページを取得できます。
プロジェクトの README から作成されています。すべてのユースケースは、その引用と照らし合わせて確認されています。
WebCrawlerAPI MCPのインストール方法
フォーマット検証日 2026年11月10日Cursor に追加Gooseに追加Claude CodeにWebCrawlerAPI MCPをインストール
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpCursorにWebCrawlerAPI MCPをインストール
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}VS CodeにWebCrawlerAPI MCPをインストール
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}VS Code CLIにWebCrawlerAPI MCPをインストール
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'CodexにWebCrawlerAPI MCPをインストール
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpCodex config.tomlにWebCrawlerAPI MCPをインストール
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Gemini CLIにWebCrawlerAPI MCPをインストール
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpGemini settings.jsonにWebCrawlerAPI MCPをインストール
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}WebCrawlerAPI MCPツール 1
READMEから検出url
| url | — |
自動チェック
実行日 2026年11月14日完全なレポート →まだ検証されていません。サーバーには80点のスコア、重大な問題がないこと、および検証に必要な十分なデータが必要です。 チェックの仕組み · 点数を上げるための改善点
- ソースリポジトリがリンクされており、アクセス可能webcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗合格
- パッケージがこのリポジトリをソースとして指定未チェック
- ビルドの来歴 (Sigstore 証明)未チェック
- オープンソースライセンス (OSI)MITspdx.org/licenses/MIT.html ↗合格
- 過去1年以内にコミットまたはリリースありLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗合格
- OpenSSF Scorecard未チェック
- パッケージ名が有名なパッケージに酷似していない未チェック
- パッケージおよびその依存関係に重大な勧告なし未チェック
- モデルへの隠れた指示がない1 tool description and the README read; no override phrases, credential paths or hidden characters合格
- 破壊的なツールがラベル付けされているNo tool named like delete, drop or exec合格
- リモートエンドポイントが MCP ハンドシェイクに応答HTTPS endpoint answered 401 (sign-in required)合格
README
GitHubで見るWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
WebCrawlerAPI MCPのよくある質問
WebCrawlerAPI MCPをClaude Codeに追加するには
ターミナルでclaude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpを実行します。すべてのプロジェクトで利用するには--scope userを追加します。
WebCrawlerAPI MCPをCursorに追加するには
~/.cursor/mcp.jsonを開き、上記のインストールセクションに示すCursor設定を使ってmcpServersの下にサーバーを追加します。
WebCrawlerAPI MCPが提供するツールは
1個のツールを提供しており、urlなどがあります。
WebCrawlerAPIでの認証方法を教えてください。
このサーバーはOAuth 2.1を使用しています。初回リクエスト時にブラウザウィンドウが開き、サインインと組織へのアクセス許可を行うことができます。
JavaScriptを使用しているページも読み取れますか?
はい。このサーバーはWebCrawlerAPI上で動作しているため、JavaScriptでレンダリングされるページも正しく処理されます。
ページを取得できない場合はどうなりますか?
サイトに到達できない、robots.txtによるブロック、タイムアウト、または残高不足など、失敗の理由を説明するエラーメッセージが返されます。
サーバーはデータをログに記録しますか?
サーバーはリクエストされたURLを受け取りコンテンツを返しますが、トークンやクエリ文字列を含む完全なURLをログに記録することはありません。