WebCrawlerAPI MCP server
Commit 17 Okt 2026Mengonversi halaman web apa pun menjadi Markdown yang bersih untuk asisten AI, menangani konten yang dirender dengan JavaScript, dan menghapus boilerplate.
Juga dikenal sebagai WebCrawlerAPI/mcp-server, mcp-server
- Stars
- 0
- Tools
- 1
- Unduhan, 30 hari
- —
- Versi terbaru
- 0.1.3
- Commit terakhir
- 17 Okt 2026
- Lisensi
- MIT
Apa itu WebCrawlerAPI MCP?
WebCrawlerAPI adalah MCP server. Mengonversi halaman web apa pun menjadi Markdown yang bersih untuk asisten AI, menangani konten yang dirender dengan JavaScript, dan menghapus boilerplate. Server ini menyediakan 1 tool, seperti url.
Ringkasan dibuat dari README proyek
Tentang WebCrawlerAPI MCP server
Mengonversi halaman web menjadi Markdown yang bersih untuk asisten AI adalah fungsi utama dari WebCrawlerAPI. MCP server remote ini memungkinkan developer untuk menarik dokumentasi, artikel, dan halaman produk secara langsung ke dalam chat atau knowledge base. Dengan menggunakan tool get_markdown, Anda dapat mengambil URL publik apa pun hingga 2048 karakter dan menerima konten utama tanpa gangguan iklan, menu navigasi, atau boilerplate code.
Karena server berjalan di infrastruktur WebCrawlerAPI, ia dapat memproses halaman yang memerlukan rendering JavaScript dengan sukses. Setup melibatkan koneksi ke transport streamable HTTP melalui client seperti Claude Desktop, Cursor, VS Code, atau ChatGPT. Alih-alih mengelola API key secara manual, sistem ini menggunakan autentikasi OAuth 2.1. Saat pertama kali terhubung, jendela browser akan terbuka untuk memungkinkan Anda login dan menyetujui akses bagi organisasi spesifik Anda, yang akan menangani penagihan untuk setiap permintaan.
Apa yang bisa Anda lakukan dengannya
- 1Ekstraksi dokumentasi untuk konteks AISeorang developer dapat menginstruksikan AI untuk mengambil manual teknis tertentu dan mengonversinya ke dalam Markdown agar reasoning menjadi lebih baik.
- 2Membaca situs web yang berat dengan JavaScriptAnda dapat meminta konten dari aplikasi web modern yang memerlukan eksekusi script untuk menampilkan informasi.
- 3Membersihkan konten web untuk LLMClient AI dapat mengambil halaman web sambil secara otomatis menghapus elemen yang tidak perlu seperti iklan.
Ditulis berdasarkan README proyek. Setiap use case diperiksa terhadap kutipan dari README tersebut.
Cara menginstal WebCrawlerAPI MCP
Format diverifikasi 10 Nov 2026Tambahkan ke CursorTambahkan ke GooseInstal WebCrawlerAPI MCP di Claude Code
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstal WebCrawlerAPI MCP di Cursor
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Instal WebCrawlerAPI MCP di VS Code
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}Instal WebCrawlerAPI MCP di VS Code CLI
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'Instal WebCrawlerAPI MCP di Codex
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpInstal WebCrawlerAPI MCP di Codex config.toml
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
Instal WebCrawlerAPI MCP di Gemini CLI
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpInstal WebCrawlerAPI MCP di Gemini settings.json
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}Tool WebCrawlerAPI MCP 1
Terdeteksi dari READMEurl
| url | — |
Pengecekan otomatis
Berjalan 14 Nov 2026Laporan lengkap →Belum diverifikasi. Sebuah server memerlukan skor 80, tidak ada temuan serius, dan data yang cukup untuk kami periksa. Cara kerja checks · Yang perlu diperbaiki untuk menambah poin
- Source repository terhubung dan dapat dijangkauwebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Lolos
- Nama paket mencantumkan repositori ini sebagai sumbernyaTidak diperiksa
- Provenance build (atestasi Sigstore)Tidak diperiksa
- Lisensi open source (OSI)MITspdx.org/licenses/MIT.html ↗Lolos
- Ada commit atau release dalam satu tahun terakhirLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Lolos
- OpenSSF ScorecardTidak diperiksa
- Nama package tidak mirip dengan package populerTidak diperiksa
- Tidak ada advisory kritis pada paket atau dependensinyaTidak diperiksa
- Tidak ada instruksi tersembunyi untuk model1 tool description and the README read; no override phrases, credential paths or hidden charactersLolos
- Tools yang bersifat destruktif telah diberi labelNo tool named like delete, drop or execLolos
- Endpoint remote merespons handshake MCPHTTPS endpoint answered 401 (sign-in required)Lolos
README
Lihat di GitHubWebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
Pertanyaan tentang WebCrawlerAPI MCP
Bagaimana cara menambahkan WebCrawlerAPI MCP ke Claude Code?
Jalankan claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp di terminal Anda. Tambahkan --scope user agar tersedia di semua proyek.
Bagaimana cara menambahkan WebCrawlerAPI MCP ke Cursor?
Buka ~/.cursor/mcp.json dan tambahkan server di bawah mcpServers, menggunakan config Cursor yang ditunjukkan di bagian instalasi di atas.
Tool apa yang disediakan WebCrawlerAPI MCP?
Server ini menyediakan 1 tool, termasuk url.
Bagaimana cara melakukan autentikasi dengan WebCrawlerAPI?
Server ini menggunakan OAuth 2.1. Saat Anda melakukan permintaan pertama, jendela browser akan terbuka agar Anda dapat login dan menyetujui akses untuk organisasi Anda.
Apakah server dapat membaca halaman yang menggunakan JavaScript?
Ya, server ini berjalan di atas WebCrawlerAPI, yang memastikan halaman yang dirender dengan JavaScript diproses dengan benar.
Apa yang terjadi jika halaman tidak dapat diambil?
Tool ini akan mengembalikan pesan error yang menjelaskan kegagalan tersebut, seperti situs yang tidak dapat dijangkau, blokir robots.txt, timeout, atau saldo kosong.
Apakah server mencatat data saya?
Server menerima URL yang diminta dan mengembalikan konten, tetapi tidak mencatat token atau URL lengkap yang mengandung query strings.