WebCrawlerAPI MCP sunucusu
Commit 17 Eki 2026Herhangi bir web sayfasını, JavaScript ile oluşturulan içerikleri işleyip gereksiz kısımları temizleyerek yapay zeka asistanları için temiz Markdown formatına dönüştürür.
Ayrıca bilinen adı WebCrawlerAPI/mcp-server, mcp-server
- Yıldızlar
- 0
- Araçlar
- 1
- İndirmeler, 30 gün
- —
- En son sürüm
- 0.1.3
- Son commit
- 17 Eki 2026
- Lisans
- MIT
WebCrawlerAPI MCP nedir?
WebCrawlerAPI bir MCP sunucusudur. Herhangi bir web sayfasını, JavaScript ile oluşturulan içerikleri işleyip gereksiz kısımları temizleyerek yapay zeka asistanları için temiz Markdown formatına dönüştürür. 1 araç sunar; örneğin url.
Özet, projenin README dosyasından oluşturuldu
WebCrawlerAPI MCP sunucusu hakkında
Web sayfalarını yapay zeka asistanları için temiz Markdown formatına dönüştürmek, WebCrawlerAPI'nin temel işlevidir. Bu uzak MCP server, geliştiricilerin dokümantasyonları, makaleleri ve ürün sayfalarını doğrudan bir sohbete veya bilgi tabanına çekmesine olanak tanır. Kullanıcılar get_markdown aracını kullanarak 2048 karaktere kadar herhangi bir genel URL'yi çekebilir ve reklamlar, navigasyon menüleri veya gereksiz kodlar gibi dikkat dağıtıcı unsurlar olmadan ana içeriği alabilirler.
Sunucu WebCrawlerAPI altyapısı üzerinde çalıştığı için JavaScript render işlemi gerektiren sayfaları başarıyla işleyebilir. Kurulum, Claude Desktop, Cursor, VS Code veya ChatGPT gibi istemciler aracılığıyla bir streamable HTTP transport bağlantısı kurulmasını içerir. Manuel API anahtarları yönetmek yerine sistem OAuth 2.1 kimlik doğrulaması kullanır. İlk bağlantıyı kurduğunuzda, her istek için faturalandırmayı yöneten kuruluşunuz adına oturum açmanıza ve erişimi onaylamanıza olanak tanıyan bir tarayıcı penceresi açılır.
Neler yapabilirsiniz
- 1Yapay zeka bağlamı için dokümantasyon çıkarmaBir geliştirici, bir yapay zekaya belirli bir teknik kılavuzu çekmesini ve daha iyi muhakeme yapabilmesi için Markdown formatına dönüştürmesini söyleyebilir.
- 2Yoğun JavaScript kullanan web sitelerini okumaBilgi görüntülemek için betik yürütülmesi gerektiren modern web uygulamalarından içerik talep edebilirsiniz.
- 3LLM'ler için web içeriğini temizlemeBir yapay zeka istemcisi, bir web sayfasını reklamlar gibi gereksiz öğeleri otomatik olarak temizleyerek alabilir.
Projenin README dosyasından alınmıştır. Her kullanım durumu, oradaki bir alıntı ile kontrol edilir.
WebCrawlerAPI MCP nasıl yüklenir
Biçimler 10 Kas 2026 tarihinde doğrulandıCursor'a ekleGoose'a ekleWebCrawlerAPI MCP'yi Claude Code içine yükleyin
$ claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcpWebCrawlerAPI MCP'yi Cursor içine yükleyin
~/.cursor/mcp.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}WebCrawlerAPI MCP'yi VS Code içine yükleyin
.vscode/mcp.json
{
"servers": {
"mcp-server": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}WebCrawlerAPI MCP'yi VS Code CLI içine yükleyin
$ code --add-mcp '{"name":"mcp-server","type":"http","url":"https://mcp.webcrawlerapi.com/mcp"}'WebCrawlerAPI MCP'yi Codex içine yükleyin
$ codex mcp add mcp-server --url https://mcp.webcrawlerapi.com/mcpWebCrawlerAPI MCP'yi Codex config.toml içine yükleyin
~/.codex/config.toml
[mcp_servers.mcp-server] url = "https://mcp.webcrawlerapi.com/mcp"
WebCrawlerAPI MCP'yi Gemini CLI içine yükleyin
$ gemini mcp add -s user --transport http mcp-server https://mcp.webcrawlerapi.com/mcpWebCrawlerAPI MCP'yi Gemini settings.json içine yükleyin
~/.gemini/settings.json
{
"mcpServers": {
"mcp-server": {
"url": "https://mcp.webcrawlerapi.com/mcp",
"type": "http"
}
}
}WebCrawlerAPI MCP araçları 1
README dosyasından algılandıurl
| url | — |
Otomatik kontroller
Çalıştırıldı 14 Kas 2026Tam rapor →Henüz doğrulanmadı. Bir sunucunun 80 puana, ciddi bir bulgu olmamasına ve kontrol edebilmemiz için yeterli veriye ihtiyacı vardır. Kontroller nasıl çalışır · Daha fazla puan için nelerin düzeltileceği
- Kaynak deposu bağlantılı ve erişilebilirwebcrawlerapi/mcp-server is public and reachablegithub.com/webcrawlerapi/mcp-server ↗Geçti
- Paket, bu depoyu kaynağı olarak gösteriyorKontrol edilmedi
- Derleme kökeni (Sigstore onayı)Kontrol edilmedi
- Açık kaynak lisansı (OSI)MITspdx.org/licenses/MIT.html ↗Geçti
- Son bir yıl içinde commit veya sürüm mevcutLast commit or release 2026-10-31github.com/webcrawlerapi/mcp-server ↗Geçti
- OpenSSF ScorecardKontrol edilmedi
- Paket adı popüler bir pakete yakın değilKontrol edilmedi
- Pakette veya bağımlılıklarında kritik uyarı yokKontrol edilmedi
- Modele yönelik gizli talimat yok1 tool description and the README read; no override phrases, credential paths or hidden charactersGeçti
- Yıkıcı araçlar etiketlenmişNo tool named like delete, drop or execGeçti
- Uzak uç nokta MCP el sıkışmasına yanıt veriyorHTTPS endpoint answered 401 (sign-in required)Geçti
WebCrawlerAPI MCP server
A remote Model Context Protocol server that lets AI assistants read any web page as clean Markdown. It runs on WebCrawlerAPI, so JavaScript-rendered pages work and navigation, ads and boilerplate are stripped. Use it to pull docs, articles and product pages into a knowledge base or into a chat.
- Remote URL:
https://mcp.webcrawlerapi.com/mcp - Transport: Streamable HTTP (stateless)
- Sign-in: OAuth 2.1 through
https://auth.webcrawlerapi.com, no API key to paste - Tool:
get_markdown
You need a WebCrawlerAPI account. Sign up at https://dash.webcrawlerapi.com.
Connect
One-click install: Add to Cursor · Add to VS Code
In every client below, the first request opens a browser window where you sign in and approve access for one of your organizations. Requests are billed to that organization.
Claude Code
claude mcp add --transport http webcrawlerapi https://mcp.webcrawlerapi.com/mcp
Then run /mcp inside Claude Code, pick webcrawlerapi and choose Authenticate.
Claude.ai and Claude Desktop
- Open Settings, then Connectors.
- Choose Add custom connector.
- Name:
WebCrawlerAPI. URL:https://mcp.webcrawlerapi.com/mcp. - Click Connect and approve access in the browser.
Cursor
Add this to ~/.cursor/mcp.json (or .cursor/mcp.json in a project):
{
"mcpServers": {
"webcrawlerapi": {
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Open Cursor Settings, then MCP, and click Connect next to webcrawlerapi.
VS Code
Add this to .vscode/mcp.json (or run "MCP: Add Server" and choose HTTP):
{
"servers": {
"webcrawlerapi": {
"type": "http",
"url": "https://mcp.webcrawlerapi.com/mcp"
}
}
}
Start the server from the CodeLens above the entry and approve access in the browser.
MCP Inspector
npx @modelcontextprotocol/inspector
Pick transport "Streamable HTTP", URL https://mcp.webcrawlerapi.com/mcp, then use the OAuth flow in the Auth tab
and call get_markdown.
ChatGPT
- Open Settings, then Connectors, and turn on Developer mode (Advanced).
- Create a connector with URL
https://mcp.webcrawlerapi.com/mcpand authentication set to OAuth. - Enable the connector in a chat and approve access in the browser.
Menu names change between ChatGPT plans and releases. Custom connectors may not be available on every plan.
Tool reference
get_markdown
Fetch a public web page and return its main content as clean Markdown.
| Input | Type | Required | Description |
|---|---|---|---|
url |
string | yes | Absolute http:// or https:// URL, up to 2048 characters |
Returns the page as Markdown text. On failure the tool returns an error result with a short human-readable message (for example an unreachable site, a page blocked by robots.txt, a timeout, or an empty balance).
Annotations: read-only, idempotent, not destructive, open world (it reaches out to the public web).
Each call is billed to your WebCrawlerAPI organization. See https://webcrawlerapi.com/pricing.
Authentication
The server is an OAuth resource server. Clients discover the authorization server from
https://mcp.webcrawlerapi.com/.well-known/oauth-protected-resource, which points to https://auth.webcrawlerapi.com.
- Scope:
markdown:read(the only scope) - Tokens are bound to the MCP server URL (resource indicator) and to the organization you approve.
- You can review and revoke connected apps in the dashboard under Connected apps.
- The server never forwards your token to other services.
Privacy and terms
- Privacy policy: https://webcrawlerapi.com/privacy
- Terms of service: https://webcrawlerapi.com/tos
The server receives the URLs you ask it to fetch and returns the page content. It does not log tokens or full URLs with query strings.
Pricing
Usage is billed to your organization. Current prices: https://webcrawlerapi.com/pricing
Contributing
See CONTRIBUTING.md and the Code of Conduct. Changes are listed in CHANGELOG.md.
Support
support@webcrawlerapi.com. Security reports: see SECURITY.md.
Development
Requires Node 22 and pnpm.
pnpm install
cp .env.example .env # fill in the values
pnpm dev # tsx watch
pnpm lint && pnpm test && pnpm build
Configuration is via environment variables, see .env.example and CONTRIBUTING.md. Registry publishing
steps are in docs/registry-verification.md.
License
MIT, see LICENSE.
WebCrawlerAPI MCP soruları
WebCrawlerAPI MCP'yi Claude Code'a nasıl eklerim?
Terminalinizde claude mcp add --transport http mcp-server https://mcp.webcrawlerapi.com/mcp komutunu çalıştırın. Her projede kullanılabilir olması için --scope user ekleyin.
WebCrawlerAPI MCP'yi Cursor'a nasıl eklerim?
~/.cursor/mcp.json dosyasını açın ve yukarıdaki yükleme bölümünde gösterilen Cursor yapılandırmasını kullanarak sunucuyu mcpServers altına ekleyin.
WebCrawlerAPI MCP hangi araçları sunar?
1 araç sunar; bunlar arasında url yer alır.
WebCrawlerAPI ile nasıl kimlik doğrulaması yapabilirim?
Sunucu OAuth 2.1 kullanır. İlk isteğinizi yaptığınızda, oturum açmanız ve kuruluşunuz için erişimi onaylamanız için bir tarayıcı penceresi açılacaktır.
Sunucu JavaScript kullanan sayfaları okuyabilir mi?
Evet, sunucu JavaScript ile oluşturulan sayfaların doğru şekilde işlenmesini sağlayan WebCrawlerAPI üzerinde çalışır.
Bir sayfa çekilemezse ne olur?
Araç; ulaşılamayan bir site, robots.txt engellemesi, zaman aşımı veya boş bakiye gibi başarısızlık nedenlerini açıklayan bir hata mesajı döndürür.
Sunucu verilerimi kaydediyor mu?
Sunucu talep edilen URL'leri alır ve içeriği döndürür, ancak token'ları veya sorgu dizeleri içeren tam URL'leri kaydetmez.