agentSearcher MCP sunucusu
Commit 27 Eki 2026Yapay zeka ajanlarının web aramaları yapmasını, içerik çıkarmasını, web sitelerini taramasını ve site yapılarını haritalandırmasını hafif ve kendi kendine barındırılan (self-hosted) bir süreçle sağlar.
Ayrıca bilinen adı peakQuick/agentSearcher
- Yıldızlar
- 3
- Araçlar
- —
- İndirmeler, 30 gün
- —
- En son sürüm
- —
- Son commit
- 27 Eki 2026
- Lisans
- AGPL-3.0
agentSearcher MCP nedir?
Yapay zeka ajanlarının web aramaları yapmasını, içerik çıkarmasını, web sitelerini taramasını ve site yapılarını haritalandırmasını hafif ve kendi kendine barındırılan (self-hosted) bir süreçle sağlar.
Özet, projenin README dosyasından oluşturuldu
agentSearcher MCP sunucusu hakkında
agentSearcher'ın temel işlevi, yapay zeka ajanlarına bulut tabanlı API anahtarlarına bağımlı kalmadan web üzerinde arama yapma, içerik çıkarma ve tarama yeteneği kazandırmaktır. Bu self-hosted çözüm, tek bir Python süreci olarak çalışarak SearXNG veya Firecrawl gibi birden fazla servis içeren karmaşık kurulumlara karşı hafif bir alternatif sunar. Sadece CPU kullanarak yerel makinelerde çalışacak şekilde tasarlanmıştır; hareketsizlik dönemlerinden sonra tarayıcıyı ve sıralama modellerini boşaltarak belleği otomatik olarak yönetir.
Geliştiriciler, bu sunucuyu MCP aracılığıyla stdio veya streamable HTTP bağlantısı üzerinden iş akışlarına entegre edebilirler. Kolay geçiş için Tavily API formatına uygun şekilde yeniden adlandırılabilecek web_search, web_extract, web_crawl ve web_map gibi özel araçlar sunar. Sistem, JavaScript ağırlıklı sayfaları headless Chromium aracılığıyla işler ve PDF dosyalarındaki metin katmanlarını okuyabilir. Çok dilli bir cross-encoder ve BM25 sıralama yöntemi kullanarak, yanıtların küçük bağlam pencerelerine (context windows) sığmasını sağlamak için yalnızca en alakalı içerik parçalarını sunar.
Neler yapabilirsiniz
- 1Hedefli web aramaları gerçekleştirinBir yapay zeka ajanından DuckDuckGo veya Bing gibi birden fazla arama motoru üzerinden belirli bilgileri bulmasını isteyin.
- 2Belirli URL'lerden içerik çıkarınBir ajana, analiz yapmak üzere bir web sayfasından veya bir PDF dokümanından ilgili metni çekmesi talimatını verin.
Projenin README dosyasından alınmıştır. Her kullanım durumu, oradaki bir alıntı ile kontrol edilir.
Yapılandırma
AGENTSEARCHER_API_KEYS
| Ad | Açıklama | Sunucu |
|---|---|---|
| AGENTSEARCHER_API_KEYS | — |
Otomatik kontroller
Çalıştırıldı 14 Kas 2026Tam rapor →Henüz doğrulanmadı. Bir sunucunun 80 puana, ciddi bir bulgu olmamasına ve kontrol edebilmemiz için yeterli veriye ihtiyacı vardır. Kontroller nasıl çalışır · Daha fazla puan için nelerin düzeltileceği
- Kaynak deposu bağlantılı ve erişilebilirpeakquick/agentsearcher is public and reachablegithub.com/peakquick/agentsearcher ↗Geçti
- Paket, bu depoyu kaynağı olarak gösteriyorKontrol edilmedi
- Derleme kökeni (Sigstore onayı)Kontrol edilmedi
- Açık kaynak lisansı (OSI)AGPL-3.0spdx.org/licenses/AGPL-3.0.html ↗Geçti
- Son bir yıl içinde commit veya sürüm mevcutLast commit or release 2026-10-27github.com/peakquick/agentsearcher ↗Geçti
- OpenSSF ScorecardKontrol edilmedi
- Paket adı popüler bir pakete yakın değilKontrol edilmedi
- Pakette veya bağımlılıklarında kritik uyarı yokKontrol edilmedi
- Modele yönelik gizli talimat yok0 tool descriptions and the README read; no override phrases, credential paths or hidden charactersGeçti
- Yıkıcı araçlar etiketlenmişKontrol edilmedi
- Uzak uç nokta MCP el sıkışmasına yanıt veriyorKontrol edilmedi
agentsearcher
Lightweight local web retrieval for AI agents: search, extract, crawl and map in one CPU-only process. No cloud keys.
An agent that works with the web needs to find pages, read them (including JavaScript pages and PDFs) and sometimes walk a whole site. agentsearcher does all of it in one Python process and returns only the passages that matter, sized for a small context window. It is available as an MCP server, an HTTP API (Tavily-compatible) and a CLI, with a dashboard in the browser.
Contents
Why
Self-hosted web retrieval usually means assembling several services: a metasearch engine such as SearXNG for search, a crawler such as Crawl4AI for page content, or a self-hosted Firecrawl, which runs as an API plus a browser service, Redis, RabbitMQ and Postgres. agentsearcher is one process instead:
- Light. ~75 MB idle; ~380 MB while ranking with the model; Chromium only starts for pages that need it. The model and the browser are unloaded after 2 minutes idle. Measured on a laptop i7-7500U with 7.5 GB RAM, no GPU (details).
- Search and reading together. One query fetches, renders, cleans and ranks the result pages, so the agent gets relevant passages instead of snippets or whole pages.
- Made for agents. Responses fit a small context window; reprints and near-duplicates are dropped; results the search engines agree on rank higher than SEO pages one engine pushes up.
- Easy to run.
pipx installordocker compose up. Nothing to configure to get started.
Features
- MCP server (stdio, or streamable HTTP at
/mcpon the API port) with the toolsweb_search,web_extract,web_crawlandweb_map. An env flag renames them totavily_*. - JavaScript pages: when a plain fetch isn't enough, the page is rendered in headless Chromium.
- PDF: the text layer is read. No OCR.
sitemap.xml,robots.txtandllms.txtare used by map/crawl, and.mdversions of pages by extract/crawl. Sites without these files work too.- Reprints and near-duplicate chunks are dropped (
dedup), and results can be capped per domain (max_per_domain). - SSRF protection: localhost and private networks are blocked by default.
- Response size is capped to fit a small context window. The model and the browser are unloaded after a period of inactivity.
- Pages and search results are cached for 15 minutes; optional block/lower/raise rules per domain.
- Dashboard at
/: request and page counters, CPU and memory (with the browser), recent requests, and a playground for search, extract, crawl and map. - Drop-in for Tavily clients:
/search,/extract,/crawl,/map,/usagerespond in the Tavily API format, so existing clients only change the base URL. Covered by tests with the officialtavily-pythonclient.
How it works
query ─► search engines (ddgs: duckduckgo, yahoo, yandex, brave, mojeek, bing; optional SearXNG)
─► fetch pages with curl_cffi (Chrome TLS fingerprint)
└─ empty page / SPA / anti-bot / text doesn't match snippet ─► patchright Chromium
─► trafilatura → markdown (PDF → text layer) ─► ~600-char chunks
─► BM25 ─► multilingual cross-encoder (ONNX int8, CPU)
─► dedup ─► only the best chunks of each page go into the response
Details: docs/how-it-works.md.
Installation
Docker (Chromium and the model are inside the image):
git clone https://github.com/peakQuick/agentSearcher.git && cd agentSearcher
docker compose up -d --build # API and MCP at http://127.0.0.1:8484, MCP at /mcp
Settings go under environment: in compose.yaml. On macOS and Windows, Docker Desktop runs a VM, which costs extra RAM; there, the pipx install below is lighter.
pipx (no venv to manage; pipx is in most package managers: apt install pipx, brew install pipx, pacman -S python-pipx):
pipx install git+https://github.com/peakQuick/agentSearcher
agentsearcher setup # one time: Chromium (~/.cache/ms-playwright) and the ~120 MB reranker (~/.cache/huggingface)
agentsearcher serve
Update with pipx upgrade agentsearcher. On a bare Linux server, agentsearcher setup --with-deps also installs Chromium's system libraries (needs root).
From source (development):
git clone https://github.com/peakQuick/agentSearcher.git && cd agentSearcher
python3 -m venv .venv
.venv/bin/pip install -e '.[dev]'
.venv/bin/agentsearcher setup
Below, agentsearcher means the installed command (.venv/bin/agentsearcher for a source install).
Quick start
CLI
agentsearcher search "what's new in python 3.14"
agentsearcher extract https://react.dev/learn -q "useState"
agentsearcher map https://docs.python.org/3/
HTTP API
agentsearcher serve # dashboard: open http://127.0.0.1:8484/
curl -s localhost:8484/search -H 'Content-Type: application/json' \
-d '{"query": "python asyncio tutorial", "max_results": 3}'
With tavily-python:
from tavily import TavilyClient
client = TavilyClient(api_key="local", api_base_url="http://127.0.0.1:8484")
print(client.search("python asyncio tutorial", max_results=3)["results"][0]["url"])
MCP
With serve or Docker running, HTTP clients and web UIs connect to http://127.0.0.1:8484/mcp:
claude mcp add --transport http agentsearcher http://127.0.0.1:8484/mcp
Or let the client start its own server over stdio:
claude mcp add agentsearcher -- agentsearcher mcp
Other clients: docs/mcp.md.
Configuration
The defaults work as is. Settings are environment variables with the AGENTSEARCHER_ prefix:
AGENTSEARCHER_API_KEYS=change-me agentsearcher serve # pipx / source
With Docker, put them under environment: in compose.yaml; for MCP over stdio, in the client's env block. GET /stats shows the values in effect (secrets hidden).
The ones people usually change: API_KEYS (before opening the server to a network), PROXY_URL (search engines block your IP), LLM_BASE_URL (answers with include_answer), MAX_REQUESTS / MAX_RENDERS (a machine with little RAM). All variables and ready-made recipes: docs/configuration.md.
Search depth
| mode | what it does | warm latency* |
|---|---|---|
ultra-fast |
search engine snippets only, no pages fetched | ~1 s |
fast |
pages without the browser, BM25 ranking | 3–4 s |
basic |
+ browser for JS and anti-bot pages, + cross-encoder | 6–9 s |
advanced |
+ more candidates, favor_recall, stricter about "empty" pages |
7–10 s |
* i7-7500U, 5 results. The first request takes longer: ~1.5 s to load the model and ~1 s to start the browser.
Documentation
| doc | what's inside |
|---|---|
| CLI | commands, flags and how to read the log |
| HTTP API | endpoints, parameters, responses and errors |
| MCP | tools and client setup |
| Configuration | environment variables |
| How it works | pipeline, browser, ranking, crawling, PDF, dedup, memory |
| Security | SSRF protection |
| Limitations | known limitations and possible problems |
Development
.venv/bin/ruff check .
.venv/bin/python -m pytest -m "not live" # offline: local fixture sites (SPA, challenge, PDF, sitemap...), tavily-python contract
.venv/bin/python -m pytest -m live # needs internet: tavily-python search at every search_depth
License
Copyright (C) 2026 peakQuick
GNU Affero General Public License v3.0. If you modify this project and let others use it over a network, you must make the source code of your modified version available to those users.
agentSearcher MCP soruları
agentSearcher web aramaları için API anahtarı gerektiriyor mu?
Hayır, bulut tabanlı anahtarlara ihtiyaç duymadan çalışacak şekilde tasarlanmıştır; DuckDuckGo, Yahoo ve Bing gibi arama motorlarını kullanır.
JavaScript ağırlıklı web sitelerini ve PDF dosyalarını işleyebilir mi?
Evet, JavaScript sayfalarını işlemek için headless Chromium kullanır ve PDF dosyalarının metin katmanlarını okuyabilir.
Ne kadar bellek kullanıyor?
Oldukça hafiftir; boşta dururken yaklaşık 75 MB, model ile sıralama yaparken ise yaklaşık 380 MB bellek kullanır.