MCP server de agentSearcher
Commit 27 oct 2026Permite que los agentes de IA realicen búsquedas web, extraigan contenido, rastreen sitios web y mapeen estructuras de sitios mediante un proceso ligero y auto-hospedado.
También conocido como peakQuick/agentSearcher
- Stars
- 3
- Herramientas
- —
- Descargas, 30 días
- —
- Última versión
- —
- Último commit
- 27 oct 2026
- Licencia
- AGPL-3.0
¿Qué es agentSearcher MCP?
Permite que los agentes de IA realicen búsquedas web, extraigan contenido, rastreen sitios web y mapeen estructuras de sitios mediante un proceso ligero y auto-hospedado.
Resumen generado a partir del README del proyecto
Acerca del MCP server de agentSearcher
La función principal de agentSearcher es dotar a los agentes de IA de la capacidad de buscar, extraer y rastrear la web sin depender de claves de API basadas en la nube. Esta solución auto-hospedada se ejecuta como un único proceso de Python, lo que la convierte en una alternativa ligera frente a configuraciones complejas que involucran múltiples servicios como SearXNG o Firecrawl. Está diseñada para funcionar en máquinas locales utilizando únicamente la CPU, gestionando la memoria de forma automática al descargar el navegador y los modelos de ranking tras periodos de inactividad.
Los desarrolladores pueden integrar este MCP server en sus flujos de trabajo mediante MCP usando stdio o una conexión streamable HTTP. Ofrece herramientas específicas como web_search, web_extract, web_crawl y web_map, que pueden renombrarse para coincidir con el formato de la API de Tavily y facilitar la migración. El sistema gestiona páginas con mucho JavaScript a través de Chromium en modo headless y puede leer capas de texto de archivos PDF. Al utilizar un cross-encoder multilingüe y ranking BM25, entrega únicamente los fragmentos de contenido más relevantes para asegurar que las respuestas quepan dentro de ventanas de contexto pequeñas.
Qué puedes hacer con él
- 1Realizar búsquedas web dirigidasPide a un agente de IA que encuentre información específica a través de múltiples motores de búsqueda como DuckDuckGo o Bing.
- 2Extraer contenido de URLs específicasInstruye a un agente para que extraiga texto relevante de una página web o de un documento PDF para su análisis.
Escrito a partir del README del proyecto. Cada caso de uso se verifica con una cita del mismo.
Configuración
AGENTSEARCHER_API_KEYS
| Nombre | Descripción | Tipo |
|---|---|---|
| AGENTSEARCHER_API_KEYS | — |
Verificaciones automáticas
Ejecutado 14 nov 2026Informe completo →Aún no verificado. Un servidor necesita una puntuación de 80, ningún hallazgo grave y suficientes datos para que podamos revisarlo. Cómo funcionan las verificaciones · Qué corregir para obtener más puntos
- Repositorio de origen vinculado y accesiblepeakquick/agentsearcher is public and reachablegithub.com/peakquick/agentsearcher ↗Aprobado
- El paquete indica este repositorio como su origenNo verificado
- Procedencia de la compilación (atestación de Sigstore)No verificado
- Licencia de código abierto (OSI)AGPL-3.0spdx.org/licenses/AGPL-3.0.html ↗Aprobado
- Commit o lanzamiento en el último añoLast commit or release 2026-10-27github.com/peakquick/agentsearcher ↗Aprobado
- OpenSSF ScorecardNo verificado
- El nombre del paquete no es similar a un paquete popularNo verificado
- No hay avisos críticos en el paquete ni en sus dependenciasNo verificado
- Sin instrucciones ocultas para el modelo0 tool descriptions and the README read; no override phrases, credential paths or hidden charactersAprobado
- Las herramientas destructivas están etiquetadasNo verificado
- El endpoint remoto responde al handshake de MCPNo verificado
README
Ver en GitHubagentsearcher
Lightweight local web retrieval for AI agents: search, extract, crawl and map in one CPU-only process. No cloud keys.
An agent that works with the web needs to find pages, read them (including JavaScript pages and PDFs) and sometimes walk a whole site. agentsearcher does all of it in one Python process and returns only the passages that matter, sized for a small context window. It is available as an MCP server, an HTTP API (Tavily-compatible) and a CLI, with a dashboard in the browser.
Contents
Why
Self-hosted web retrieval usually means assembling several services: a metasearch engine such as SearXNG for search, a crawler such as Crawl4AI for page content, or a self-hosted Firecrawl, which runs as an API plus a browser service, Redis, RabbitMQ and Postgres. agentsearcher is one process instead:
- Light. ~75 MB idle; ~380 MB while ranking with the model; Chromium only starts for pages that need it. The model and the browser are unloaded after 2 minutes idle. Measured on a laptop i7-7500U with 7.5 GB RAM, no GPU (details).
- Search and reading together. One query fetches, renders, cleans and ranks the result pages, so the agent gets relevant passages instead of snippets or whole pages.
- Made for agents. Responses fit a small context window; reprints and near-duplicates are dropped; results the search engines agree on rank higher than SEO pages one engine pushes up.
- Easy to run.
pipx installordocker compose up. Nothing to configure to get started.
Features
- MCP server (stdio, or streamable HTTP at
/mcpon the API port) with the toolsweb_search,web_extract,web_crawlandweb_map. An env flag renames them totavily_*. - JavaScript pages: when a plain fetch isn't enough, the page is rendered in headless Chromium.
- PDF: the text layer is read. No OCR.
sitemap.xml,robots.txtandllms.txtare used by map/crawl, and.mdversions of pages by extract/crawl. Sites without these files work too.- Reprints and near-duplicate chunks are dropped (
dedup), and results can be capped per domain (max_per_domain). - SSRF protection: localhost and private networks are blocked by default.
- Response size is capped to fit a small context window. The model and the browser are unloaded after a period of inactivity.
- Pages and search results are cached for 15 minutes; optional block/lower/raise rules per domain.
- Dashboard at
/: request and page counters, CPU and memory (with the browser), recent requests, and a playground for search, extract, crawl and map. - Drop-in for Tavily clients:
/search,/extract,/crawl,/map,/usagerespond in the Tavily API format, so existing clients only change the base URL. Covered by tests with the officialtavily-pythonclient.
How it works
query ─► search engines (ddgs: duckduckgo, yahoo, yandex, brave, mojeek, bing; optional SearXNG)
─► fetch pages with curl_cffi (Chrome TLS fingerprint)
└─ empty page / SPA / anti-bot / text doesn't match snippet ─► patchright Chromium
─► trafilatura → markdown (PDF → text layer) ─► ~600-char chunks
─► BM25 ─► multilingual cross-encoder (ONNX int8, CPU)
─► dedup ─► only the best chunks of each page go into the response
Details: docs/how-it-works.md.
Installation
Docker (Chromium and the model are inside the image):
git clone https://github.com/peakQuick/agentSearcher.git && cd agentSearcher
docker compose up -d --build # API and MCP at http://127.0.0.1:8484, MCP at /mcp
Settings go under environment: in compose.yaml. On macOS and Windows, Docker Desktop runs a VM, which costs extra RAM; there, the pipx install below is lighter.
pipx (no venv to manage; pipx is in most package managers: apt install pipx, brew install pipx, pacman -S python-pipx):
pipx install git+https://github.com/peakQuick/agentSearcher
agentsearcher setup # one time: Chromium (~/.cache/ms-playwright) and the ~120 MB reranker (~/.cache/huggingface)
agentsearcher serve
Update with pipx upgrade agentsearcher. On a bare Linux server, agentsearcher setup --with-deps also installs Chromium's system libraries (needs root).
From source (development):
git clone https://github.com/peakQuick/agentSearcher.git && cd agentSearcher
python3 -m venv .venv
.venv/bin/pip install -e '.[dev]'
.venv/bin/agentsearcher setup
Below, agentsearcher means the installed command (.venv/bin/agentsearcher for a source install).
Quick start
CLI
agentsearcher search "what's new in python 3.14"
agentsearcher extract https://react.dev/learn -q "useState"
agentsearcher map https://docs.python.org/3/
HTTP API
agentsearcher serve # dashboard: open http://127.0.0.1:8484/
curl -s localhost:8484/search -H 'Content-Type: application/json' \
-d '{"query": "python asyncio tutorial", "max_results": 3}'
With tavily-python:
from tavily import TavilyClient
client = TavilyClient(api_key="local", api_base_url="http://127.0.0.1:8484")
print(client.search("python asyncio tutorial", max_results=3)["results"][0]["url"])
MCP
With serve or Docker running, HTTP clients and web UIs connect to http://127.0.0.1:8484/mcp:
claude mcp add --transport http agentsearcher http://127.0.0.1:8484/mcp
Or let the client start its own server over stdio:
claude mcp add agentsearcher -- agentsearcher mcp
Other clients: docs/mcp.md.
Configuration
The defaults work as is. Settings are environment variables with the AGENTSEARCHER_ prefix:
AGENTSEARCHER_API_KEYS=change-me agentsearcher serve # pipx / source
With Docker, put them under environment: in compose.yaml; for MCP over stdio, in the client's env block. GET /stats shows the values in effect (secrets hidden).
The ones people usually change: API_KEYS (before opening the server to a network), PROXY_URL (search engines block your IP), LLM_BASE_URL (answers with include_answer), MAX_REQUESTS / MAX_RENDERS (a machine with little RAM). All variables and ready-made recipes: docs/configuration.md.
Search depth
| mode | what it does | warm latency* |
|---|---|---|
ultra-fast |
search engine snippets only, no pages fetched | ~1 s |
fast |
pages without the browser, BM25 ranking | 3–4 s |
basic |
+ browser for JS and anti-bot pages, + cross-encoder | 6–9 s |
advanced |
+ more candidates, favor_recall, stricter about "empty" pages |
7–10 s |
* i7-7500U, 5 results. The first request takes longer: ~1.5 s to load the model and ~1 s to start the browser.
Documentation
| doc | what's inside |
|---|---|
| CLI | commands, flags and how to read the log |
| HTTP API | endpoints, parameters, responses and errors |
| MCP | tools and client setup |
| Configuration | environment variables |
| How it works | pipeline, browser, ranking, crawling, PDF, dedup, memory |
| Security | SSRF protection |
| Limitations | known limitations and possible problems |
Development
.venv/bin/ruff check .
.venv/bin/python -m pytest -m "not live" # offline: local fixture sites (SPA, challenge, PDF, sitemap...), tavily-python contract
.venv/bin/python -m pytest -m live # needs internet: tavily-python search at every search_depth
License
Copyright (C) 2026 peakQuick
GNU Affero General Public License v3.0. If you modify this project and let others use it over a network, you must make the source code of your modified version available to those users.
Preguntas sobre agentSearcher MCP
¿Requiere agentSearcher claves de API para realizar búsquedas web?
No, está diseñado para funcionar sin claves en la nube y utiliza motores de búsqueda como DuckDuckGo, Yahoo y Bing.
¿Puede manejar sitios web con mucho JavaScript y archivos PDF?
Sí, utiliza Chromium en modo headless para renderizar páginas con JavaScript y puede leer la capa de texto de archivos PDF.
¿Cuánta memoria utiliza?
Es muy ligero; utiliza aproximadamente 75 MB cuando está inactivo y unos 380 MB mientras realiza el ranking con el modelo.