Yapay zeka ajanlarının yapılandırılmış UI erişimi, ekran görüntüleri ve OCR kullanarak macOS uygulamalarını görmesini ve yönetmesini sağlar.
Ayrıca bilinen adı wende/macbeth
- Yıldızlar
- 4
- Araçlar
- —
- İndirmeler, 30 gün
- —
- En son sürüm
- 0.2.4
- Son commit
- 20 Eyl 2026
- Lisans
- MIT
Macbeth MCP nedir?
Macbeth bir MCP sunucusudur. Yapay zeka ajanlarının yapılandırılmış UI erişimi, ekran görüntüleri ve OCR kullanarak macOS uygulamalarını görmesini ve yönetmesini sağlar.
Özet, projenin README dosyasından oluşturuldu
Macbeth MCP sunucusu hakkında
Macbeth; yapay zeka ajanlarının yapılandırılmış UI verileri, ekran görüntüleri ve OCR kullanarak macOS uygulamalarıyla etkileşime girmesine olanak tanıyan bir kontrol katmanı sunar. Ajanların hem yerel hem de Electron tabanlı arayüzleri görmesi ve yönetmesi için bir köprü görevi görür. Geliştiriciler bunu npx kullanarak yerel bir stdio MCP server aracılığıyla veya özel bir TypeScript API üzerinden entegre edebilirler. Sistem, macOS 14 veya daha yeni sürümlerde çalışacak şekilde tasarlanmıştır ve Node.js 20 veya üzeri bir sürüm gerektirir.
Sunucu, yalnızca görsel koordinatlara güvenmek yerine; rolleri, etiketleri ve değerleri sorgulamak için erişilebilirlik ağaçlarına (accessibility trees) öncelik verir. Meta veriler eksik veya yetersiz olduğunda, ekranı yorumlamak için ScreenCaptureKit ve Vision OCR yöntemlerine başvurur. Logic Pro, Sistem Ayarları ve Mail gibi belirli uygulamalar için yerleşik yetenekler (skills) içererek ajanların karmaşık iş akışlarında gezinmesine yardımcı olur. Kullanıcıların tam etkileşim yeteneklerini etkinleştirmek için erişilebilirlik ve ekran kaydı izinlerini vermesi gerekmektedir.
Neler yapabilirsiniz
- 1Karmaşık yaratıcı yazılımları otomatize edinBir ajana, Logic Pro gibi profesyonel ses araçlarındaki ayarları düzenlemesi talimatını verin.
- 2Sistem yapılandırmalarını yönetinBir yapay zekadan, mevcut macOS güvenlik duvarı (firewall) ayarlarını incelemesini ve raporlamasını isteyin.
- 3Pencerelerden metin çıkarınNotes gibi belirli bir uygulama penceresindeki tüm görünür metni çekmek için OCR kullanın.
- 4Electron uygulamalarını çalıştırınStandart bir API'si olmayan uygulamalarda, açık arayüzlerini kullanarak gezinin.
Projenin README dosyasından alınmıştır. Her kullanım durumu, oradaki bir alıntı ile kontrol edilir.
Macbeth MCP nasıl yüklenir
Biçimler 10 Kas 2026 tarihinde doğrulandıCursor'a ekleGoose'a ekleMacbeth MCP'yi Claude Code içine yükleyin
$ claude mcp add macbeth -- npx -y macbethMacbeth MCP'yi Cursor içine yükleyin
~/.cursor/mcp.json
{
"mcpServers": {
"macbeth": {
"command": "npx",
"args": [
"-y",
"macbeth"
]
}
}
}Macbeth MCP'yi VS Code içine yükleyin
.vscode/mcp.json
{
"servers": {
"macbeth": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"macbeth"
]
}
}
}Macbeth MCP'yi VS Code CLI içine yükleyin
$ code --add-mcp '{"name":"macbeth","type":"stdio","command":"npx","args":["-y","macbeth"]}'Macbeth MCP'yi Claude Desktop içine yükleyin
claude_desktop_config.json
{
"mcpServers": {
"macbeth": {
"command": "npx",
"args": [
"-y",
"macbeth"
]
}
}
}Macbeth MCP'yi Codex içine yükleyin
$ codex mcp add macbeth -- npx -y macbethMacbeth MCP'yi Codex config.toml içine yükleyin
~/.codex/config.toml
[mcp_servers.macbeth] command = "npx" args = ["-y", "macbeth"]
Macbeth MCP'yi Gemini CLI içine yükleyin
$ gemini mcp add -s user macbeth npx -- -y macbethMacbeth MCP'yi Gemini settings.json içine yükleyin
~/.gemini/settings.json
{
"mcpServers": {
"macbeth": {
"command": "npx",
"args": [
"-y",
"macbeth"
]
}
}
}Otomatik kontroller
Çalıştırıldı 14 Kas 2026Tam rapor →Otomatik kontrollerimizden geçti. Bu bir güvenlik denetimi değildir: kodu okuyun ve sunucuya ihtiyaç duyduğu en dar erişimi verin. Kontroller nasıl çalışır
- Kaynak deposu bağlantılı ve erişilebilirwende/macbeth is public and reachablegithub.com/wende/macbeth ↗Geçti
- Paket, bu depoyu kaynağı olarak gösteriyormacbeth names wende/macbeth as sourcenpmjs.com/package/macbeth ↗Geçti
- Derleme kökeni (Sigstore onayı)Sigstore attestation for macbethnpmjs.com/package/macbeth/v/0.2.4#provenance ↗Geçti
- Açık kaynak lisansı (OSI)MITspdx.org/licenses/MIT.html ↗Geçti
- Son bir yıl içinde commit veya sürüm mevcutLast commit or release 2026-09-20github.com/wende/macbeth ↗Geçti
- OpenSSF ScorecardKontrol edilmedi
- Paket adı popüler bir pakete yakın değilNo popular package one edit away from macbethGeçti
- Pakette veya bağımlılıklarında kritik uyarı yok99 resolved dependencies checked; no critical advisoryosv.dev ↗Geçti
- Modele yönelik gizli talimat yok0 tool descriptions and the README read; no override phrases, credential paths or hidden charactersGeçti
- Yıkıcı araçlar etiketlenmişKontrol edilmedi
- Uzak uç nokta MCP el sıkışmasına yanıt veriyorKontrol edilmedi
Quickstart
Give Claude Code access to Macbeth:
claude mcp add macbeth -- npx -y macbeth
Then ask it to verify the connection:
Using Macbeth, list the running applications, connect to Finder, inspect its front window, and summarize the first few controls you can see. Do not perform any other actions.
Macbeth ships with a prebuilt, signed and notarized universal daemon. No Swift toolchain or manual service installation is required. If setup fails, run npx macbeth doctor; it prints a self-contained diagnostic prompt you can paste back into your agent.
Any MCP client that can launch a stdio server can use npx -y macbeth. See MCP setup for generic configuration, updates, and the complete tool list.
Add Macbeth as an MCP server using
npx -y macbeth. Runnpx macbeth doctor, guide me through granting only the permissions I need, and verify the setup by inspecting Finder. Do not take any unrelated actions.
Across your Mac
Work inside Unity, Logic Pro, and other complex tools
“In Logic Pro, set the project tempo to 128 BPM and start playback.”
Macbeth combines structured controls, menus, keyboard input, screenshots, OCR, and application-specific guidance. Logic Pro has a dedicated skill. Applications with thinner accessibility trees, including parts of Unity, can combine structured controls with keyboard, menu, screenshot, and OCR fallbacks.
Automate macOS itself
“Open System Settings, find the firewall controls, and report their current state without changing anything.”
Macbeth can inspect named controls and values, select native menu items, and use keyboard input when a semantic action is unavailable.
Use applications even when they have no API
“Open HEY, find the newest visible thread from the design team, and summarize it without sending or changing anything.”
Macbeth can work through exposed Electron interfaces even when the service does not provide the API your agent needs. HEY works through Macbeth's generic Electron support; results vary with the application's accessibility tree and version.
See what the accessibility tree misses
“Capture the frontmost Notes window and extract all visible text.”
ScreenCaptureKit screenshots and local Vision OCR provide a fallback for content that macOS does not expose as useful accessibility data.
Build repeatable scripts and tests
The same engine is available as a TypeScript API with lazy locators, auto-waiting actions, explicit state waits, screenshots, and application connections.
[!IMPORTANT] Macbeth can act inside applications on your behalf. Connect only trusted agents and require approval for consequential actions.
Why Macbeth?
- Use your own agent. Macbeth is a control layer, not a model or agent runtime.
- Structured when possible. Query roles, labels, values, enabled state, hierarchy, and stable handles instead of relying only on coordinates.
- Visual when necessary. Fall back to window capture and OCR when accessibility metadata is thin.
- Application-aware. Versioned skills preserve workflows, shortcuts, and known failure modes.
- Scriptable. Use the same primitives interactively over MCP or directly from TypeScript.
Structured before pixels
| Capability | Typical screenshot-driven agent | Macbeth |
|---|---|---|
| Find a labeled control | Visual inference | Accessibility query when exposed |
| Read role, value, and state | Inferred | Structured attributes |
| Wait for a UI change | Usually observed through repeated captures | Explicit waits and auto-waiting actions |
| Handle incomplete UI metadata | Vision/OCR | Accessibility first, screenshot/OCR fallback |
| Reuse application knowledge | Prompt-dependent | Bundled, versioned skills |
Accessibility information can itself be incomplete or misleading. Macbeth is a hybrid interface: it uses stronger structured primitives when macOS exposes them and keeps visual and system-level fallbacks available when it does not.
Security and limitations
- Macbeth requires macOS 14 or newer and Node.js 20 or newer.
- Accessibility permission is required for UI inspection and interaction. Screen Recording is required only for screenshots and window OCR.
- Application accessibility quality varies. Custom-rendered canvases, games, and some creative tools may require menus, screenshots, OCR, keyboard input, or application-specific guidance.
- Interface changes between application versions can break specialized workflows.
- The interaction glow makes Macbeth activity visible, but it is not an approval system or a complete audit log.
- Agents can make mistakes. Use human review for destructive, financial, publishing, or privacy-sensitive actions.
Macbeth uses a local stdio MCP server and a Unix-domain socket; it does not open a TCP listener. Screenshots requested through MCP are written to a temporary directory and are not automatically deleted. Read the security model for data flow, permission revocation, local-process risks, and safer operating practices.
TypeScript API
npm install macbeth
import { connect } from "macbeth";
const app = await connect("TextEdit");
await app.window("Untitled").textField().fill("Hello from Macbeth");
await app.pressKey("s", ["cmd"]);
See Developing with Macbeth for locators, screenshots, Electron behavior, lifecycle, and tests.
Teach Macbeth an application
A Macbeth skill is a SKILL.md file, optionally accompanied by runnable scripts, that teaches an agent reliable workflows and pitfalls. Call load_skill with no arguments for the core Macbeth guide. Bundled app skills cover Calendar, Contacts, Logic Pro, Mail, Maps, Messages, Music, Notes, Reminders, Safari, System Settings, and generic Electron applications.
You can add a skill without changing the Swift daemon. Start with the contribution guide and include a reproducible prompt, tested application version, expected result, and honest failure modes.
Documentation
| Guide | Contents |
|---|---|
| MCP server | Installation, smoke test, tools, skills, and updates |
| CLI | Every MCP tool as a macbeth <tool> subcommand |
| TypeScript API | Client API, locators, Electron, and tests |
| Architecture | Daemon, protocol, fallbacks, and design notes |
| Security | Trust boundaries, data handling, and permission revocation |
| Troubleshooting | Diagnostics and common setup failures |
| Contributing | Development workflow and application skills |
Requirements
- macOS 14 (Sonoma) or later
- Node.js 20+
- Swift 6.0+ only when building the daemon from source
License
MIT
Macbeth MCP soruları
Macbeth MCP'yi Claude Code'a nasıl eklerim?
Terminalinizde claude mcp add macbeth -- npx -y macbeth komutunu çalıştırın. Her projede kullanılabilir olması için --scope user ekleyin.
Macbeth MCP'yi Cursor'a nasıl eklerim?
~/.cursor/mcp.json dosyasını açın ve yukarıdaki yükleme bölümünde gösterilen Cursor yapılandırmasını kullanarak sunucuyu mcpServers altına ekleyin.
Macbeth için sistem gereksinimleri nelerdir?
Macbeth, macOS 14 (Sonoma) veya daha yeni bir sürüm ile Node.js 20 veya daha yeni bir sürüm gerektirir.
Macbeth'i Claude Code'a nasıl eklerim?
Şu komutu kullanarak ekleyebilirsiniz: claude mcp add macbeth -- npx -y macbeth.
Macbeth özel izinler gerektiriyor mu?
Evet, UI inceleme ve etkileşim için Erişilebilirlik (Accessibility) izni; ekran görüntüleri ve pencere OCR işlemleri için ise Ekran Kaydı (Screen Recording) izni gereklidir.
Macbeth, API'si olmayan uygulamalarla çalışabilir mi?
Evet, açık Electron arayüzleri üzerinden çalışabilir ve erişilebilirlik meta verileri mevcut olmadığında ekran görüntüsü ve OCR gibi görsel yedekleme yöntemlerini kullanabilir.