アクセシビリティツリーを読み取り、macOS、Windows、Linux上でバックグラウンド入力を行うことで、AIエージェントによるデスクトップ操作を実現します。
別名 munimtechnologies/computer-use, computer-use, munim-computer-use
- スター
- 38
- ツール
- 2
- ダウンロード数(30日間)
- —
- 最新バージョン
- 0.1.0
- 最終コミット
- 2026年11月8日
- ライセンス
- Apache-2.0
Computer Use MCPとは
Computer UseはMCPサーバーです。 アクセシビリティツリーを読み取り、macOS、Windows、Linux上でバックグラウンド入力を行うことで、AIエージェントによるデスクトップ操作を実現します。. 2個のツールを提供しており、wait_timeout_ms, readinessなどがあります。
プロジェクトのREADMEから生成された概要
Computer Use MCP server について
この MCP server を使用すると、開発者は AI エージェントにデスクトップ環境を直接制御する権限を与えることができます。これは computer-use エージェントのバックエンドとして機能し、コーディングエージェントが人間と同じように macOS、Windows、Linux システムと対話することを可能にします。アクセシビリティツリーを読み取って特定の要素 ID を特定することで、すべての操作にビジョンモデルを必要とすることなく、エージェントによるクリックやタイピングが可能になります。
大きな特徴はバックグラウンド入力が可能な点です。エージェントがバックグラウンドで動作するため、物理的なマウスやキーボードは引き続きユーザー自身の作業に使用できます。このサーバーは、Claude Code、Codex、Cursor、MT Code を含むさまざまな MCP クライアントに対応しています。セットアップには、プラットフォーム固有のバイナリをダウンロードし、コマンドラインまたは設定ファイルを通じて選択したエージェントに登録する必要があります。アプリの状態取得、要素 ID による操作、スクリーンショットによる操作の検証などのツールを提供します。
できること
- 1アプリケーションを跨ぐワークフローの自動化AI エージェントがウェブブラウザを開いて特定の情報を探し、そのデータをローカルのノート作成アプリケーションに転送するといった操作が可能です。
- 2デスクトップでのバックグラウンドタスクの実行ユーザーがマウスやキーボードを使って他の作業をしている間に、エージェントにコンピュータ上でタスクを実行させることができます。
- 3要素 ID による正確な UI 操作ピクセル座標を推測する代わりに、アクセシビリティデータを使用して特定のボタンやコントロールと対話できます。
プロジェクトの README から作成されています。すべてのユースケースは、その引用と照らし合わせて確認されています。
Computer Use MCPのインストール方法
フォーマット検証日 2026年11月10日Cursor に追加Gooseに追加Claude CodeにComputer Use MCPをインストール
$ claude mcp add computer-use -- npx -y munim-computer-useCursorにComputer Use MCPをインストール
~/.cursor/mcp.json
{
"mcpServers": {
"computer-use": {
"command": "npx",
"args": [
"-y",
"munim-computer-use"
]
}
}
}VS CodeにComputer Use MCPをインストール
.vscode/mcp.json
{
"servers": {
"computer-use": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"munim-computer-use"
]
}
}
}VS Code CLIにComputer Use MCPをインストール
$ code --add-mcp '{"name":"computer-use","type":"stdio","command":"npx","args":["-y","munim-computer-use"]}'Claude DesktopにComputer Use MCPをインストール
claude_desktop_config.json
{
"mcpServers": {
"computer-use": {
"command": "npx",
"args": [
"-y",
"munim-computer-use"
]
}
}
}CodexにComputer Use MCPをインストール
$ codex mcp add computer-use -- npx -y munim-computer-useCodex config.tomlにComputer Use MCPをインストール
~/.codex/config.toml
[mcp_servers.computer-use] command = "npx" args = ["-y", "munim-computer-use"]
Gemini CLIにComputer Use MCPをインストール
$ gemini mcp add -s user computer-use npx -- -y munim-computer-useGemini settings.jsonにComputer Use MCPをインストール
~/.gemini/settings.json
{
"mcpServers": {
"computer-use": {
"command": "npx",
"args": [
"-y",
"munim-computer-use"
]
}
}
}Computer Use MCPツール 2
READMEから検出wait_timeout_msreadiness
| wait_timeout_ms | — | |
| readiness | — |
設定
COMPUTER_USE_AGENT_CURSORSet to 0 to disable the agent pointer overlay
COMPUTER_USE_BROWSERSet to 0 to hide the browser_* tools
| 名前 | 説明 | 種類 |
|---|---|---|
| COMPUTER_USE_AGENT_CURSOR | Set to 0 to disable the agent pointer overlay | |
| COMPUTER_USE_BROWSER | Set to 0 to hide the browser_* tools |
自動チェック
実行日 2026年11月12日完全なレポート →自動チェックに合格しました。これはセキュリティ監査ではありません。コードを読み、サーバーに必要最小限のアクセス権を与えてください。 チェックの仕組み
- ソースリポジトリがリンクされており、アクセス可能合格
- オープンソースライセンス (OSI)合格
- 過去1年以内にコミットまたはリリースあり合格
- パッケージ名が有名なパッケージに酷似していない合格
- リモートエンドポイントがHTTPSを使用未チェック
- 破壊的なツールがラベル付けされている合格
- モデルへの隠れた指示がない合格
- パッケージおよびその依存関係に重大な勧告なし合格
README
GitHubで見るIntroduction
Computer Use is an open-source MCP server — a computer-use agent (CUA) backend — that lets any coding agent use your computer the way a person does. It reads the screen through accessibility trees, clicks and types in the background so your mouse stays yours, shows an agent pointer where it is working, zooms in on small text, and drives tabs in your signed-in Chrome — on macOS, Windows and Linux.
Works with Claude Code, Codex, Cursor and MT Code, or any other MCP client, with any model — no vision model is required for interaction.
Built by Munim Technologies as the Computer Use engine of MT Code, and published here on its own.
Table of contents
- Quick start
- Capability matrix
- Benchmarks
- Why it works well
- Works alongside you
- Apps and sites the agent may use
- Tools
- Repository layout
- Environment flags
- Embedding in an app
- Prompting your agent
- Contributing
- Credits and license
Quick start
- Download the latest binary for your platform from Releases (
munim-computer-use-macos-universal.zip,munim-computer-use-windows-x64.zip) or build from source. - Put it somewhere on your
PATH(/usr/local/bin/munim-computer-use, or%LOCALAPPDATA%\Programs\munim-computer-use\munim-computer-use.exe). - macOS only: run
munim-computer-use request-permissionsonce to be prompted for Accessibility and Screen Recording. - Register it with your agent:
# Claude Code — fastest: the npm launcher fetches the signed binary on first run.
# Add `--scope user` to register it for every project instead of just this one.
claude mcp add munim-computer-use -- npx -y munim-computer-use
# or point at a downloaded binary
claude mcp add munim-computer-use -- /usr/local/bin/munim-computer-use
# Codex — writes the entry below into ~/.codex/config.toml for you (needs a Codex CLI
# with `codex mcp`; check with `codex mcp --help`)
codex mcp add munim-computer-use -- npx -y munim-computer-use
# Codex — ~/.codex/config.toml, if you would rather edit it yourself
[mcp_servers.munim-computer-use]
command = "npx"
args = ["-y", "munim-computer-use"]
# Cursor — no MCP subcommand in its CLI, so write the config. ~/.cursor/mcp.json applies
# to every project; .cursor/mcp.json in a repo applies to that one.
mkdir -p ~/.cursor && [ -s ~/.cursor/mcp.json ] || echo '{}' > ~/.cursor/mcp.json
jq '.mcpServers["munim-computer-use"] = {"command":"npx","args":["-y","munim-computer-use"]}' \
~/.cursor/mcp.json > ~/.cursor/mcp.json.tmp && mv ~/.cursor/mcp.json.tmp ~/.cursor/mcp.json
// Cursor — the entry that produces, in .cursor/mcp.json
{ "mcpServers": { "munim-computer-use": { "command": "npx", "args": ["-y", "munim-computer-use"] } } }
Then ask: "Open Safari, find the cheapest flight to Denver on Tuesday and put it in a note." The agent reads the UI with get_app_state, acts by element id, and verifies with screenshot.
Capability matrix
Munim Computer Use is the highlighted first column; the others are the computer-use servers people reach for. each cell comes from that project's own README or docs in September and October 2026 (sources under Credits and license). ✅ present · ❌ absent or not documented · ⚠️ partial.
| Capability | Munim Computer Use | Cua Driver | Codex Computer Use | OpenAI Agents API | Anthropic reference demo | Windows-MCP | MacOS-MCP | open-computer-use | computer-use-mcp (zavora) | Notes |
|---|---|---|---|---|---|---|---|---|---|---|
| macOS | ✅ | ✅ | ✅ | n/a | ❌ | ❌ | ✅ | ✅ | ✅ | The Anthropic demo drives a Linux desktop inside Docker, not your machine. The OpenAI Agents API (September 2026) runs a browser OpenAI hosts, so it never drives your machine either. |
| Windows | ✅ | ✅ | ✅ | n/a | ❌ | ✅ | ❌ | ✅ | ✅ | Windows-MCP is Windows only; MacOS-MCP is macOS only. |
| Linux | ✅ | ✅ | ❌ | n/a | ✅ (sandbox) | ❌ | ❌ | ✅ | ✅ | Munim Computer Use uses AT-SPI + X11; native Wayland apps get element actions but not coordinate clicks. |
| Accessibility tree with element ids | ✅ | ✅ | ⚠️ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ | Codex reads the accessibility tree first on macOS and works from screenshots on Windows; the Agents API and the Anthropic demo are screenshot-driven. Ids let the agent press the button instead of a pixel. |
| Background input (your mouse never moves) | ✅ | ✅ | ⚠️ | n/a | n/a | ❌ | ❌ | ❌ | ❌ | Munim Computer Use addresses events to the target window: always on macOS (SkyLight and per-process events), for UI Automation patterns and classic Win32 controls on Windows; other Windows UI and all Linux pointer input (XTEST) still move the real pointer. Codex works in the background on macOS with cursors of its own, and takes over the pointer on Windows. Cua Driver delivers in the background by default and falls back to the foreground when that does not land. The other servers in this table drive the real cursor. |
| Agent pointer overlay | ✅ | ✅ | ✅ | ❌ | ❌ | ⚠️ | ❌ | ❌ | ❌ | Windows-MCP flashes a border around captures; Codex and Cua Driver draw their own cursor on your screen. |
| Zoom into a region at full resolution | ✅ | ✅ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ❌ | Anthropic's toolset has zoom; here it is a tool on every platform. |
| Screenshots carry screen-coordinate mapping | ✅ | ⚠️ | n/a | n/a | n/a | ❌ | ❌ | ❌ | ❌ | Origin and pixels-per-point in every capture, so clicks from Retina or downscaled images land. |
| Hover, wait, label query | ✅ | ⚠️ | ⚠️ | ❌ | ⚠️ | ✅ | ⚠️ | ❌ | ⚠️ | Windows-MCP has Wait/WaitFor; MacOS-MCP has Wait; Anthropic has wait/mouse_move. |
| Your signed-in Chrome, own tab group or yours | ✅ | ⚠️ | ⚠️ | ❌ | ❌ | ⚠️ | ❌ | ❌ | ❌ | Codex uses its in-app browser; Cua Driver attaches to a browser over CDP; Windows-MCP reads the DOM of open browsers. Munim Computer Use opens its own labelled tab group in your real Chrome, and can also take over a tab you already have open when you ask it to. |
| Act and observe in one call | ✅ | ✅ | n/a | n/a | ✅ | ❌ | ❌ | ❌ | ❌ | return_state on any action appends the fresh accessibility tree or page snapshot, so one call acts and checks. Cua Driver's run_steps runs several actions and reports what changed. The Anthropic demo returns a screenshot after each action; Codex and the Agents API run the loop themselves. |
| Several actions in one call | ✅ | ✅ | n/a | n/a | ❌ | ⚠️ | ❌ | ❌ | ✅ | Cua Driver and computer-use-mcp (zavora) run a list of steps in one call with run_steps; Windows-MCP's MultiSelect and MultiEdit act on several elements at once. Munim Computer Use's run_steps does the same, checks the whole list before running any of it, and stops at the first failure. |
| Read a page's text in a signed-in tab | ✅ | ⚠️ | ❌ | ❌ | ❌ | ⚠️ | ❌ | ❌ | ❌ | browser_read returns the page as text with headings, in chunks, with a query filter, from a background tab. Windows-MCP scrapes pages. |
| Sign-in without the model seeing the password | ✅ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ | browser_request_credentials opens a Chrome window naming the site's real origin; what the user types goes into the page and never into the conversation. The Agents API hands sign-in to the developer's app the same way. Desktop password fields refuse typing by default. |
| Per-app and per-site allow / ask / block rules | ✅ | ❌ | ⚠️ | ⚠️ | ❌ | ❌ | ❌ | ❌ | ❌ | A policy file the user controls; ask shows an approval prompt once per task. Codex asks before each new app and keeps an "Always allow" list; the Agents API asks the developer's app before each new website. |
| Works with any MCP client | ✅ | ✅ | ❌ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ | Codex Computer Use is Codex only; the Anthropic demo is Claude only. |
| Identical tool surface on every platform | ✅ | ⚠️ | n/a | n/a | n/a | n/a | n/a | ⚠️ | ✅ | 38 tools with byte-identical schemas across the Swift and Rust servers. Cua Driver keeps shared parameters in step with a CI check, with a few tools on one platform only. |
| Prebuilt signed binaries + npm launcher | ✅ | ✅ (script) | ✅ | n/a | ❌ | ❌ | ❌ | ✅ (npm) | ✅ (npm) | macOS universal (Developer ID signed) and Windows x64 on Releases. |
| Open source | ✅ Apache-2.0 | ✅ MIT | ❌ | ❌ | ✅ | ✅ MIT | ✅ MIT | ✅ MIT | ✅ MIT |
Also looked at: mediar-ai/mcp-server-macos-use (macOS, accessibility, real input), deploymenttheory/windows-mcp-server (Windows, UIA Invoke patterns, WaitFor), nuphus-mcp (OCR + bring-your-own vision model, CDP Chrome), computer-control-mcp (PyAutoGUI + OCR), and microsoft/playwright-mcp (browser only). Corrections welcome — open an issue with a link.
The chart counts the table above (n/a cells are left out), so
Computer Use MCPのよくある質問
Computer Use MCPをClaude Codeに追加するには
ターミナルでclaude mcp add computer-use -- npx -y munim-computer-useを実行します。すべてのプロジェクトで利用するには--scope userを追加します。
Computer Use MCPをCursorに追加するには
~/.cursor/mcp.jsonを開き、上記のインストールセクションに示すCursor設定を使ってmcpServersの下にサーバーを追加します。
Computer Use MCPが提供するツールは
2個のツールを提供しており、wait_timeout_ms, readinessなどがあります。
エージェントが動作している間、マウスは勝手に動きますか?
いいえ、バックグラウンド入力を行うため、マウスは引き続きユーザーが制御できます。
macOSで権限を許可するにはどうすればよいですか?
'munim-computer-use request-permissions' コマンドを実行し、アクセシビリティと画面収録の許可をリクエストしてください。