代理桌面:本地和Web应用程序的AI代理控制
Lahfir 的 Agent Desktop 是一个免费的 MCP 服务器工具,使用 Rust 构建,旨在通过 AI 代理进行桌面自动化。它通过操作系统可访问性树提供对本地应用程序的结构化访问,并使用 Chrome DevTools 协议连接到基于 Chromium 的应用程序。作为预构建的 C-ABI cdylibs 和 CLI tarballs 分发,它支持 macOS、Linux 和 Windows,使 AI 客户端如 Claude Desktop 和 Cursor 能够与本地桌面环境互动。开发人员构建自动化工具或研究原型时会发现它很有用。
最受推荐的替代方案
代理桌面连接到什么?
代理桌面将 AI 代理连接到本地桌面应用程序和基于 Chromium 的应用程序。对于本地应用程序,它使用操作系统可访问性树提供结构化访问。它通过暴露 Chrome DevTools 协议端点连接到基于 Chromium 的应用程序,如 Slack、VS Code、Discord、Obsidian 和 Notion。作为 MCP 服务器工具,它支持通过 stdio 进行本地进程通信,并通过 Streamable HTTP 进行远程通信,替代已弃用的 HTTP+SSE 传输。
核心功能和工具
代理桌面公开 53 个命令,用于检查和操作本地应用程序,所有命令均具有 JSON 输出。它还包括用于会话跟踪的特定工具:trace show 和 trace export。这些功能使 AI 代理能够有效控制任何本地桌面应用程序并驱动基于 Chromium 的应用程序。兼容的 AI 客户端包括 Claude Desktop、Claude Code、ChatGPT(Web)和 Cursor App,同时也支持 LangChain 和 LlamaIndex 等框架。
适合谁?
代理桌面针对 AI 代理、创建桌面代理的开发人员、内部自动化工具和研究原型。它使 AI 代理能够通过操作系统可访问性树控制本地应用程序,提供结构化的 JSON 输出。它还允许 AI 代理通过 Chrome DevTools 协议驱动基于 Chromium 的应用程序。该工具提供了一个标准化的 MCP 服务器接口,以便各种 AI 客户端与本地桌面环境进行交互。如果您的项目不涉及 AI 代理与桌面应用程序的交互,请跳过此部分。
如何开始
MCP 服务器通常需要身份验证,支持基于密钥的方法、Microsoft Entra 和 OAuth 身份传递。设置通常涉及配置凭据并将服务器 URL 添加到客户端的 MCP 设置中,热切身份验证在每个会话中发生一次。
用例
- 使 AI 代理能够通过操作系统可访问性树控制任何本地桌面应用程序,提供结构化的 JSON 输出。
- 允许 AI 代理通过 Chrome DevTools 协议连接来驱动基于 Chromium 的应用程序。
- 为 AI 客户端(例如 Claude Desktop、Cursor)提供标准化的 MCP 服务器接口,以访问和与本地桌面环境进行交互。
代理桌面为AI代理提供了一个强大的界面,以便与本地和基于Chromium的桌面环境进行交互。它的Rust基础和MCP服务器设计使其成为一个强大的自动化和代理开发工具。它提供了结构化的访问和命令执行,具有JSON输出,支持多种AI客户端和框架。首先探索它控制像Slack这样的基于Chromium的应用程序的能力。
