前言:一个让Mac用户兴奋的发现
作为一名AI学习践行者,我在今日头条上偶然发现了一款能够控制Mac本地化操作的MCP工具——automation-mcp。经过深度测试后,我必须说:这是一个非常有潜力的Mac MCP工具!虽然目前还在完善阶段,但对于使用Mac系统且想要体验MCP本地化控制的朋友来说,绝对值得关注。
先说结论:
automation-mcp是目前为数不多能够实现Mac系统本地化AI控制的工具,尽管功能还在完善中,但值得MCP爱好者关注。
功能全解析:automation-mcp能做什么?
什么是automation-mcp?
automation-mcp是由开发者ashwwwin创建的一个MCP(Model Context Protocol)工具,专门为Mac用户设计。简单来说,它就像是给你的Mac装上了一个AI大脑,让AI能够直接控制你的鼠标、键盘,甚至分析屏幕内容。
Automation-mcp项目地址:
https://github.com/ashwwwin/automation-mcp
这个工具的出现,意味着我们距离真正的AI桌面助手又近了一步。想象一下,你只需要告诉AI"帮我截个图并分析内容",或者"帮我点击某个按钮",AI就能自动完成这些操作。
automation-mcp功能
1. 鼠标控制功能
- mouseClick - 在指定坐标点击(支持左键/右键/中键)
- mouseDoubleClick - 双击操作
- mouseMove - 移动鼠标到指定位置
- mouseGetPosition - 获取当前鼠标位置
- mouseScroll - 滚动操作(支持任意方向)
- mouseDrag - 拖拽操作
- mouseButtonControl - 精确控制鼠标按键的按下和释放
- mouseMovePath - 让鼠标沿着平滑路径移动
2. 键盘输入功能
- type - 输入文本或按键组合
- keyControl - 高级按键控制
- systemCommand - 常用快捷键(复制、粘贴、撤销、保存等)
3. 屏幕捕获与分析
- screenshot - 截取全屏、区域或特定窗口
- screenInfo - 获取屏幕尺寸信息
- screenHighlight - 高亮显示屏幕区域
- colorAt - 获取任意像素点的颜色
- waitForImage - 等待图像出现(模板匹配)
4. 窗口管理
- getWindows - 列出所有打开的窗口
- getActiveWindow - 获取当前活动窗口
- windowControl - 聚焦、移动、调整大小、最小化窗口
实测体验:有惊喜也有遗憾
(就在文章发出之后,Command指令不能使用的问题解决了,Command的值为LeftSuper,火速更新。)
成功的功能
经过我的实际测试,并非所有功能都能简单调用,而且需要指令写的比较精细,例如想让鼠标移动到100,100的像素点、截屏并高亮某一个区域、文字输入等,但对于目前使用来说需要大量的微调。
遇到的问题
部分功能还不够精准。目前想要通过这个MCP尝试完全操控电脑,可能要经过一段时间调试,如在初步测试中,我想用spotlight打开Safari,然后打开Google后截图。在各种步骤会出现输入时间过早而导致输入不全,按enter键过早导致没打开Safari等情况。
详细安装经历:小白也能轻松上手
第一步:安装bun运行环境
bun是一个速度极快的JavaScript运行时环境,automation-mcp需要它来运行。根据作者的项目文档,我们可以使用bun或者furi来部署和管理这个工具。
安装方法(四选一):
方法一:官方推荐
curl -fsSL https://bun.sh/install | bash
方法二:直接下载安装包
如果网络不好,可以直接下载安装包:
https://github.com/oven-sh/bun/releases/latest/download/bun-darwin-aarch64.zip
方法三:使用npm安装
npm install -g bun
方法四:使用brew安装
brew install oven-sh/bun/bun
验证安装:
bun -v
第二步:安装furi(可选)
如果你想体验furi管理工具,可以按照以下步骤安装:
curl -fsSL https://furi.so/install | bash
验证安装:
furi -V
furi项目地址:
https://github.com/ashwwwin/furi
第三步:安装automation-mcp
使用bun安装:
git clone https://github.com/ashwwwin/automation-mcp.git
cd automation-mcp
bun install
使用furi安装:
# 步骤一:添加项目
furi add ashwwwin/automation-mcp
# 步骤二:启动项目
furi start ashwwwin/automation-mcp
第四步:解决依赖问题
在我的测试过程中,第一次启动时遇到了找不到jimp包的问题,解决方法很简单:
npm install jimp
第五步:运行automation-mcp
automation-mcp支持两种传输模式:
HTTP传输模式(推荐用于Web应用):
bun run index.ts
stdio传输模式(用于命令行工具):
bun run index.ts --stdio
重要提醒:首次运行时,系统会要求录屏、录音和辅助功能权限。这是正常的,因为这个工具需要控制你的Mac。请务必先保存你的工作,因为需要重启Terminal,我就因此丢失了五个正在运行的程序。
配置指南:让AI工具认识automation-mcp
根据你选择的传输模式,需要进行相应的配置(json):
HTTP传输模式配置:
{
"mcpServers": {
"furi": {
"command": "furi",
"args": ["connect"]
}
}
}
stdio传输模式配置:
{
"mcpServers": {
"automation": {
"command": "bun",
"args": ["run", "/path/to/automation-mcp/index.ts", "--stdio"]
}
}
}
注意:'/path/to/automation-mcp/'需要替换为你实际的automation-mcp安装路径。
Cherry Studio配置示例
我使用的是Cherry Studio(v1.4.1),配置步骤如下:
1. 打开设置 - MCP服务器
2. 点击添加MCP服务器
3. 选择JSON导入
4. 粘贴stdio模式的配置代码
5. 修改路径为你的实际路径
首次配置时,Cherry Studio也会需要录屏、录音和辅助功能权限,这与automation-mcp的权限要求是一致的。
使用场景与未来展望
当前适用场景
1. 截屏 - AI可以进行截图
2. 简单的鼠标操作 - 在已知坐标的情况下进行点击操作
3. 基础的键盘输入 - 输入文本内容
未来可能的应用
如能不断迭代提升稳定性和易用性,我相信automation-mcp将能够:
1. 自动化工作流程 - AI可以帮你完成复杂的操作序列
2. 智能桌面助手 - 通过语音或文字指令控制Mac
3. 无障碍辅助 - 为有特殊需求的用户提供AI辅助操作
总结:值得期待的Mac AI控制工具
作为一个Mac AI初学者,我对automation-mcp的未来发展非常期待。虽然目前还存在一些限制,需要经过一段时间调试,但这个工具已经展现出了巨大的潜力。
推荐指数: ☆☆(3/5星)
推荐理由:
- 功能设计全面,覆盖了鼠标、键盘、屏幕、窗口四大控制领域
- 安装过程相对简单,文档较为完善
- 开源项目,可以跟踪开发进度
- 是目前少有的Mac本地化AI控制工具
需要改进的地方:
- 需要更多的使用示例和教程
- 稳定性和易用性还需要进一步提升
对于想要体验AI本地化控制的Mac用户来说,automation-mcp绝对值得一试。虽然现在还不够完美,但我相信随着作者的持续更新,这个工具会变得越来越强大。
最后的建议: 如果你对这个工具感兴趣,建议先在测试环境中尝试,等功能更加完善后再考虑在日常工作中使用。
本文为【小白学AI】系列原创内容,专注于分享AI工具的实际使用体验和避坑指南。如果你也在学习AI,欢迎关注和私信,我们一起交流成长!