传统 iOS 自动化总被 Xcode、Mac 和 7 天就过期的开发者签名死死捆绑。开源项目 ESP32 iPhone Agent 另辟蹊径，仅凭一块 7 美元的开发板，就让任意视觉大模型像真人一样流畅操作 iPhone！
它是什么
ESP32 iPhone Agent 是一个通过纯物理级交互让 AI 操控 iPhone 的开源方案。它利用 AirPlay 镜像将手机画面推送到电脑作为 AI 的“眼睛”，再将一块价值约 7 美元的 ESP32-S3 插在手机上充当免驱 USB 键鼠作为“双手”。结合 iOS 的辅助触控（AssistiveTouch），任何兼容 OpenAI 接口的视觉大模型（无论云端 API 还是本地部署）都能直接“看屏幕点手机”，无需在 iPhone 上安装任何软件或跑测试桩。
为什么值得关注
- 完全摆脱苹果生态限制：无需 Mac 电脑、无需 Xcode、无需开发者账号签名，Linux 也能跑
- 零侵入免越狱：手机端不用安装任何测试 App 或破解，即插即用，不用担心签名 7 天过期
- 全场景普适：纯靠像素识别与 HID 模拟点击，不依赖无障碍层（Accessibility Tree），游戏或原生应用通吃
- 成本极低：仅需一块约 7 美元的 ESP32-S3 开发板，即可搭建全自动真机操作 Agent
安装与使用步骤
- 硬件准备：准备一块 ESP32-S3 开发板，烧录项目固件后通过 USB 接入 iPhone，并在 iOS 设置中开启“辅助触控”（AssistiveTouch）
README：项目介绍与演示 - 环境准备：在电脑（支持 Mac 或 Linux）上安装 Python 3.10+，并安装流媒体接收工具
UxPlay及 GStreamer README：安装与使用说明 - 克隆仓库：执行
git clone github.com/onehumanbeing/esp32-iphone-agent.git进入项目目录 提交记录：项目活跃度 - 安装依赖：运行
pip install -r requirements.txt完成 Python 环境配置 - 配置大模型：配置任意兼容 OpenAI 接口的 Vision 模型凭证（支持自建或云端 API），启动服务后通过 AirPlay 连接手机即可在 Web 界面下达自然语言指令
注意事项
- 开源许可证为 MIT License，商业或自用皆友好
- 硬件依赖特定开发板：必须使用支持原生 USB 功能的 ESP32-S3（普通 ESP32 不支持模拟 USB HID）
- 环境依赖：电脑端依赖 UxPlay 和 GStreamer 来捕获 AirPlay 视频流并解码为图像帧
- 模型要求：必须提供支持视觉（Vision）能力的兼容 OpenAI 规范的 API Key 或自建模型服务
- 平台限制：电脑端支持 Mac 和 Linux，手机端需保持局域网连通以支持 AirPlay 投屏
项目数据
⭐ 1375 星（创建 1.9 天，平均约 734 星/天；核实期间 0.2h 内 +12），许可证 MIT，语言 Python