7 块钱的 ESP32 让 AI 用上真 iPhone：不越狱、不开开发者账号，它看得见也点得动

这个项目能干嘛

esp32-iphone-agent 干了一件听起来像魔术的事：让一个 AI 模型真正「用」起一台真实的 iPhone。它用一块只要 7 美金的 ESP32-S3 开发板当「手」，用 AirPlay 屏幕镜像当「眼睛」——AI 通过 AirPlay 看到手机实时画面，通过插在手机 USB 口上的 ESP32 把板子模拟成鼠标和键盘去点按、滑动、输入。整个大脑可以是任意一个兼容 OpenAI 协议的视觉模型，云端 API 也行，自己本地跑的模型也行。最关键的是，这事不需要 Mac、不需要苹果开发者账号、不需要越狱。你只要把板子插上 iPhone，给模型下指令，比如「打开时钟，设个每天早上 7 点的闹钟」，它就会自己找到 App、拨时间轮、勾选重复日期、保存——整个过程每一步的截图和点击位置都留痕，方便你回看。

为什么最近火了

这个项目 2026 年 10 月 11 日才开源，两天就快 570 星，属于典型的「demo 太炸裂直接刷屏」型。它能火，我觉得核心就一句话：它把「AI 操控真机」这个原本高高在上的事儿，拉到了普通人一个周末就能复现的成本——一块 7 美元的板子加现成代码。过去做手机自动化要么是厂商自家的 UI 测试框架（要 Mac + 开发者账号），要么是越狱后的私有 API，门槛和合规风险都高。这个项目用 AirPlay 投屏加 USB HID 这种「野路子」绕开了所有门槛，效果还很稳，demo 视频里画笑脸、设闹钟一气呵成，自然就病毒式传播了。

技术亮点

它的设计很巧妙，分三层。第一层是「眼睛」：ESP32 本身不负责看，而是手机把屏幕通过 AirPlay 镜像出来，项目里的接收端把画面实时显示到 Web UI 上，模型看着这个画面理解当前状态。第二层是「手」：一块 ESP32-S3 插在手机 USB 口上，被固件模拟成标准的 HID 鼠标和键盘，所以它能做真实的物理点击、滑动、文字输入，不是什么无障碍模拟，是系统层面认的硬件输入。第三层是「脑子」：任意 OpenAI 兼容的视觉模型，项目会把当前截图加任务描述发给模型，模型返回「下一步干什么」，agent 循环执行、截图、再决策，直到任务完成。它还留了「计划墙」和「步骤墙」，每步的截图叠加点击、笔迹轨迹，调试起来一目了然。整体用 Python 写，配一个简单的 Web 界面，门槛相对很低。

适合什么人

最该玩的是两类人：一类是 AI Agent 和「computer-use」方向的开发者，想研究怎么让模型操控真实移动设备、又不想被苹果生态绑死；另一类是硬件和树莓派折腾党，7 美元的成本加上清晰的固件和脚本，正好是个好玩的周末项目。自动化测试工程师也能拿它当低成本真机交互验证的方案。如果你是纯软件开发者、手上没硬件也不想买板子，那它暂时只是个开眼界的 demo；但一旦你想做「能摸真机的 agent」，它几乎是成本最低的起点。

快速试用

需要一块 ESP32-S3 开发板（比如 Xiao ESP32S3）和一台 iPhone，然后：

git clone https://github.com/onehumanbeing/esp32-iphone-agent.git
cd esp32-iphone-agent
pip install -r requirements.txt

按 README 把固件烧录到板子、用 AirPlay 把手机镜像到接收端，打开 Web UI 就能下指令让模型干活了。

与竞品对比

手机自动化领域，传统路线基本是两条：苹果自家的 XCUITest / UI Automation，强是强，但必须 Mac 加付费开发者账号，而且只能测自家 App；安卓阵营的 ADB 方案相对开放，但 iPhone 用户用不了。越狱后的私有 API 能玩得更深，但设备失去保修、系统一升级就废。esp32-iphone-agent 的打法完全不同：它不碰系统内部，而是走「看屏幕加模拟硬件输入」这条通用通路，所以跨 iOS 版本、跨 App 都通用，也不需要任何特权。代价是它依赖 AirPlay 投屏的清晰度和模型视觉能力，复杂 UI 下偶尔会点错，但这正是 agent 循环能自我纠正的空间。简单说，它是「把真机变成可被任意视觉模型驱动的对外接口」的最小可行方案。