zai-org / Open-AutoGLM 已开源，体验一下

Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架，它能够以多模态方式理解手机屏幕内容，并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备，以视觉语言模型进行屏幕感知，再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求，如“打开小红书搜索美食”，Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制，并支持在登录或验证码场景下进行人工接管。同时，它提供远程 ADB 调试能力，可通过 WiFi 或网络连接设备，实现灵活的远程控制与开发。 抖音刷到这个项目的。我从去年就关注到它了，今天既然开源了，那就在本地部署一下吧。 Github 地址是 https://github.com/zai-org/Open-AutoGLM。 环境安装 首先我们要安装 Python，官方推荐安装 3.10 以上的版本。 接下来安装 adb 工具，下载后将它所在的目录添加到环境变量中。 然后安装 ADBKeyboard，进入后下载原始文件。安装在手机后，在设置中打开此键盘。 运行项目 首先将项目保存到本地，可以用 Git Clone 命令。 安装依赖： 打开手机的 USB 调试模式，连接电脑，运行命令查看是否连接成功。 然后还需要一个运行的模型，我自己是在智谱 AI 平台上申请的 ApiKey，申请地址在 https://docs.bigmodel.cn/cn/api/introduction。 如果是这样的话，那么运行指令的命令就是： 运行以后，控制台会先检测 adb 连接状态，然后每次读取屏幕内容，然后尝试执行分步点击，到最后会给出运行结果，效果还是很不错的。 有意思的是，进入美团以后，它跳到了广告页面，在运行结果能看出来。退出广告后，它成功找到了附近的火锅店。