17370845950

Midscene 是一款以视觉模型为核心、支持全平台的 UI 自动化 SDK。ByteDance Web Infra 团队正式推出 Midscene v1.0，全面拥抱视觉理解技术路线，为 UI 自动化带来更高稳定性与更强适应性。

视觉模型具备如下核心优势：

• 效果稳健 ：当前主流视觉模型（如 Doubao Seed 1.6、Qwen3-VL 等）已展现出高度一致性，在多数实际业务场景中可稳定交付结果
• 任务规划能力强 ：模型天然具备对 UI 流程的理解与拆解能力，能自主完成多步骤、跨界面的复杂操作序列
• 跨平台无依赖 ：不再受限于底层渲染框架。无论是 Android、iOS、桌面客户端，还是浏览器内 渲染内容，只要能获取屏幕图像，Midscene 即可实现精准交互
• 上手门槛低 ：无需编写各类 selector 或解析 DOM 结构，开发者与模型之间的协作更直观，即使缺乏前端或原生开发经验的新手也能快速入门
• Token 成本大幅降低 ：在舍弃 DOM 提取环节后，整体 token 消耗减少约 80%，不仅显著节省调用成本，也提升了本地推理响应速度
• 开源模型支持成熟 ：随着 Qwen3-VL 等高质量开源视觉模型持续演进（提供 8B、30B 等多种规格），私有化部署与定制化训练已成为现实选择

除基础交互外，Midscene 还引入 Planning（任务规划）与 Insight（界面洞察）两类高级意图，并支持为不同意图配置专属模型。例如：使用 GPT 系列模型负责高层动作编排，而由 Doubao 模型专注执行元素识别与定位。

多模型协同机制，让开发者可根据任务复杂度灵活调配算力资源，兼顾效率与精度。

针对运行时性能，v1.0 做出多项关键优化：

• 减少对设备系统接口的频繁访问，在保障安全前提下复用上下文缓存，使性能瓶颈更集中于模型推理侧
• 重构 Web 与移动端的 Action Space 设计，向模型提供语义更清晰、组合更合理的工具集合

回放报告作为开发者高频使用的调试利器，本次也迎来全面升级：

• 参数高亮视图：自动标注交互参数在截图中的具体位置，融合上下文图像，便于快速验证模型决策逻辑
• 主题美化：新增深色模式支持，提升夜间阅读体验与视觉舒适度
• Token 使用统计：按所用模型维度汇总 token 消耗，辅助评估各场景下的资源开销与成本分布

Midscene MCP 服务的定位同步更新：其核心使命聚焦于“视觉驱动的 UI 操作抽象”。通过将 iOS / Android / Web 各端设备的 Action Space 中每一个原子操作封装为标准 MCP 工具，MCP 层向上统一暴露能力接口。

这一设计使开发者得以专注于构建具备业务语义的高阶 Agent，彻底摆脱底层 UI 控制细节的束缚，同时持续获得高成功率保障。

移动端能力全面升级

iOS 方面优化

• 全面兼容 WebDriverAgent 5.x 至 7.x 各版本
• 新增 WebDriver Clear API 支持，有效应对动态输入框清空失败问题
• 显著增强对新旧机型及系统版本的适配能力

Android 方面优化

• 引入截图轮询失败自动降级机制，大幅提升远程真机环境下的鲁棒性
• 新增屏幕方向智能识别与 displayId 截图适配，确保横竖屏切换场景下定位准确
• YAML 脚本中新增 runAdbShell 指令支持，扩展底层调试与控制能力

跨平台增强

• 在 Agent 实例层面开放系统级操作接口，涵盖 Home 键、返回键、最近任务等常用系统行为

API 及环境变量调整（均保持向后兼容）

方法名称变更：

• aiAction() → aiAct()（旧方法仍可用，但会触发弃用警告）
• logScreenshot() → recordToReport()（旧方法保留，附带弃用提示）

环境变量名称变更：

• OPENAI_API_KEY → MODEL_API_KEY（优先读取新变量，旧变量作为兜底选项）
• OPENAI_BASE_URL → MODEL_BASE_URL（新变量优先生效，旧变量兼容保留）

源码地址：点击下载