OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
2024-04-12 · 已核验
论文信息
从这篇论文开始研究
选择研究模式后，论文和原始模型会进入工作台上下文。
复现状态
代码尚未核验
权重尚未核验
配置尚未核验
环境尚未核验
尚未补充结构化复现记录。
模型角色拓扑
这里只展示数据明确记录的角色与模型关系，不推断未记录的 workflow 边。
策略
GPT-4GPT-4V
基线
Claude 3 OpusGemini 1.5 Pro
当前论文记录没有 workflow 边；上方仅展示已记录的角色拓扑，不把 Actor、Environment、Critic 或 Optimizer 关系当作事实。
模型角色
GPT-4
策略 · 未更新权重 · GPT-4 作为 OSWorld 计算机操作智能体接受评估。
GPT-4V
策略 · 未更新权重 · GPT-4V 作为多模态 OSWorld 智能体接受评估。
Claude 3 Opus
基线 · 未更新权重 · Claude 3 Opus 在 OSWorld 上参与基准测试。
Gemini 1.5 Pro
基线 · 未更新权重 · Gemini 1.5 Pro 在 OSWorld 上参与基准测试。