已评测 10/10，成功评分 10/10。 更新：2026-11-11 18:21:43。
| 固定任务 | claude-opus-5-5 | gpt-6-astra |
|---|---|---|
| bw_0003 · 细胞膜图文建模 | 89.38 · 工程 ZIP：保存在实验服务器 | 86.25 · 工程 ZIP：保存在实验服务器 |
| bw_0006 · 航天展台图文重建 | 87.50 · 工程 ZIP：保存在实验服务器 | 93.12 · 工程 ZIP：保存在实验服务器 |
| bw_0100 · Ahmed 车体流场示意 | 70.75 · 工程 ZIP：保存在实验服务器 | 82.38 · 工程 ZIP：保存在实验服务器 |
| bw_0111 · 汽水瓶产品图 | 90.00 · 工程 ZIP：保存在实验服务器 | 86.88 · 工程 ZIP：保存在实验服务器 |
| bw_0214 · 金鱼视频动画 | 73.19 · 工程 ZIP：保存在实验服务器 | 71.77 · 工程 ZIP：保存在实验服务器 |
| opus 五题均分 | 82.16 | |
| astra 五题均分 | 84.08 | |
分数范围 0–100。最终分 = 50% 加权二元 rubric + 50% 八维视觉质量分。只有五题全部有终态时报告均分；失败计 0，保留在分母。
本次是两模型各 5 题的覆盖性试跑（2 文本、2 图文、1 视频），不是 223 题完整排名。输入和题目先固定，两模型使用同一套生成工具与预算。生成可调用 Bash、Read、Write、Edit、Glob、Grep，运行 Blender Python；未配置 Blender MCP 或外部资产服务。
审阅结论：本次五题样本：Opus 平均 82.16，Astra 平均 84.08；Astra 相对 Opus 的均分差为 +1.92。逐题胜出数为 Opus 3、Astra 2，平分 0。这只是固定小样本结果，不能外推全量排名。
查看原始题目全文、参考图片或视频、附件和共同执行指令，也可下载完整输入。已核验两个模型使用的输入文件逐字节一致。
下面描述的是这次 10 次运行的实际设置：采用 BlenderWorld 官方任务与评分器，由自建脚本调度，两个模型均通过 Claude Code 执行任务。数据以 Harbor 任务目录格式提供，本次没有直接运行完整的 Harbor harness。
模型需要实际调用工具、制作场景、运行渲染并交付文件，不能只回答一段 Blender 代码。两模型使用预先固定的同样五道题，每题各运行一次。
| 任务 | 模型收到的输入 | 要制作的内容 |
|---|---|---|
| bw_0003 | 文字要求＋参考图片 | 细胞膜示意图 |
| bw_0006 | 文字要求＋参考图片 | 航天展台场景 |
| bw_0100 | 文字要求＋scene_spec.md | Ahmed 车体流场示意图 |
| bw_0111 | 文字要求 | 汽水瓶与玻璃杯产品图 |
| bw_0214 | 文字要求＋参考视频 | 金鱼动画 |
/workspace/
├── inputs/ 输入材料
│ ├── query.txt 任务文字要求
│ ├── input.json 输入文件清单
│ ├── references/ 参考图片或视频（按题提供）
│ ├── attachments/ 规格附件（按题提供）
│ ├── instruction.html 任务说明页面
│ └── reference_images.base64.json
├── work/ 制作过程中的临时文件
│ ├── *.py 模型编写的 Blender/Python 脚本
│ ├── previews/ 预览图、视频抽帧等（示例目录）
│ └── *.log 渲染日志（文件名由模型决定）
└── exports/ 最终交付目录
├── final.blend 可编辑 Blender 工程
├── *.png / *.mp4 任务要求的图片或视频
└── textures/ ... 依赖资源，或打包进 blend
例如 Opus 细胞膜题在宿主机上对应 /root/blenderworld/experiment/generation/opus/bw_0003/。工作空间通过 bubblewrap 文件系统挂载隔离；没有挂载隐藏 rubric、其他模型作品目录或真实 API 密钥。Blender 和 Python 等运行环境另行挂载。该隔离不是完整虚拟机隔离，宿主进程信息仍可能可见。
Harness 是负责启动模型、执行工具调用、收集结果和控制预算的运行程序。Claude Code 负责 agent 工具循环；实际做出建模和工具调用决策的是指定的被测模型。
| 配置项 | 本次实际设置 |
|---|---|
| 调度与记录 | 自建 Python 脚本，准备输入、启动沙箱、记录日志与时间、打包交付 |
| 生成运行器 | 两模型均为 Claude Code 2.1.311；评测端保持官方 2.1.220 |
| 可用工具 | Bash、Read、Write、Edit、Glob、Grep |
| Blender | 4.2.10，通过 Python bpy 操作 |
| 其他工具 | Python、Pillow、NumPy、ffmpeg；视频可抽帧后读取 |
| 计算资源 | CPU 渲染，每个活动任务分配 8 个 CPU 亲和性位置 |
| 预算 | 每题最多 8 小时、500 轮；配置 high 推理 |
| 模型连接 | Opus 使用 Messages；Astra 使用 Responses 适配，保留图片、工具结果及可重放推理条目 |
| Blender MCP | 本次未配置 |
两模型时间和轮数上限相同，但不是严格等 token 预算。接口适配及单次输出上限存在差异：Astra 为 32,768，Opus 沿用 CLI 原生设置。
每次运行最终留下三类产物：模型作品 ZIP、完整评测证据、审阅网页。其中 ZIP 包含可编辑工程和任务要求的图片或视频，评测证据包含标准视角、结构检查、裁判原始输出与评分结果。
气动题要求保存 GPU/OptiX 配置；两模型在本次 CPU 环境下均保存了 CPU/OpenImageDenoise，因此相关条目均失分。这里保留官方原始评分，具体扣分与技术恢复记录见下方“配置与复现差异”。
Opus 的 bw_0006 首次评测因结构证据 JSON 尾部混入 Blender 标准输出而解析失败。恢复时仅删除该尾部日志，保留原始文件、结构裁判结论和八张渲染图，再执行缺失的官方视觉评分；未修改模型交付或评分值。恢复记录及 recovery_original/ 保存失败现场。
气动题 bw_0100：Opus 70.75，Astra 82.375。两者均因支柱遮挡而未满足四根支柱全部可见的要求，且均保存了 CPU/OpenImageDenoise 配置；Opus 还因车体压力图未明显呈现红色分支失分。R08 要求 GPU/OptiX，与本次 CPU 环境相关，两者该项均折合总分损失 6 分；保留官方原始评分，不做事后加分。裁判证据：Opus、Astra。
运行观察：Opus 产品图 bw_0111 的渲染结束后，模型用 pgrep -f 等待进程退出，命令模式同时匹配自身，导致继续等待其设定的 90 分钟工具超时。测试未人工中断或修改提交；该任务最终成功完成，总生成时间约 157.6 分钟，得分 90.00；生成墙钟时间包含该等待，不能全归因于渲染速度。进程证据。
| 模型 | 平均墙钟时间（分钟） | 平均交互轮数 | 平均输出 token |
|---|---|---|---|
| opus | 163.8 | 35.4 | 43,096 |
| astra | 153.7 | 80.6 | 40,730 |
墙钟时间包含 CPU 渲染和网关等待，不是纯推理速度。输出 token 按 CLI 回传用量记录，可包含推理 token；不报告未经核实的美元成本。总体预算同为 8 小时/500 轮；单次输出上限按实际接口配置，Astra 适配器为 32,768，Opus 沿用 CLI 原生设置，因此不是等 token 预算实验。
上游 README 与 SHA256SUMS 不一致已经单独记录；本次任务资源均与固定版本一致。当前报告不包含接口密钥。CLI 显示的美元成本是客户端估算，不能当作网关实际账单。