一句话定位：清华大学团队提出的细粒度、基于评分量表（rubric）的幻灯片生成基准——用 238 个真实演示实例 × 每例平均 54.1 条二元检查项，把「PPT 做得好不好」从整体观感拆成可逐项核验的能力评分，是 AI PPT / 办公 Agent 出片质量的对标口径。
为什么值得关注
- 从”看起来美不美”转向”任务有没有完成”：不同于仅凭整体观感的 (M)LLM-as-a-Judge，PresentBench 关注能否理解输入材料、准确提炼内容、形成清晰叙事、以恰当视觉完成交付，并与人类偏好对齐更强
- 每例专属 rubric，可诊断：每条检查项都是二元问题（满足/不满足），并要求给出定位证据，可定位到具体失分维度，而不是只给一个总分
- 长材料 + 强约束：平均输入约 2.22 万 token（≈34 页原始材料），远高于”给一句主题、生成几页”的简单测试；要求内容严格扎根背景材料、禁止编造，量化信息需可回溯
- 实测分离度更高：论文称比既有方法（如 PPTEval 一类的整体打分）更可靠、更严格，揭示了 NotebookLM 等系统间的显著差距
评测集构成
| 项 | 说明 |
|---|
| 实例数 | 238 个专家筛选的真实评测实例 |
| 五大场景 | 学术 91 / 教育 60 / 经济 41 / 演讲 30 / 广告 16 |
| 材料来源 | 学术类取自 ICLR/ICML/CVPR/USENIX 顶会论文；教育类取自 CMU/MIT 等课程资料；经济与企业类取自 Microsoft/JPMorgan/OECD/World Bank 等公开报告 |
| 输入规模 | 平均约 22.2k token（≈34 页原始材料），含事实/数据/图表/结论 |
| 任务指令 | 规定演示目标、受众、结构、页数范围、必要章节、内容范围、视觉布局与风格；内容须基于材料、禁止篡改 |
| 检查项 | 每例平均 54.1 条原子化二元检查项 |
| 交付形态 | 完整 deck（PDF/PPTX），评审可端到端检查版面与忠实度 |
| 评测维度 | 演示基础规范 / 视觉设计与布局 / 内容完整性 / 内容正确性 / 内容忠实性 |
| 计分 | 每条检查项独立判”满足/不满足”+ 证据定位 → 计算各维度完成率 → 汇总为案例分与总榜成绩（0–1） |
五大评测维度
| 维度 | 考察点 |
|---|
| 演示基础规范 | 逻辑是否清晰、表达是否简洁、语言是否恰当、是否契合目标场景 |
| 视觉设计与布局 | 页面是否美观易读、布局是否合理 |
| 内容完整性 | 任务要求的关键信息是否被完整覆盖 |
| 内容正确性 | 数据、事实与结论是否准确 |
| 内容忠实性 | 内容是否真正扎根背景材料，是否存在无依据扩写/幻觉 |
榜单与结果
- 论文原始结论：NotebookLM 显著优于其他幻灯片生成方法（尤其在多个细项上），揭示该领域近期进展
- 公开榜（截至 2026-07）：华为云多模态智能团队
hwc-mmi-aippt 以 70.8 分登顶总榜；学术 72.6 / 教育 71.0 / 经济 72.8 三项场景第一，广告 60.1 第一、演讲 66.5 第二；维度上演示基础规范 90.3、内容完整性 79.9、内容正确性 72.2 三项第一，视觉设计 61.1、内容忠实性 50.3 两项第二（其 PPT 能力已上线华为云果办 OfficeAce）
- 第三方聚合榜（llm-stats，2026-10 快照）：ByteDance Seed 2.1 Pro 0.546 / Seed 2.1 Turbo 0.483（口径与官方榜不同，2 条均为自报，未核验）
- 分数区间 0–1，与 dumatebench 等 0–100 口径的榜不可直接横比
局限性
- 强依赖多模态评审（要同时判文本、图像、版面），评测成本与主观性随 rubric 设计波动
- 场景以学术/教育/经济/演讲/广告为主，偏知识型演示；对强设计感、品牌一致性等主观审美覆盖有限
- 公开榜样本仍少（官方榜领跑者单一、聚合榜仅 2 条自报），跨系统排名迁移性待更多提交验证
资源
相关页面