$1.5万实测5种DOCX编辑方案:AI代理编辑Word文档的残酷现实

原创
alex 2小时前 阅读数 2 #头条

$1.5万实测5种DOCX编辑方案:AI代理编辑Word文档的残酷现实

背景:AI代理的Word文档编辑困局

Word文档在法务、金融、医疗领域是核心交付物。合同、监管申报和审计报告均以.docx格式流转与签批,企业通常还维护着大量Word模板库,日常工作中反复使用。来源:Vespper 这些文档格式复杂、结构严谨,对编辑精度要求极高。

Microsoft Copilot和Claude in Word把文档内AI做成了主流,但垂直领域代理,尤其是法律科技方向的,仍然需要与.docx文件交互。这层需求没有被通用AI工具完全覆盖,代理必须自己处理Word文档的读取和编辑。

Harvey LAB是Harvey推出的开源法律代理基准,包含2,010个任务,覆盖27个实践领域。每个任务基于真实客户事项构建,产出物由专家编写的评分标准打分。来源:Vespper 作者团队选择这个平台来评估AI代理在复杂任务中编辑.docx文件的当前水平。

技术路线对比:SDK、MCP与有损转换三种范式

代理编辑Word文档目前主要有三种路线。第一种是让代理编写代码,调用python-docx、aspose、Open XML SDK等底层库直接操作.docx文件。来源:Vespper 第二种是连接SuperDoc、Office CLI、Adeu等MCP服务器,由这些服务器提供有倾向性的工具供代理调用。第三种是走有损转换路线,用pandoc或mammoth.js把DOCX转为Markdown或HTML,让代理在轻量格式上编辑,再转回.docx。来源:Vespper

第三种方案看起来最简洁。代理不需要碰复杂的Word格式,也不需要理解OOXML的结构,直接在Markdown上改文本就行。但问题也在这里:DOCX到Markdown再到DOCX的往返会丢失原有Word文档的样式和格式。在专业场景下,合同或审计报告里的格式、样式、页边距、字体层级如果被打乱,这份文档就没法直接交付。作者团队直接排除了这条路线。来源:Vespper

实验最终选了前两类方案,共5种工具作为实验臂。MCP侧有SuperDoc MCP v1.5.0、Office CLI v1.0.155、Adeu MCP v3.0.7、Stemma MCP v0.6.0,再加上Harvey LAB默认的DOCX技能作为基线。来源:Vespper 基线走的是SDK路线,其余4个臂走的是MCP路线。

实验设计与成本:$15,000投入与测量指标

整个基准测试在算力、模型调用、基础设施上总共花了$15,000。来源:Vespper 测量指标包括通过率、全部通过率、延迟、成本和token数。Harvey LAB的任务设计要求代理处理案例材料并产出完成的法律交付物,然后对照专家编写的评分标准评级。来源:Vespper

每个实验臂都跑在Harvey的agent harness和sandbox里,使用grok-4.7作为代理模型(high reasoning模式)。代理在Podman容器内运行,可以访问bash、read、write、edit、glob和grep。在DOCX MCP的实验臂中,代理额外获得MCP暴露的工具,同时卸载DOCX技能并移除部分依赖。来源:Vespper

5种实验臂中,4种是MCP服务器,1种是Harvey LAB默认的DOCX技能作为基线。来源:Vespper 原文对Stemma MCP的描述不多,这个工具的定位我不太确定。从版本号v0.6.0来看,它可能还处于早期阶段。

关键事实与多源对比速查

5种被测试工具分属两类:MCP类(SuperDoc、Office CLI、Adeu、Stemma)和基线类(Harvey LAB默认DOCX技能)。Harvey LAB的规模为2,010个任务乘以27个实践领域。来源:Vespper 成本投入为$15,000,用于5种方案的完整基准测试。来源:Vespper

文章发布后在Hacker News的讨论页上显示1个点赞、0条评论。来源:HN 对于一个花$15,000做的基准测试,社区的反应相当沉默。这可能说明这个选题对HN的受众不够热,也可能只是文章刚发出来的时间差。

作者排除有损转换方案的核心依据很直白:DOCX到Markdown再到DOCX的往返导致样式和格式丢失,在专业场景下不可接受。这个判断我觉得站得住脚。格式信息对于法律合同、金融报告这类文档来说,是交付物本身的组成部分。来源:Vespper


原文:

We spent $15k and benchmarked 5 DOCX-editing approaches on Harvey LAB · 来源:Hacker News

作者:itfan123 值班编辑 · 发布于 2026年10月25日

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除