一个新 AI 工具发布时，你看完演示，往往会产生很具体的冲动：这个也许能替代我现在用的。
注册、导入资料、试几个提示词，第一天的结果通常不错。到了第三天，你回到真实工作，发现历史资料不在里面、输出还要重改、同事也没有使用。
过一周，浏览器收藏夹里多了一个链接，信用卡里可能多了一项订阅。
问题不一定出在工具。你比较的可能是新工具精心选择的演示场景，和旧工具每天承担的脏活累活。
先停止比较功能数量
功能列表能说明产品想做什么，无法说明它能否完成你的任务。
同一个“总结文档”功能，面对三页说明书和两百页混合格式资料，难度完全不同。同一个“生成代码”功能，写演示组件和修改已有项目也不是一件事。
开始评估前，先写下过去两周真实发生的三到五个任务。例如：
- 从多份材料中整理一份带来源的判断；
- 修改一个已有代码库里的具体功能；
- 把会议记录变成责任明确的行动项；
- 根据固定品牌要求改写一篇文章；
- 处理一份包含表格和图片的长文档。
任务必须来自你的工作，不要为了照顾工具的强项临时设计。
锁定输入和成功条件
每个工具使用相同输入、相同资料和相同交付要求。
成功条件要在看到结果前写清。例如“事实与原文一致、关键来源可定位、人工修改不超过约定范围、最终文件能进入现有流程”。
NIST 把测试、评估、验证和确认列为 AI 风险管理的实际工作；OpenAI 的评估指南也要求先定义任务、测试数据与评分标准，再运行比较。[^1][^2] 这些资料支持“先固定任务和判定口径”，并不支持本文替任何具体工具排名。
如果某个工具需要特殊格式，可以记录这项准备成本。不能默默为喜欢的工具多花一个小时整理输入，再把结果与其他工具直接比较。
隐私和公司资料不适合进入测试时，使用可公开的等价任务。合成任务与真实任务要分开标记，不能假装它们具有相同难度。
五个维度够不够
第一项是场景匹配。它能否完成你现在就有的任务，而非“未来可能会用”。
第二项是交付质量。输出是否准确、完整，经过多少人工修改才能真正使用。
第三项是使用摩擦。登录、上传、等待、格式转换、协作和导出需要多少步骤。
第四项是总成本。除了订阅或 API 费用，还包括准备输入、重试、检查和返工。
第五项是退出难度。历史数据能否导出，工作流是否被专有格式锁住，停止付费后哪些内容还能访问。
五项不必等权。写代码的人可能更重视上下文和集成，偶尔做图片的人可能更重视单次质量和按需付费。
评分前先写权重。结果出来后再调整权重，很容易把偏爱的工具推到第一名。
不要试图一次评出“全能第一名”
写作、代码、搜索、图片和自动化需要的能力不同。
把所有任务放进一张总榜，会让擅长某个高权重场景的工具掩盖其他短板，也会让最终分数失去解释。
更实用的做法是按任务保留结论：哪个适合长文档，哪个适合代码修改，哪个只适合偶尔备用。
一个人也不一定需要为每类任务保留付费工具。低频任务可以使用免费层、按量付费或临时开启一个月。
评估范围要提前限制。工具数量太多时，先根据数据边界、平台兼容和预算排除明显不合适的候选，再对剩余三项做深测。
没有进入深测的工具要写明排除原因，避免几周后因为忘记又重新试一遍。
评估期间不要同时迁移全部历史资料。先用副本完成测试，确认导出、权限和删除方式以后，再决定是否把它放进长期工作。
测试账号与正式账号也应分开。
评分不能只写“感觉更好”
一到五分看起来精确，如果没有判定条件，只是把感觉换成数字。
可以为每个维度写锚点：
| 维度 | 1 分 | 3 分 | 5 分 |
|---|---|---|---|
| 任务完成 | 无法交付 | 大量修改后可用 | 少量修改即可交付 |
| 摩擦 | 多次中断或转换 | 可以完成但步骤多 | 能进入现有流程 |
| 成本 | 难以预估或超限 | 可接受但需控制 | 口径清楚且稳定 |
| 导出 | 无法取出关键数据 | 部分可导出 | 常用格式完整导出 |
中间分数必须能解释原因。备注比总分更重要，它会告诉你问题发生在哪里。
把失败和人工介入一起记录
工具第一次成功，可能只是运气好。至少重复一轮，或在同类任务上测试多个样本。
每次记录：
- 输入版本和运行时间；
- 使用的模型、套餐或功能；
- 原始输出；
- 错误、重试和中断；
- 人工修改内容与时间；
- 最终是否进入真实交付。
“生成只用了三十秒”没有包含检查和返工。评估的是从任务开始到可交付结果的总过程。
出现安全风险、成本超过上限、连续失败达到预登记次数，或任务定义已经改变时，应停止测试。失败工具仍留在表里。
新工具和旧工具要公平比较
旧工具已经积累模板、快捷方式和使用习惯，新工具拥有新鲜感。两边都有偏差。
可以设置一个学习窗口，让新工具获得基本熟悉时间，但这段时间也要记录。
还要比较“不使用任何付费工具”的基线。有些任务免费方案、普通搜索或人工完成已经足够。
如果三个工具都没有明显改善，正确决定可能是一个都不订。
最后只做四种决定
第一种是保留主工具。它承担稳定任务，结果和成本都可接受。
第二种是保留备用。只在特定任务或主工具失败时使用，优先选择免费层或按月开启。
第三种是继续观察。工具有潜力，但测试样本太少或产品仍在快速变化。
第四种是停止。没有稳定任务、人工修改过多、成本不清楚，或退出风险太高。
排行榜不应该替你做这个决定。别人的第一名，可能刚好不适合你的资料、流程和风险边界。
当前这张表还没有跑出结果
作者尚未使用同一任务集完成至少三个工具的真实比较，也没有登记原始输出和人工修改。
同任务、同输入的三工具比较尚未完成，因此本文不发布工具排名，也不把五维框架写成已经证明有效的标准。
后续结果可能发现某个维度没有区分度，或者旧工具仍然最好。方法被现实推翻，也应进入复盘。
从“想试的新工具”列表里选一个：你能写出它必须完成的三件真实任务吗？
如果写不出来，暂时不需要注册。写得出来，就等三个工具完成同一组任务后，再作出保留、备用或停止的决定；三个月后检查这个决定有没有被真实使用推翻。