AI 做出来的东西，我们信得过吗？医疗语音转文本的测试方法
医疗 AI 不能只是「差不多正确」。为联邦政府医疗领域的客户测试双语语音转文本系统，让我学到如何证明 AI 确实可靠。
作者：Aiden Mak · Zokforce 研究团队 AI 工程师本文最初由 Quality IT Resourcing 于 2026 年 10 月 19 日发表在 LinkedIn，原题为 Healthcare AI Can’t Afford to Be Almost Right（英文）。
从「做得出来吗？」到「信得过吗？」
AI 改变了软件开发的速度。过去一个团队要花好几周的工作，现在几天内就能做出可运行的原型。这样的速度，也让每个要把 AI 投入实际工作的组织面对一个更难的问题：怎么知道成果可靠？
我亲眼看着大型语言模型，从连能运行的代码都写不好，到写出足以媲美资深工程师的代码，仿佛只是一眨眼的事。既然 AI 能做得这么快，重要的问题就不再是「它做得出来吗？」，而是「它做出来的东西，我们信得过吗？」
我在曼尼托巴大学（University of Manitoba）攻读计算机科学，专攻 AI 与机器学习。在 Zokforce 研究团队，我使用 LangGraph、MCP、检索增强生成（RAG）、FastAPI 和 Google Cloud 打造 AI 代理系统。
联邦政府医疗领域的客户
我参与的项目之一，是为一家联邦政府医疗领域的客户评估一套语音转文本系统。这套系统必须转录英语和法语对话，而且遇到医学术语、各种口音、背景噪声，以及说话人在两种语言之间切换时，仍要转录正确。
在医疗领域，转录错误不是表面上的小问题，它可能改变一份记录的意思。
客户在验收之前，需要的是系统可靠的证据，而不只是供应商一句「效果很好」。
答案已知的测试音频
这类系统通常靠人工测试：由人朗读脚本，再由人逐一查看转录稿。这样做很慢，两位测试人员的判断也很少一致，而且没有一轮测试能完全复现。
我参与设计了另一种做法：我们不靠人朗读测试脚本，而是用文本转语音生成测试音频。因为脚本是我们写的，我们清楚知道应该转出什么。
每段生成的音频都送入语音转文本系统，再把每份转录稿与原始脚本对比，用两项标准指标评分：词错误率（WER）和字符错误率（CER）。测试集可以扩展到覆盖两种语言和各种困难案例，每一轮测试也都能在每次变更后以相同方式重新运行。客户的验收团队因此拿到可复现、可量化的系统表现证据，而不是印象。
找出原因，而不只是找到错误
自动化能很快告诉你哪里错了，却不会告诉你为什么。转录稿出错时，难的不是发现错误，而是找出原因。是音频、口音、专业术语、语言切换，还是系统本身？
对任何把 AI 用在敏感工作上的组织来说，这个区别很重要。发现错误只是开始；弄清系统为什么失败，并防止同样的失败再次发生，系统才真正可靠。
验证要跟上打造的速度
对我来说，测试是打造 AI 的一部分，而不是事后才做的步骤。我自己的 AI 代理项目由 LangGraph 代理、MCP 工具和检索技术构成，并配有一套每次变更都会自动运行的测试。
我最常看到的问题是，组织现在能很快打造 AI，却无法同样快地验证它。多数组织评估 AI 仍然凭感觉：有人试了十个提示词，答案看起来不错，就上线了。
- 有人试了十个提示词
- 答案看起来不错
- 就上线了
- 事先定义正确答案
- 每一轮都测困难案例
- 每次变更后自动测试
- 风险高的地方由人审核
给领导者的四个习惯
我给企业领导者的建议：
- 用业务语言定义什么是正确。 在衡量任何东西之前，先确定对您的工作而言，怎样才算正确答案。
- 围绕困难案例构建评估数据集。 一般情况通常没问题；要测的是一旦出错、损失最大的情况。
- 每次变更后自动测试。 换一个模型、改一段提示词或接入新的数据源，都可能让昨天还正常的功能失效。
- 在风险高的地方，由人来把关。 只要错误会带来实际后果，就保留人工审核。
基于大型语言模型的系统，失败往往悄无声息，而且分布不均。它们在一般情况下表现良好，却在最关键的边缘案例上出错。
随着 AI 代理承担越来越多的工作，评估将决定哪些系统能跨过亮眼的演示，成为日常可靠运行的系统。AI 现在打造代码和产品的速度前所未有，但人的判断跟不上这个速度。人会疲倦，而审核正是错误溜过去的地方。能够大规模验证质量，可能会成为组织最宝贵的能力之一。
同样的思路也贯穿 Zokforce 的 AI Harness 工程：与您的专家一起围绕高风险的边缘案例建立测试案例，每次更新在上线前自动评分，每个回答在有人采用之前都经过检查。
参考资料
- Quality IT Resourcing，《Healthcare AI Can’t Afford to Be Almost Right》，LinkedIn，2026 年 10 月 19 日（英文）。
- Zokforce 研究团队 AI 工程师 Aiden Mak：Aiden Mak 的 LinkedIn。
