AI 做出來的東西，我們信得過嗎？醫療語音轉文字的測試方法
醫療 AI 不能只是「差不多正確」。為聯邦政府醫療領域的客戶測試雙語語音轉文字系統，讓我學到如何證明 AI 確實可靠。
作者：Aiden Mak · Zokforce 研究團隊 AI 工程師本文最初由 Quality IT Resourcing 於 2026 年 10 月 19 日發表在 LinkedIn，原題為 Healthcare AI Can’t Afford to Be Almost Right（英文）。
從「做得出來嗎？」到「信得過嗎？」
AI 改變了軟體開發的速度。過去一個團隊要花好幾週的工作，現在幾天內就能做出可運作的原型。這樣的速度，也讓每個要把 AI 投入實際工作的組織面對一個更難的問題：怎麼知道成果可靠？
我親眼看著大型語言模型，從連能運作的程式碼都寫不好，到寫出足以媲美資深工程師的程式碼，彷彿只是一眨眼的事。既然 AI 能做得這麼快，重要的問題就不再是「它做得出來嗎？」，而是「它做出來的東西，我們信得過嗎？」
我在曼尼托巴大學（University of Manitoba）攻讀電腦科學，專攻 AI 與機器學習。在 Zokforce 研究團隊，我以 LangGraph、MCP、檢索增強生成（RAG）、FastAPI 與 Google Cloud 打造 AI 代理系統。
聯邦政府醫療領域的客戶
我參與的專案之一，是為一位聯邦政府醫療領域的客戶評估一套語音轉文字系統。這套系統必須轉錄英語和法語對話，而且遇到醫療術語、各種口音、背景噪音，以及說話者在兩種語言之間切換時，仍要轉錄正確。
在醫療領域，轉錄錯誤不是表面上的小問題，它可能改變一份紀錄的意思。
客戶在驗收之前，需要的是系統可靠的證據，而不只是廠商一句「效果很好」。
答案已知的測試音訊
這類系統通常靠人工測試：由人朗讀腳本，再由人目視檢查轉錄稿。這樣做很慢，兩位測試人員的判斷也很少一致，而且沒有一輪測試能完全重現。
我協助設計了另一種做法：我們不靠人朗讀測試腳本，而是用文字轉語音產生測試音訊。因為腳本是我們寫的，我們清楚知道應該轉出什麼。
每段產生的音訊都送進語音轉文字系統，再把每份轉錄稿與原始腳本比對，用兩項標準指標評分：詞錯誤率（WER）與字元錯誤率（CER）。測試集可以擴充到涵蓋兩種語言和各種困難案例，每一輪測試也都能在每次變更後以相同方式重跑。客戶的驗收團隊因此拿到可重現、可量化的系統表現證據，而不是印象。
找出原因，而不只是找到錯誤
自動化能很快告訴你哪裡錯了，卻不會告訴你為什麼。轉錄稿出錯時，難的不是發現錯誤，而是找出原因。是音訊、口音、專業術語、語言切換，還是系統本身？
對任何把 AI 用在敏感工作上的組織來說，這個區別很重要。發現錯誤只是開始；理解系統為什麼失敗，並防止同樣的失敗再次發生，系統才真正可靠。
驗證要跟上打造的速度
對我來說，測試是打造 AI 的一部分，而不是事後才做的步驟。我自己的 AI 代理專案以 LangGraph 代理、MCP 工具與檢索技術打造，並配有一套每次變更都會自動執行的測試。
我最常看到的問題是，組織現在能很快打造 AI，卻無法同樣快地驗證它。多數組織評估 AI 仍然憑感覺：有人試了十個提示詞，答案看起來不錯，就上線了。
- 有人試了十個提示詞
- 答案看起來不錯
- 就上線了
- 事先定義正確答案
- 每一輪都測困難案例
- 每次變更後自動測試
- 風險高的地方由人審查
給領導者的四個習慣
我給企業領導者的建議：
- 用業務語言定義什麼是正確。 在衡量任何東西之前，先決定對您的工作而言，怎樣才算正確答案。
- 圍繞困難案例建立評估資料集。 一般情況通常沒問題；要測的是一旦出錯、傷害最大的情況。
- 每次變更後自動測試。 換一個模型、改一段提示詞或接上新的資料來源，都可能讓昨天還正常的功能失效。
- 在風險高的地方，讓人來把關。 只要錯誤會帶來實際後果，就保留人工審查。
大型語言模型系統的失敗往往無聲無息，而且分布不均。它們在一般情況下表現良好，卻在最關鍵的邊緣案例上出錯。
隨著 AI 代理承擔越來越多工作，評估將決定哪些系統能跨過亮眼的展示，成為日常可靠運作的系統。AI 現在打造程式碼和產品的速度前所未有，但人的判斷跟不上這個速度。人會疲倦，而審查正是錯誤溜過去的地方。能夠大規模驗證品質，可能會成為組織最寶貴的能力之一。
同樣的思維也貫穿 Zokforce 的 AI Harness 工程：與您的專家一起圍繞高風險的邊緣案例建立測試案例，每次更新在上線前自動評分，每個回答在有人採用之前都經過檢查。
參考資料
- Quality IT Resourcing，〈Healthcare AI Can’t Afford to Be Almost Right〉，LinkedIn，2026 年 10 月 19 日（英文）。
- Zokforce 研究團隊 AI 工程師 Aiden Mak：Aiden Mak 的 LinkedIn。
