大學專業課程專業術語辨識實測報告
本次實測針對大學專業課程中的專業術語辨識進行跨領域評估,驗證 Techii 課堂術語自適應機制在真實授課情境下的辨識能力。測試涵蓋 20 門不同專業領域課程,系統在教師持續授課時即時產生字幕;教師不需預先輸入術語、上傳教材或進行其他設定,系統直接依據即時語音與課堂脈絡進行辨識。
國立臺灣大學李宏毅教授與華碩研究團隊共同進行的研究(Chung, Chen, & Lee, 2026)指出,即使是針對台灣華語與中英混用情境優化的 Breeze-ASR-25,在中文技術課程的專業術語辨識上仍存在改善空間,顯示語音辨識模型面對低頻詞彙、專業名詞及中英混用內容時,仍可能難以完整掌握課程語意。該研究為本次實測提供重要的學術參照,也凸顯專業課程術語處理的研究價值。Techii 則進一步針對大學課堂中的中文專業術語,建立課堂術語自適應機制,並在跨領域、零設定及即時字幕條件下進行驗證,以探討其在真實大學授課情境中的應用可行性。
| 研究/方法 | Precision | Recall | 測試條件 |
|---|---|---|---|
| Techii 課堂術語自適應機制 | 95.55% | 81.92% | 20 門跨領域課程、即時辨識、零設定 |
| Chung et al.(2026)混合術語表方法 | 82.73% | 62.05% | 結合自動與外部術語表 |
| Chung et al.(2026)自動建立術語表 | — | 60.13% | 依第一階段結果建立術語表 |
| Chung et al.(2026)Breeze-ASR-25 原始模型 | — | 52.50% | 中文技術課程 |
註:兩項研究在課程內容、資料集、術語選取方式、音訊條件及評估流程等方面均有所不同,因此表中數據僅供研究參考,不宜視為完全等條件下的直接比較。
在本次測試與相關研究的參考性比較下,Techii 在專業術語 Precision 與 Recall 皆呈現較高數值。更重要的是,Techii 的結果是在 20 門跨領域課程、零設定及即時字幕輸出的條件下取得,顯示其課堂術語自適應機制已具備支援真實大學授課的應用能力。
參考文獻:Chung, H.-L., Chen, Y., & Lee, H.-Y. (2026). Context-Aware ASR for Mandarin Technical Lectures. arXiv preprint arXiv:2607.05058.
依真實課堂條件進行實測
本次評估的是即時字幕,而非可離線反覆處理的後製字幕。系統必須在教師持續講授的同時快速輸出結果,只能依據當下已取得的有限資訊判斷專業術語,無法預先閱讀完整內容,也沒有充裕時間利用後續語句反覆回頭修正,因此更貼近真實課堂中的辨識挑戰。
選取課程與建立評估基準
由 ChatGPT 5.6 隨機挑選 YouTube 平台上公開且可自由觀看的國立大學線上課程作為測試樣本,共 20 門:國立臺灣大學 15 門、國立陽明交通大學 2 門、國立雲林科技大學 2 門,以及國防醫學院/三軍總醫院 1 門。每門截取前 5 分鐘,由 ChatGPT 與人工共同製作標準逐字稿,每門平均約 1,281 字;再由 ChatGPT 5.6 選出 30 個最具專業性與領域代表性的關鍵術語,合計評估 600 個術語。
直接重播真實課堂原音
直接使用公開課程影片中的原始授課音訊,不重新錄製、不降速,也不進行人工降噪或音質修飾。音訊依原始授課速度連續輸入系統,老師每段話說完後,系統必須在 500ms 內產生字幕,而非累積較長音訊後再分析、修正或重新轉錄。
零資訊直接播放辨識
YouTube 課程影片以正常速度直接播放,音訊同步輸入系統。測試全程不提供課程名稱、授課領域、教材、講義、投影片或專業術語清單,所有內容皆由系統根據當下接收到的語音自行判斷,並結合即時背景推理產生字幕。
依標準流程比對與計算
由 ChatGPT 5.6 依既定且一致的標準作業流程,將系統產生的即時字幕與 ChatGPT 及人工共同製作的標準逐字稿,以及 600 個關鍵術語逐一比對,並計算專業術語辨識的 Precision、Recall,以及整體字幕字正確率,確保 20 門課程皆以相同規則進行評估。
20 門課程、專業領域與辨識績效
測試 20 門國立大學線上教材,橫跨自然科學、生命科學、醫藥、商管、人文、設計與資訊科技等領域。為避免揭露個別課程資訊,下表以課程領域呈現專業術語辨識績效。。
若有研究或驗證需求,歡迎學研單位聯繫,可提供課程名稱與連結、測試方法及逐課結果供交流。
系統辨識出的專業術語中,正確結果所占的比例。
專業術語被系統正確辨識的比例。
| ID | 專業領域 | Precision | Recall | 字正確率 |
|---|---|---|---|---|
| C01 | 理工與自然科學 | 92.00% | 82.14% | 94.95% |
| C02 | 生命科學 | 85.71% | 73.68% | 87.39% |
| C03 | 人文與哲學 | 96.88% | 86.11% | 87.14% |
| C04 | 農業與商管 | 95.45% | 91.30% | 90.81% |
| C05 | 食品與營養 | 91.67% | 83.02% | 95.37% |
| C06 | 中醫與生理 | 100.00% | 79.66% | 94.88% |
| C07 | 設計與創新 | 97.65% | 93.26% | 96.27% |
| C08 | 藥學 | 81.08% | 42.86% | 69.24% |
| C09 | 藥學 | 100.00% | 59.30% | 74.25% |
| C10 | 財務與金融 | 97.14% | 86.08% | 88.93% |
| C11 | 財務與金融 | 95.52% | 83.12% | 96.00% |
| C12 | 行銷與消費 | 95.51% | 92.39% | 91.58% |
| C13 | 文化與傳播 | 100.00% | 86.96% | 89.43% |
| C14 | 會計 | 98.53% | 94.37% | 98.49% |
| C15 | 資訊與程式設計 | 100.00% | 62.71% | 90.18% |
| C16 | 生物與統計 | 93.88% | 69.70% | 88.48% |
| C17 | 人工智慧 | 97.98% | 96.04% | 97.59% |
| C18 | 設計 | 90.74% | 81.67% | 89.62% |
| C19 | 資訊與經濟 | 97.40% | 92.59% | 94.08% |
| C20 | 會計與財務 | 95.38% | 91.18% | 97.38% |
績效評估與結果分析
在 20 個不同領域的即時字幕測試中,專業術語辨識的 micro Precision 為 95.55%、micro Recall 為 81.92%,macro Precision 為 95.13%、macro Recall 為 81.41%。Micro 與 macro 結果相近,表示整體表現並非由少數文字量較大的課程主導,模型在多數領域均維持較高的專業術語精確率;換言之,字幕一旦輸出某個專業術語,通常能夠完整辨識正確。
Recall 約落後 Precision 13 至 14 個百分點,顯示主要錯誤來源並非大量產生錯誤術語,而是漏失或未完整輸出標準答案中的專業術語。這也反映即時字幕的核心挑戰:系統必須在有限延遲內完成辨識,無法像後製字幕一樣充分利用完整前後文反覆修正;此外,原始課程影片的收音品質、背景雜音、音量穩定度、講者與麥克風的距離及發音清晰度,也會直接影響辨識結果。
C08 領域邊界案例:藥物動力學
C08 是 20 門課程中辨識難度最高的領域邊界案例,其專業術語 Precision 為 81.08%、Recall 為 42.86%,字正確率為 69.24%。在 70 次標準術語出現中,系統完整命中 30 次,另有 40 次未完整命中與 7 次錯誤輸出。此結果明顯低於其餘多數課程,屬於特定領域詞彙組成造成的離群表現,不能直接代表系統在一般專業課堂中的整體能力。
錯誤型態高度集中於低頻英文藥名、符號縮寫、醫療實驗術語。例如「微透析」出現 4 次,僅命中 1 次。其他未完整命中的項目亦多屬藥理學低頻實體或專業縮寫。
這種結果高度符合底層通用 ASR 對低頻醫藥詞彙與特殊縮寫涵蓋不足時的典型特徵:若語音辨識階段未產生正確候選字串,後續情境判斷便缺乏足夠依據。系統為維持較高 Precision,不會在證據不足時任意替換成醫藥名詞,因此錯誤主要表現為未完整輸出,而不是大量生成錯誤術語,並直接反映在較低的 Recall。
此分析顯示,C08 的主要改善方向在於建立課程專屬名詞庫。系統提供領域詞彙自行輸入功能,教師可預先加入低頻藥名、專業縮寫與特定術語,協助系統在即時辨識時正確判斷。本報告因此將 C08 視為零設定條件下的領域邊界測試,用以呈現系統現況及明確可行的改善方向。
教師預先輸入關鍵詞的增益實驗
為驗證教師於課前自行輸入課程關鍵詞,是否能有效提升即時字幕的辨識表現,本研究另進行「預先匯入關鍵詞」實驗。實驗中,將前述每門課程的 30 個已知評估術語,視為教師於授課前自行輸入的課程專屬關鍵詞。
這項測試的目的不是宣稱系統能事先知道課程內容,而是模擬實際使用情境:教師若已掌握當週教材中的重要術語、人名、英文縮寫或低頻專業詞彙,可在課前透過關鍵詞輸入介面提供提示;系統於啟動辨識時載入這些詞彙,增加相關候選詞在即時辨識中的辨識機會。
| 評估指標 | 未匯入關鍵詞 | 匯入 600 詞 | 變化 |
|---|---|---|---|
| Micro Precision | 95.55% | 93.12% | -2.43 |
| Micro Recall | 81.92% | 86.82% | +4.90 |
| Macro Recall | 81.41% | 86.62% | +5.22 |
| 字正確率 | 90.70% | 91.39% | +0.69 |
變化單位:百分點
Recall 明顯提升
Micro Recall 由 81.92% 提高至 86.82%,增加 4.90 個百分點;Macro Recall 由 81.41% 提高至 86.62%,依原始未四捨五入數值計算增加 5.22 個百分點。Micro 與 Macro Recall 同時上升,表示改善並非只集中於少數課程,而是多數課程均能從預先載入關鍵詞中受益。
Precision 小幅下降
Micro Precision 由 95.55% 降至 93.12%,減少 2.43 個百分點。這表示較強的關鍵詞提示雖能減少術語漏失,但也可能使音訊證據不足或發音相近的片段更容易被偏向某個已載入詞彙,因而增加錯誤輸出或不當匹配。
實驗結果說明
整體而言,預先載入 keywords 呈現「提高 Recall 與字正確率,但犧牲部分 Precision」的結果。這並非單純追求越多關鍵詞越好,而是反映關鍵詞提示強度與誤匹配風險之間的平衡。實際部署時,教師可優先輸入低頻、容易誤辨、具課程代表性的詞彙,避免加入過多一般詞;系統亦可進一步依語音相似度與課堂脈絡調整提示權重,在維持高 Precision 的同時獲得 Recall 增益。