Meta AI推出全語言ASR，將自動語音辨識技術提升至1,600多種語言。

Meta科技公司旗下專注於人工智慧和擴增實境技術的研究部門 元人工智能 宣布推出 Meta 全語言自動語音辨識 (ASR) 系統。 

這套模型可自動識別超過 1,600 種語言的語音，並以前所未有的規模實現了高品質的辨識效能。此外，Meta AI 還開源了 Omnilingual wav2vec 2.0，這是一個擁有 7 億個參數的自監督式大規模多語言語音表示模型，旨在支援各種下游語音任務。

除了這些工具之外，該組織還發布了 Omnilingual ASR Corpus，這是一個精選的、包含 350 種服務不足語言的轉錄語音的集合，由該組織與全球合作者共同開發。

近年來，自動語音辨識技術取得了長足進步，在許多常用語言中實現了近乎完美的準確率。然而，由於現有人工智慧架構對資料和運算資源的高要求，將覆蓋範圍擴展到資源較少的語言仍然面臨挑戰。 Omnilingual ASR 系統透過將 wav2vec 2.0 語音編碼器擴展到 7 億個參數來解決這一限制，從而從原始的、未經轉錄的語音中創建豐富的多語言表示。兩種解碼器變體將這些表示映射到字元標記：一種使用連接主義時序分類 (CTC)，另一種使用類似於大型語言模型中基於 Transformer 的方法。

這種受 LLM 啟發的 ASR 方法在 1,600 多種語言中實現了最先進的性能，其中 78% 的語言字元錯誤率低於 10%，並且引入了一種更靈活的方法來添加新語言。 

與需要專家精細調優的傳統系統不同，Omnilingual ASR 僅需少量音文本配對樣本即可整合先前不支援的語言，無需大量資料、專業知識或高階運算資源即可實現轉錄。雖然零樣本結果目前尚不及完全訓練的系統，但這種方法為將服務不足的語言納入數位生態系統提供了一種可擴展的方式。

Meta AI 將利用全語言 ASR 套件和語料庫來推進語音辨識技術的發展 

該研究部門發布了一套全面的模型和一個數據集，旨在推進任何語言的語音技術發展。基於 FAIR 先前的研究成果，Omnilingual ASR 包含兩種解碼器變體，從適用於低功耗設備的輕量級 300 億模型到可在各種應用中提供高精度的 7 億模型，應有盡有。通用的 wav2vec 2.0 語音基礎模型也提供多種規模，使其能夠勝任 ASR 以外的各種語音相關任務。所有模型均採用 Apache 2.0 許可，資料集採用 CC-BY 許可，這使得研究人員、開發人員和語言倡導者能夠利用 FAIR 的開源 fairseq2 框架在 PyTorch 生態系統中適配和擴展語音解決方案。

Omnilingual ASR 使用迄今為止規模最大、語言最多樣化的 ASR 語料庫之一進行訓練，該語料庫結合了公開資料集和社群提供的錄音。為了支持數位普及程度較低的語言， 元人工智能 我們與當地組織合作，在偏遠或資訊匱乏的地區招募並補償母語人士，創建了迄今為止規模最大的超低資源自發性語音辨識資料集－全語言自動語音辨識語料庫（Omnilingual ASR Corpus）。此外，透過語言技術合作夥伴計劃，我們與世界各地的語言學家、研究人員和語言社群開展了合作，包括與 Mozilla 基金會的 Common Voice 和 Lanfrica/NaijaVoices 的合作。這些努力提供了深入的語言學見解和文化背景，確保該技術在滿足當地需求的同時，也賦能全球多元化的語言社群。