云從科技將數(shù)據(jù)集上的錯(cuò)詞率降至2.97% 刷新語(yǔ)音識(shí)別紀(jì)錄

10 月 29 日，云從科技宣布在全球最大的開(kāi)源語(yǔ)音識(shí)別數(shù)據(jù)集 Librispeech 上，將錯(cuò)詞率(Worderrorrate，WER)降到了 2.97%，并將 Librispeech 的 WER 指標(biāo)提升了 25%，超過(guò)阿里、百度、約翰霍普金斯大學(xué)等企業(yè)及高校，刷新了原先記錄。

將Librispeech 數(shù)據(jù)集上的錯(cuò)詞率降至2.97%Librispeech 是當(dāng)前衡量語(yǔ)音識(shí)別技術(shù)的最權(quán)威主流的開(kāi)源數(shù)據(jù)集，錯(cuò)詞率(Worderrorrate，WER)是衡量語(yǔ)音識(shí)別技術(shù)水平的核心指標(biāo)。

DS2：百度，ESPnet：約翰霍普金斯大學(xué)，DFSMN-CE：阿里

云從科技在 Librispeech 數(shù)據(jù)集上將錯(cuò)詞率(Worderrorrate，WER)降到了 2.97%，較之前提升了 25%。這項(xiàng)成果有利于語(yǔ)音識(shí)別技術(shù)的進(jìn)步，也有助于推動(dòng)語(yǔ)音識(shí)別帶來(lái)良好的智慧交互體驗(yàn)。

云從科技此次推出的語(yǔ)音識(shí)別模型 Pyramidal-FSMN 融合圖像識(shí)別與語(yǔ)音識(shí)別的優(yōu)勢(shì)，將殘差卷積網(wǎng)絡(luò)和金字塔記憶模塊的序列記憶網(wǎng)絡(luò)相結(jié)合, 能夠同時(shí)有效的提取空間和時(shí)間上不同粒度的信息，對(duì)比目前業(yè)界使用最為廣泛的 LSTM 模型，訓(xùn)練速度更快、識(shí)別準(zhǔn)確率更高。

語(yǔ)音識(shí)別技術(shù)近年進(jìn)展2017 年 3 月，IBM 結(jié)合了 LSTM 模型和帶有 3 個(gè)強(qiáng)聲學(xué)模型的 WaveNet 語(yǔ)言模型。「集中擴(kuò)展深度學(xué)習(xí)應(yīng)用技術(shù)終于取得了 5.5% 錯(cuò)詞率的突破」。相對(duì)應(yīng)的是去年 5 月的 6.9%。

2017 年 8 月，微軟發(fā)布新的里程碑，通過(guò)改進(jìn)微軟語(yǔ)音識(shí)別系統(tǒng)中基于神經(jīng)網(wǎng)絡(luò)的聽(tīng)覺(jué)和語(yǔ)言模型，在去年基礎(chǔ)上降低了大約 12% 的出錯(cuò)率，錯(cuò)詞率為 5.1%，聲稱(chēng)超過(guò)專(zhuān)業(yè)速記員。相對(duì)應(yīng)的是去年 10 月的 5.9%，聲稱(chēng)超過(guò)人類(lèi)。

2017 年 12 月，谷歌發(fā)布全新端到端語(yǔ)音識(shí)別系統(tǒng)(State-of-the-art Speech Recognition With Sequence-to-Sequence Models)，錯(cuò)詞率降低至 5.6%。相對(duì)于強(qiáng)大的傳統(tǒng)系統(tǒng)有 16% 的性能提升。

2018 年 6 月，阿里巴巴達(dá)摩院推出了新一代語(yǔ)音識(shí)別模型 DFSMN，將全球語(yǔ)音識(shí)別準(zhǔn)確率紀(jì)錄提高至 96.04%，錯(cuò)詞率降低至 3.96%。

2018 年 10 月，云從科技發(fā)布全新 Pyramidal-FSMN 語(yǔ)音識(shí)別模型，將錯(cuò)詞率(Worderrorrate，WER)降低至 2.97%，較之前提升了 25%。

Pyramidal-FSMN 語(yǔ)音識(shí)別模型原理解析

云從科技提出的新型網(wǎng)絡(luò)結(jié)構(gòu)，能更加有效的提取空間和時(shí)間特征的角度，為語(yǔ)音識(shí)別進(jìn)一步發(fā)展提供了一些新的思路：

模型設(shè)計(jì)采用一種殘差卷積網(wǎng)絡(luò)和金字塔記憶模塊的序列記憶網(wǎng)絡(luò)相結(jié)合的結(jié)構(gòu);

訓(xùn)練方式使用 lattice-free 最大互信息(lattice-free maximum mutual information，LF-MMI/Chain)與交叉熵(cross entropy，CE)損失函數(shù)相結(jié)合的多任務(wù)學(xué)習(xí)技術(shù);

解碼部分采取 RNNLM rescoring 的方式，利用 RNN 提取一個(gè)句子中的長(zhǎng)期語(yǔ)義信息，從而更有效地幫助聲學(xué)模型得到準(zhǔn)確的句子。

如下圖所示，作者采用了由 6 層 Residual CNN 和 10 層 Pyramidal-FSMN 相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)。前端網(wǎng)絡(luò)借鑒了圖像識(shí)別中經(jīng)典的 Residual CNN 結(jié)構(gòu)，更有效地提取特征與時(shí)間相互的關(guān)聯(lián)信息，同時(shí) skip connection 避免了 CNN 網(wǎng)絡(luò)加深之后梯度消失和梯度爆炸問(wèn)題。在金字塔記憶模塊中，淺層的網(wǎng)絡(luò)主要聚焦于音素本身的特征學(xué)習(xí)，所以只需抽取短時(shí)上下文信息，而深層的網(wǎng)絡(luò)由于已經(jīng)學(xué)習(xí)到了足夠的固定時(shí)間的音素信息，需要學(xué)習(xí)長(zhǎng)時(shí)間包括語(yǔ)義和語(yǔ)法特征，所以深層抽取長(zhǎng)時(shí)間的上下文信息。利用這樣的金字塔結(jié)構(gòu)，既能減少參數(shù)，縮小模型結(jié)構(gòu)，也能更加精巧的模擬人類(lèi)處理語(yǔ)音信號(hào)的過(guò)程，提高識(shí)別效果。

在損失函數(shù)部分，作者采用了基于 LF-MMI 的序列性訓(xùn)練方式。同時(shí)為了解決序列性訓(xùn)練容易導(dǎo)致過(guò)擬合的問(wèn)題，又引入了傳統(tǒng)的交叉熵?fù)p失函數(shù)，在 LF-MMI 輸出之外加入另一個(gè)輸出層作為一個(gè)正則技術(shù)，通過(guò)設(shè)置交叉熵的正則化系數(shù)，兩個(gè)目標(biāo)能夠有效地學(xué)習(xí)并且避免過(guò)擬合問(wèn)題。

最后，作者使用了 RNNLM rescoring 技術(shù)對(duì)解碼做進(jìn)一步處理。在沒(méi)有 RNNLM rescoring 的情況下，Pyramidal-FSMN 已經(jīng)達(dá)到了目前最好的結(jié)果，rescoring 之后又有了更進(jìn)一步的提升。

聲學(xué)模型和 RNNLM 的訓(xùn)練數(shù)據(jù)完全基于 Librispeech 和通用的語(yǔ)言模型數(shù)據(jù)集，并沒(méi)有額外引入其他的訓(xùn)練數(shù)據(jù)這樣的「技巧」性策略。