优秀博士论文推荐—张仕良—基于深度神经网络的语音识别模型研究

语音作为最自然、最有效的交流途径，一直是人机通信和交互领域最受关注的研究内容之一。自动语音识别的主要目的是让计算机能够"听懂"人类的语音。将语音波形信号转化成文本。它是实现智能的人机交互的关键技术之一。声学模型和语言模型是语音识别系统的两个核心模块。传统的语音识别系统普遍采用基于高斯混合模型和隐马尔科夫模型(Gaussian Mixture Model-Hidden Markov Model,GMM-HMM)的声学模型以及 n-gram 语言模型。近年来，随着深度学习的兴起，基于深度神经网络的声学模型和语言模型相比于传统的 GMM-HMM 和 n-gram 模型分别都获得了显著的性能提升。在此背景下，本论文从深度神经网络的模型结构出发，展开了较为系统和深入的研究，一方面对现有的模型进行优化，另一方面结合语音及语言信号的特性探究新的网络结构模型，从而提高基于深度神经网络的语音识别系统的性能和训练效率。首先，本文研究了基于前馈全连接深度神经网络(Deep Neural Networks,DNN)的语音声学建模。我们分别探索了基于 sigmoid 非线性激活函数的 DNN(sigmoid-DNN)和基于整流线性单元(Rectified Linear Units,ReLU)的 DNN(RL-DNN)的大词汇量连续语音识别。首先针对传统的 sigmoid-DNN，我们通过研究发现其隐层权重越往高层稀疏性越强的特性，提出了一种隐层节点递减的 DNN 结构，命名为 sDNN。实验结果表明 sDNN 可以在保持性能基本不变的情况下将模型参数量减少到 45%，从而获得 2 倍的训练加速。进一步地我们提出将 dropout 预训练作为一种神经网络的初始化方法，可以获得相比于传统的无监督 Pre-training 更好的性能。然后我们针对 RL-DNN 的研究发现，通过合理的参数配置，可以采用基于大批量的随机梯度下降算法来训练 RL-DNN，从而能够利用多个图形处理单元(Graphic Processing Unit,GPU)进行并行化训练，可以获得超过 10 倍的训练加速。进一步地我们提出了一种绑定标量规整的方法用于优化 RL-DNN 的训练，不仅使得训练更加稳定，而且能够获得显著的性能提升。其次，本文提出一种固定长度依次遗忘编码(Fixed-size Ordinally Forgetting Encoding,FOFE)方法用于语言模型建模。FOFE 通过简单的顺序遗忘机制来对序列中的单词位置进行建模，可以将任何可变长度的单词序列唯一地编码成固定大小的表达。本研究中，我们提出基于 FOFE 的前馈神经网络语言模型(FOFE-FNNLM)。实验结果表明，在不使用任何反馈连接的情况下，基于 FOFE 的 FNNLM 显著的优于标准的基于 1-of-k 编码作为输入的 FNNLM，同时也优于基于循环神经网络(Recurrent Neural Networks,RNN)的语言模型。再次，本文提出了一种新颖的神经网络结构，命名为前馈序列记忆神经网络(Feedforward Sequential Memory Networks,FSMN)。FSMN 可以对时序信号中的长时相关性(long-term dependency)进行建模而不需要使用反馈连接。本研究所提出来的 FSMN 可以认为是在标准的前馈全连接神经网络的隐藏层中配备了一些可学习的记忆模块。这些记忆模块使用抽头延迟线结构将长时上下文信息编码成固定大小的表达作为一种短时记忆机制。我们在语音识别声学建模以及语言模型建模任务上验证了所提出的 FSMN 模型。实验结果表明，FSMN 不仅可以取得相比于当前最流行的循环神经网络更好的性能，而且训练更加高效。在此基础上，我们探索了 FSMN 模型的改进，通过结合低秩矩阵分解的思路以及修改记忆模块的编码方式提出了一种结构简化的 FSMN，命名为 cFSMN。同时通过在 cFSMN 的记忆模块之间添加跳转连接，避免深层网络训练过程梯度消失的问题，实现了非常深层的 cFSMN 的训练。我们在 Switchboard 数据库以及 Fisher 数据库进行的声学建模实验验证了所提出的模型的性能。Fisher 数据库的实验结果表明基于深层的 cFSMN 的识别系统相比于主流的基于 BLSTM 的识别系统可以获得 13.8% 的相对词错误率下降。最后，本文提出一种用于高维数据建模的新模型，称之为联合优化正交投影和估计(Hybrid Orthogonal Projection and Estimation,HOPE)模型。HOPE 将线性正交投影和混合模型融合为一个生成模型。HOpe 模型本身可以从无标注的数据中通过无监督最大似然估计方法进行无监督学习，同时也可以采用带标注的数据进行有监督学习。更为有趣的是，我们的研究阐述了 HOPE 模型和神经网络之间的密切关系。HOPE 可以作为一个新的工具用于探究深度学习的黑盒子，以及用于有监督和无监督深度神经网络的训练。我们在语音识别 TIM1T 数据库以及图像分类 MNIST 数据库验证了基于 HOPE 模型的无监督、半监督以及有监督学习。实验结果表明，基于 HOPE 框架训练的神经网络相比于现有的神经网络在无监督、半监督以及有监督学习任务上都获得显著的性能提升。