如何实现基于深度学习的语音增强模型压缩技术？

论文地址：面向基于深度学习的语音增强模型压缩 论文代码：没开源，鼓励大家去向作者要呀，作者是中国人，在语音增强领域 深耕多年 引用格式：Tan K, Wang D L. Towards model compression for deep learning based speech enhancement[J]. IEEE/ACM transactions on audio, speech, and language processing, 2021, 29: 1785-1794. 摘要 　　在过去的十年里，深度神经网络(DNNs)的使用极大地提高了语音增强的性能。然而，要实现较强的增强性能通常需要较大的DNN，而DNN既消耗内存又消耗计算量，这使得这种语音增强系统很难部署在硬件资源有限的设备或延迟要求严格的应用程序上。在本研究中，我们提出了两个压缩方法来减小基于DNN的语音增强模型的size，其中包含了三种不同的技术：稀疏正则化、迭代剪枝和基于聚类的量化。我们系统地研究了这些技术，并评估了建议的压缩方法。实验结果表明，我们的方法在不显著牺牲增强性能的前提下，大大减小了四个不同模型的尺寸。此外，我们发现所提出的方法对说话人分离有很好的效果，进一步证明了该方法对语音分离模型压缩的有效性。 关键字：模型压缩，稀疏正则化，剪枝，量化，语音增强 1 引言 　　语音增强的目的是将目标语音从背景噪声中分离出来。受计算听觉场景分析中时频(T-F)掩蔽概念的启发，语音增强被表述为有监督学习[45]，[46]。在过去的十年里，许多数据驱动的算法已经被开发出来解决这个问题，其中信号中的鉴别模式是从训练数据中学习的。深度学习的迅速发展极大地促进了有监督语音增强。自从深度学习成为研究界语音增强的主要方法以来，人们对在现实世界的应用和产品(如耳机)中部署基于DNN的增强系统越来越感兴趣。然而，由于DNN[1]、[5]具有可识别的过参数化特性，要获得满意的增强性能，需要较大的DNN，这既需要计算量，又需要占用内存。这类DNN很难部署在对延迟敏感的应用程序或资源有限的设备上。因此，如何在语音增强中减少内存和计算量成为一个日益重要的问题。 　　深度学习社区开发了各种模型压缩技术，大致可以分为以下几类[4]。 网络剪枝：旨在减少了可训练参数的数量。它根据一定的准则[34]来选择和删除最不重要的权值集。两项开创性工作是最优脑损伤[23]和最优脑外科医生[12]，它们利用损失函数的hessian矩阵来确定每个权重的重要性(即权重显著性)。剔除显著性最小的权重，对剩余权重进行微调，以恢复丢失的精度。 张量分解：它通过基于权重张量的低秩将一个大的权重张量分解为多个较小的张量来减少冗余。 知识蒸馏：将知识从一个预先训练好的大模型转移到一个相对较小的模型，称为知识蒸馏[15]。大DNN产生的软目标用于指导小DNN的训练。该方法在图像分类[36]和语音识别[2]，[27]等分类任务中被证明是有效的。 轻量化模型设计：通过设计参数更高效的网络结构[16]，[17]，[52]来降低DNN的推理成本。 网络量化：它减少权值、激活或两者的位宽。一种简单的方法是用全精度训练DNN，然后直接量化学习到的权值，结果表明，对于相对较小的DNN[18]，[22]，这将显著降低精度。为了弥补准确性的损失，在[18]中开发了量化感知训练，在训练过程中引入了模拟量化效应。对训练好的权值[3]，[10]，[11]，[19]进行聚类，实现权值量化。 　　在过去的几年里，越来越多的研究致力于提高DNN用于语音增强的推理效率。在[25]中，开发了整数加法器DNN，使用整数加法器实现浮点乘法。评估结果表明，整数加法器DNN与具有相同结构的全精度DNN的语音质量相当，但在计算和内存方面更高效。Ye等人[50]迭代地修剪DNN用于语音增强，其中权值的重要性是通过简单地将权值的绝对值与预定义阈值进行比较来确定的。实验结果表明，他们的修剪方法可以将前馈DNN压缩约2倍，且不会降低主观可理解性的增强性能。在[49]中，Wu等人使用修剪和量化技术压缩全卷积神经网络(FCN)，用于时域语音增强。他们的结果表明，这些技术可以显著减小FCN的大小而不降低性能。最近，Fedorov等人的[6]进行了剪枝和整数量化来压缩递归神经网络(RNN)以增强语音，这可以将RNN的大小降低到37%，同时尺度不变信噪比(SI-SNR)降低了0.2 dB。 　　尽管DNN压缩技术在图像处理等其他领域得到了广泛的发展和研究，但这些技术大多只在分类任务上进行了评估。由于基于DNN的语音增强通常被视为回归任务，对于语音增强，特定的压缩技术是否有效以及如何结合不同的技术来实现高压缩率仍不清楚。