How to build a hear-through system for in-ear headphones based on 2022 time-shift modeling?

论文地址：基于时移建模的入耳式耳机透听系统 引用格式： 摘要 　　透传(hear-through，HT)技术是通过增强耳机佩戴者对环境声音的感知来主动补偿被动隔离的。耳机中的材料会减少声音 500Hz以上的高频成分。HT算法利用麦克风和用户耳朵之间的相对传递函数(RTF)产生人造声音，从而弥补环境声音的损失。通常，HT的性能取决于环境声音的到达方向(direction of arrival，DOA)。本文提出了一种识别RTF的时移方案和一种精确计算补偿声音的主动均衡算法。还研制了一种整形滤波器，以防止低频人工声音的干扰。最后，将该算法集成到入耳式耳机中，并与一款商用产品的HT性能进行了比较，验证了该算法的有效性。 关键词：自适应系统，到达方向，穿透，入耳式耳机，被动隔离，相对传递函数 1 引言 　　随着近年来音频技术的进步，智能可听设备市场发展迅速。几家公司已经推出了智能耳机，为消费者提供了比传统耳机更好的听力体验[6]。此外，智能耳机市场占所有耳机市场的份额继续增加，到2026年，全球高端耳机市场预计将超过220亿美元。通常，智能耳机支持主动降噪(ANC)和透听(HT)[7]的切换功能。ANC有助于消除不必要的环境噪声，在过去十年中得到了很好的发展。HT补偿了耳机佩戴者环境声音的损失，有利于交流和增强听力[12][18]。由于耳机中的HT具有与助听器[7]类似的功能，近年来受到了广泛关注[19]。 　　包括入耳式耳机在内的智能耳机因其轻便便携而最受欢迎[6]，[20]。有几家公司已经推出了具有ANC和HT功能的入耳式耳机；但是，为了满足消费者的需求，还必须提高HT的性能。为了实现HT，连接在耳机外部的外部麦克风接收环境声，然后由扬声器创建并播放伪环境声，以补偿耳机造成的声学隔离，从而提供声学透明度[23]。戴耳机的人听到的声音500Hz以上的声音被隔绝。许多研究学者提出了改进的HT函数。Rämö和Välimäki提出了一种基于全通原理的均衡方法，用于耳机[25]的HT系统中，并分析了梳状效应[26]。Ranjan和Gan分析了耳机造成的声学隔离，并提出了自适应滤波技术，用于在开式耳机中再现自然听力[14]。Gan等人还开发了虚拟现实(VR)和增强现实(AR)应用程序，为耳机的佩戴者创造了自然和增强的听力体验。讨论了环境声的变化到达方向(DOA)，以设计HT滤波器为目标[17]。Gupta等人提出了参数HT均衡方案来估计声音的DOA，然后从预先计算的数据库中选择相应的HT滤波器来提高多源场景的性能[24]。Patel等人提出了定向HT耳机，该耳机在佩戴者面向的方向上集成了用于HT的麦克风阵列波束形成[29]。Zhuang和Liu表明，在频域中，HT滤波器设计问题可以用类似于ANC滤波器设计的方式来表述[30]。在此基础上，提出了一种约束HT滤波器的设计方法。此外，Gupta et al.[31]基于耳廓线索评估了个性化和非个性化HT均衡滤波器。Jin等人还通过估计鼓膜处的声压，设计了一种个性化的HT均衡滤波器[32]。大多数HT研究都集中在补偿由头戴耳机引起的声学隔离，以提高声学透明度[14]，[17]，[24]，[29], [33]。对入耳式耳机的评估很少。主要原因应该是入耳式耳机太小，难以控制；同时，小型扬声器在低频[34]时很难有良好的性能。因此，HT滤波器的计算必须有效地防止人工声音的回响。大多数入耳式耳机都有定制的耳塞，可以进一步屏蔽环境声音。耳塞有助于消除噪音，因为它们将佩戴者与大频率范围内的环境声音隔离开来，但使HT难以实现。 　　本工作开发了一种用于入耳式耳机的HT技术。要实现透传的听觉体验，必须补偿入耳式耳机的被动隔离效果。最直观的方法是在外部麦克风(带入耳式耳机)和鼓膜麦克风(内部麦克风，不带入耳式耳机)之间识别RTF，如图1所示。图1展示了用于集成外部麦克风与入耳式耳机的实验设置。实验中使用了一个假头的耳模拟器。内部麦克风是假头的耳朵。在HT应用中，由于外部和内部麦克风信号产生的条件不同，无法同时接收。因此，在本工作中，提出了时移方法来识别离线的RTF，以实现HT。由于耳塞在较宽的频率范围内将佩戴者与外部声音隔离，因此提出了一种shaping filter方法，在感兴趣的频率上产生补偿声音，从而减少DOA的影响并提高HT性能。 图1所示 一种与外部麦克风集成的入耳式耳机的设置 　　本文的其余部分组织如下。第二节讨论了基于所提出的时移建模方法和入耳式耳机主动透传均衡(AHE)算法的HT系统。第三节评价了所提出的算法，并讨论了所设计的shaping filter的优点。与商业化的入耳式耳机进行了比较。第四节得出结论。