1.本公开涉及计算机技术领域，进一步涉及语音技术领域，尤其涉及一种音频处理方法、装置、电子设备及存储介质。
背景技术：2.语音的风格迁移，是指将说话者的音色、情绪及语调等特点赋予到合成的语音中。这样的合成应用非常广泛，例如，在变声系统、语音聊天、在线游戏中隐藏说话人的真实身份，来模仿他人以达到娱乐的效果等。
3.相关方案中，采用有监督的方式实现音频风格迁移，但是，由于无法对于音频的风格进行准确刻画，如语音中的音调、音量等，导致最终的迁移效果不佳。
技术实现要素：4.本公开提供了一种音频处理方法、装置、电子设备及存储介质，以至少解决相关技术中音频风格迁移效果差的技术问题。
5.根据本公开的一方面，提供了一种音频处理方法，包括：从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；将目标声谱特征转换成目标音频。
6.根据本公开的又一方面，提供了一种模型训练方法，包括：获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。
7.根据本公开的又一方面，提供了一种音频处理装置，包括：第一获取模块，用于从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；第二获取模块，用于从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；处理模块，用于对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；转换模块，用于将目标声谱特征转换成目标音频。
8.根据本公开的又一方面，提供了一种模型训练装置，包括：数据集获取模块，用于
获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；数据集处理模块，用于根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；训练模块，用于基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。
9.根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的音频处理方法。
10.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的音频处理方法。
11.根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的音频处理方法。
12.在本公开中，通过从原始音频获取第一目标特征向量，第一目标特征向量用于表征原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；进而对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；最后将目标声谱特征转换成目标音频，达到了对音频风格进行高效、准确迁移的目的，从而解决了相关技术中音频风格迁移效果差的技术问题。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据相关技术的一种音频处理模型的架构示意图；
16.图2是根据本公开实施例的一种用于实现音频处理方法的计算机终端(或移动设备)的硬件结构框图；
17.图3是根据本公开实施例的一种音频处理方法流程图；
18.图4是根据本公开实施例的一种风格韵律提取网络模型的训练示意图；
19.图5是根据本公开实施例的一种音频处理方法的示意图；
20.图6是根据本公开实施例的一种模型训练方法流程图；
21.图7是根据本公开实施例的一种音频处理装置的结构框图；
22.图8是根据本公开实施例的一种模型训练装置的结构框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识
到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.音频风格迁移合成一般包含两种情况：一种是基于指定文本结合目标音频，合成出内容为指定文本并且风格是目标音频说话人的音频；另外一种是基于指定音频结合目标音频，合成出内容为指定音频并且风格是目标音频说话人的音频。
26.图1是根据相关技术的一种音频处理模型的架构示意图，如图1所示，该音频处理模型能够进行音频风格迁移，该模型包括对于内容(phoneme)方面的特征提取，说话人(speaker)特性的提取，音频声谱(mel-spectrogram)特征的预测，最后将音频声谱通过现有的声码器(vocoder)转换为音频。这里的声码器可以基于机器学习的算法，如声码器算法(griffin-lim)，或者基于深度学习的模型，如波形网络(wavenet)、波形循环神经网络(wavernn)等。另外，如果在风格迁移时提供的是指定音频，一般需要语音识别模型对指定音频的内容进行提取，或者是采用长短期记忆(long short-term memory，lstm)，注意力模型(attention)等常规的神经网络，对指定音频的内容特征进行提取。
27.相关技术中的音频风格迁移方案是一种有监督的方式，需要标注音频文本或说话人，标记成本较高。同时，在说话人特性中没有完全将内容特性进行分离，因而在一定程度上影响了音频风格的迁移效果。此外，上述方案对于音频风格中的音调、音量等特性进行特征提取时不够准确，对多个说话人特性的泛化能力有限。因此，相关技术中的音频风格迁移方式最终的迁移效果较差。
28.根据本公开实施例，提供了一种音频处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
29.本公开实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。图2示出了一种用于实现音频处理方法的计算机终端(或移动设备)的硬件结构框图。
30.如图2所示，计算机终端200包括计算单元201，其可以根据存储在只读存储器(rom)202中的计算机程序或者从存储单元208加载到随机访问存储器(ram)203中的计算机程序，来执行各种适当的动作和处理。在ram 203中，还可存储计算机终端200操作所需的各种程序和数据。计算单元201、rom 202以及ram 203通过总线204彼此相连。输入/输出(i/o)
接口205也连接至总线204。
31.计算机终端200中的多个部件连接至i/o接口205，包括：输入单元206，例如键盘、鼠标等；输出单元207，例如各种类型的显示器、扬声器等；存储单元208，例如磁盘、光盘等；以及通信单元209，例如网卡、调制解调器、无线通信收发机等。通信单元209允许计算机终端200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
32.计算单元201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元201的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元201执行本文所描述的音频处理方法。例如，在一些实施例中，音频处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元208。在一些实施例中，计算机程序的部分或者全部可以经由rom 202和/或通信单元209而被载入和/或安装到计算机终端200上。当计算机程序加载到ram 203并由计算单元201执行时，可以执行本文描述的音频处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行音频处理方法。
33.本公开中描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
34.此处需要说明的是，在一些可选实施例中，上述图2所示的电子设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图2仅为特定具体实例的一个实例，并且旨在示出可存在于上述电子设备中的部件的类型。
35.在上述运行环境下，本公开提供了如图3所示的音频处理方法，该方法可以由图2所示的计算机终端或者类似的电子设备执行。图3是根据本公开实施例的一种音频处理方法流程图。如图3所示，该方法可以包括如下步骤：
36.步骤s31，从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；
37.上述原始音频能够为最终合成的目标音频提供音频内容。
38.具体的，从原始音频获取第一目标特征向量的实现过程可参照对于本公开实施例的进一步介绍，不予赘述。
39.步骤s32，从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征所述待迁移音频的说话人特征；
40.上述待迁移音频能够为最终合成的目标音频提供音频风格韵律和说话人信息，其
中，音频风格韵律包括音调、音量。
41.具体的，从待迁移音频获取第二目标特征向量和第三目标特征向量的实现过程可以参照对于本公开实施例的进一步介绍，不予赘述。
42.步骤s33，对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；
43.具体的，对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征的实现过程可以参照对于本公开实施例的进一步介绍，不予赘述。
44.步骤s34，将目标声谱特征转换成目标音频。
45.根据本公开上述步骤s31至步骤s34，通过从原始音频获取第一目标特征向量，第一目标特征向量用于表征原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；进而对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；最后将目标声谱特征转换成目标音频，达到了对音频风格进行高效、准确迁移的目的，从而解决了相关技术中音频风格迁移效果差的技术问题。
46.下面对上述实施例的音频处理方法进行进一步介绍。
47.作为一种可选的实施方式，在步骤s31，从原始音频获取第一目标特征向量包括：
48.步骤s311，利用内容特征提取网络模型对原始音频的第一音频特征进行内容特征提取处理，得到第一目标特征向量。
49.上述第一音频特征为原始音频的梅尔频谱(mel bank features)特征，其中，第一音频特征中包括说话人情绪、年龄以及说话内容等信息。
50.具体的，内容特征提取网络模型包括5个卷积层，实体规整(instance normalization，in)层，矢量量化(vector quantization，vq)层，对比预测编码(contrastive predictive coding，cpc)层。其中，每个卷积层的激活函数为线性整流函数(rectified linearunit，relu)。
51.作为一种可选的实施方式，在步骤s311，利用内容特征提取网络模型对原始音频的第一音频特征进行内容特征提取处理，得到第一目标特征向量包括：
52.利用内容特征提取网络模型执行以下步骤：
53.步骤s3111，对第一音频特征进行卷积处理，得到第一中间特征向量；
54.步骤s3112，对第一中间特征向量进行实体规整，得到第二中间特征向量；
55.步骤s3113，对第二中间特征向量进行矢量量化，得到第三中间特征向量；
56.步骤s3114，对第三中间特征向量进行对比预测编码，得到第一目标特征向量。
57.具体的，对第一音频特征进行卷积处理，得到第一中间特征向量e＝{e1,e2,
……
,e
t
}，进而利用in层对第一中间特征向量e＝{e1,e2,......,e
t
}的每个维度进行规整，得到实体规整后的第二中间特征向量，随后通过vq层对第二中间特征向量进行矢量量化，得到离散化的第三中间特征向量q＝{q1,q2,
……
,q
t
}。最后，为进一步去除说话人信息，如情绪、年龄等，利用cpc层对第三中间特征向量q＝{q1,q2,
……
,q
t
}进行对比预测编码，得到第一目标特征向量。通过cpc层进行对比预测编码，内容特征提取网络模型可以学习到更多的局
部结构信息，同时丢弃掉底层的低级信息和噪声，进而得到更准确的内容特征。
58.在in层中，假设空间中各个维度相互独立，对各个维度分别进行规整。例如，对输入到in层的第一中间特征向量，从不同维度计算均值与方差，进而进行实体规整，得到第二中间特征向量，规整的计算过程如以下公式(1)至公式(3)所示：
[0059][0060][0061][0062]
其中，ε是一个很小的常量，用于避免计算不稳定。mc'[w]表示卷积层其中一个通道(channel)的输出结果，即w维向量中的第w维结果，μc为该通道输出的w维向量的均值，σc为该通道输出的w维向量的标准差。
[0063]
基于上述步骤s3111至步骤s3114，能够利用内容特征提取网络模型对原始音频的第一音频特征进行内容特征提取处理，能够快速准确地得到原始音频的内容特征。
[0064]
作为一种可选的实施方式，音频处理方法还包括：
[0065]
步骤s41，对第一中间特征向量进行梯度停止操作，得到第一处理结果；
[0066]
步骤s42，计算第一处理结果与第三中间特征向量之间在二维欧氏空间下的第一欧氏距离；
[0067]
步骤s43，对第三中间特征向量进行梯度停止操作，得到第二处理结果；
[0068]
步骤s44，计算第一中间特征向量与第二处理结果之间在二维欧氏空间下的第二欧氏距离；
[0069]
步骤s45，利用第一欧氏距离与第二欧氏距离确定第一损失；
[0070]
步骤s46，根据第一损失更新网络模型参数，其中，网络模型参数包括：内容特征提取网络模型的模型参数。
[0071]
具体的，在vq层中有一个预设的编码本qv，qv中包含v个编码向量。第一中间特征向量e通过欧氏距离选择编码本中的最近的一个编码向量，从第一中间特征向量e转变为第三中间特征向量q，能够将特征向量压缩到更紧凑的空间，以去除不重要的信息，从而保留基础的语言学信息。
[0072]
利用第一中间特征向量e＝{e1,e2,
……
,e
t
}和第三中间特征向量q＝{q1,q2,
……
,q
t
}通过以下公式(4)确定第一损失l
vq
：
[0073][0074]
其中，sg表示梯度停止(stop-gradient)操作，用于防止训练过程中网络模型崩溃。为第一处理结果与第三中间特征向量之间在二维欧氏空间下的第一欧氏距离，第一欧氏距离用于更新编码本，为第一中间特征向量与第二处理结果之间在二维欧氏空间下的第二欧氏距离，第二欧氏距离用于限制输入增长的任意性，β的取值为0.25，用于调节以上两项的权重。利用第一损失能够更新内容特征提取网络
模型的模型参数，从而能够利用内容特征提取网络模型获取更准确的原始音频内容特征。
[0075]
基于上述步骤s41至步骤s46，通过对第一中间特征向量进行梯度停止操作，得到第一处理结果，进而计算第一处理结果与第三中间特征向量之间在二维欧氏空间下的第一欧氏距离；随后对第三中间特征向量进行梯度停止操作，得到第二处理结果，进而计算第一中间特征向量与第二处理结果之间在二维欧氏空间下的第二欧氏距离；最后利用第一欧氏距离与第二欧氏距离确定第一损失，能够快速准确地计算量化损失并根据第一损失快速更新网络模型参数。
[0076]
作为一种可选的实施方式，音频处理方法还包括：
[0077]
步骤s51，基于第三中间特征向量获取上下文向量；
[0078]
步骤s52，采用上下文向量，通过至少一个线性预测器，得到预测向量；
[0079]
步骤s53，在以目标数量确定的取值范围内，利用第三中间特征与预测向量进行第一指数运算，得到第一运算结果，以及利用第三中间特征与预测向量进行第二指数运算，得到第二运算结果，其中，目标数量为至少一个线性预测器的数量；
[0080]
步骤s54，对第一运算结果与第二运算结果进行对数运算，确定第二损失；
[0081]
步骤s55，根据第二损失更新网络模型参数，其中，网络模型参数包括：内容特征提取网络模型的模型参数。
[0082]
具体的，在cpc层中，基于第三中间特征向量q通过一个lstm层获取上下文向量c＝{c1,c2,
……
,c
t
}，进而通过k(k＝20)个线性预测器(linear predictor)得到预测向量z，通过计算比对第三中间特征向量q与预测向量z的相似性，以提升第三中间特征向量q之间的区分性，并且去除说话人特征。
[0083]
采用上下文向量，通过k个线性预测器，得到预测向量，对于k个线性预测器中的每个线性预测器，利用第三中间特征q＝{q1,q2,
……
,q
t
}、预测向量z和目标数量k通过以下公式(5)确定第二损失l
cpc
：
[0084][0085]
其中，是利用第三中间特征与预测向量进行第一指数运算得到的第一运算结果，是利用第三中间特征与预测向量进行第二指数运算得到的第二运算结果。
[0086]
可选地，利用上述第二损失可以更新内容特征提取网络模型的模型参数。
[0087]
可选地，根据第一损失和第二损失更新内容特征提取网络模型的模型参数。
[0088]
基于上述步骤s51至步骤s55，能够利用第三中间特征、预测向量和目标数量快速确定内容特征提取网络模型中的第二损失，以用于快速更新内容特征提取网络模型的模型参数。
[0089]
作为一种可选的实施方式，音频处理方法还包括：
[0090]
步骤s61，对第一中间特征向量和第三中间特征向量进行说话人特征编码处理，得到第一初始特征向量；
[0091]
可选地，利用说话人编码网络模型对第一中间特征向量和第三中间特征向量进行说话人特征编码处理，得到第一初始特征向量。
[0092]
具体的，说话人编码网络模型包括卷积层、平均池化层(average-pooling)和线性
层(linear)。说话人编码网络模型能够利用convbank层扩大感受野，抓取长时信息，最后利用池化层将整个语句的信息特征进行聚合，得到第一初始特征向量以表征说话人特征s。说话人编码网络模型的输入为第一中间特征向量e和第三中间特征向量q的差。其中，第一中间特征向量e中包含说话人特征，第三中间特征向量q不包含说话人特征，利用两者的差进行说话人特征编码处理，有助于去除内容信息，获得更准确的第一初始特征向量，即说话人特征s。
[0093]
说话人编码网络模型主要是对说话人身份(speaker identity)的特点进行建模，说话人的说话特点由有意识和无意识的活动组成，一般变化性很强。
[0094]
从声谱角度出发包括3类，一个是内在稳定的粗粒度特性，这部分特性是由说话人的生理结构特点决定的，不同说话人的特性不同，从主观听觉上感受不同，主要表现在声谱的低频区域。例如，平均的音高、反映声道冲激响应的频谱包络(spectral envelope)、共振峰(formant)的相对幅度与位置等。
[0095]
另外一个是不稳定的短时声学特性，发音的快慢急剧抖动(sharp and rapid)情况、基音频率(pitch)、响度(intensity)、频谱的精细化结构等，这些特性能够反映说话人心理或精神方面的变化，在交谈时可以通过改变这些特性来表达不同的情绪与意图，对听感影响比较大。
[0096]
最后一个是重音(stress)、停顿(pause)等与说话人本身无关的特性，但也对主观听觉有一定影响。
[0097]
说话人特性复杂，而且难以刻画，本公开的说话人编码网络模型通过多层卷积网络，能够提取到不同级别的特征，进而加以综合后得到准确的说话人特征。
[0098]
步骤s62，对第一中间特征向量进行风格韵律特征提取处理，得到第二初始特征向量；
[0099]
可选地，利用风格韵律提取网络模型对第一中间特征向量进行风格韵律特征提取处理，得到第二初始特征向量。
[0100]
步骤s63，通过声谱解码网络模型对第一初始特征向量、第二初始特征向量和第三中间特征向量进行声谱解码处理，得到预测声谱特征；
[0101]
上述声谱解码网络模型包括卷积层、bn层、lstm层和linear层，通过声谱解码网络模型对第一初始特征向量、第二初始特征向量和第三中间特征向量进行拼接处理，得到预测声谱特征。在进行拼接处理前，需要对第一初始特征向量和第二初始特征向量按照音频长度进行拷贝。例如，当音频长度为t帧时，对第一初始特征向量和第二初始特征向量进行拷贝重复至t帧。
[0102]
例如，对第一中间特征向量e和第三中间特征向量q进行说话人特征编码处理，得到第一初始特征向量s，对第一中间特征向量进行风格韵律特征提取处理，得到第二初始特征向量ψ，通过声谱解码网络模型对第一初始特征向量s、第二初始特征向量ψ和第三中间特征向量q进行声谱解码处理，得到预测声谱特征。
[0103]
步骤s64，计算预测声谱特征与真实声谱特征在一维欧氏空间下的第三欧氏距离，以及计算预测声谱特征与真实声谱特征在二维欧氏空间下的第四欧氏距离；
[0104]
步骤s65，利用第三欧氏距离与第四欧氏距离确定第三损失；
[0105]
步骤s66，根据第三损失更新网络模型参数，其中，网络模型参数包括：内容特征提
取网络模型的模型参数和/或声谱解码网络模型的模型参数。
[0106]
具体的，通过一阶范数、二阶范数计算第三损失，进而利用第三损失反向更新声谱解码网络模型参数。
[0107]
利用预测声谱特征与真实声谱特征i确定通过以下公式(6)确定第三损失l
rec
：
[0108][0109]
其中，是预测声谱特征与真实声谱特征在一维欧氏空间下的第三欧氏距离，是预测声谱特征与真实声谱特征在二维欧氏空间下的第四欧氏距离。
[0110]
可选地，通过第一损失、第二损失和第三损失中至少之一更新网络模型参数，其中，网络模型参数包括：内容特征提取网络模型参数和/或声谱解码网络模型参数。
[0111]
例如，通过第三损失更新内容特征提取网络模型参数和/或声谱解码网络模型参数；或者，通过第一损失和第三损失更新内容特征提取网络模型参数和/或声谱解码网络模型参数；或者，通过第二损失和第三损失更新内容特征提取网络模型参数和/或声谱解码网络模型参数；或者，通过第一损失、第二损失和第三损失更新内容特征提取网络模型参数和/或声谱解码网络模型参数。
[0112]
具体的，通过第一损失l
vq
、第二损失l
cpc
和第三损失l
rec
利用以下公式(7)确定音频风格迁移网络模型的损失函数：
[0113]
l
vc
＝l
rec
+l
vq
+l
cpc
ꢀꢀꢀꢀ
公式(7)
[0114]
基于音频风格迁移网络模型的损失函数更新内容特征提取网络模型参数和/或声谱解码网络模型参数。
[0115]
基于上述可选的实施例，能够通过第一损失、第二损失和第三损失中至少之一更新内容特征提取网络模型的模型参数和/或声谱解码网络模型的模型参数，进而对于网络模型的性能进行进一步优化，以提升音频风格迁移的效果。
[0116]
基于上述步骤s61至步骤s66，能够快速获取对于声谱重建的损失函数，并根据第三损失快速更新内容特征提取网络模型的模型参数和/或声谱解码网络模型的模型参数。
[0117]
作为一种可选的实施方式，在步骤s32，从待迁移音频获取第二目标特征向量包括：利用风格韵律提取网络模型对待迁移音频的第二音频特征进行风格韵律特征提取处理，得到第二目标特征向量。
[0118]
具体的，利用风格韵律提取网络模型执行以下步骤：
[0119]
步骤s321，对待迁移音频的风格韵律特征进行调整处理，得到调整后的第一音频；
[0120]
上述待迁移音频的风格韵律特征包括：待迁移音频的音调和/或音量。上述调整处理包括对于待迁移音频的增强或减弱处理，对待迁移音频的音调或音量的调整处理可以交替进行。
[0121]
可选地，对待迁移音频的音调进行增强处理，对待迁移音频的音量不进行调整处理，得到调整后音频。
[0122]
可选地，对待迁移音频的音调不进行调整处理，对待迁移音频的音量进行增强处理，得到调整后音频。
[0123]
可选地，对待迁移音频的音调进行增强处理，对待迁移音频的音量进行调整处理，得到调整后音频。
[0124]
步骤s322，确定调整后音频的梅尔频谱特征对应的目标排序概率，其中，目标排序概率用于确定调整后音频的梅尔频谱特征调整方式；
[0125]
上述梅尔频谱特征(即mel谱特征)调整方式包括但不限于以下方式之一：
[0126]
方式一、对调整后音频的mel谱特征进行增强处理；
[0127]
方式二、对调整后音频的mel谱特征进行减弱处理；
[0128]
方式三、对调整后音频的mel谱特征保持原样不变。
[0129]
具体的，在风格韵律提取网络模型的训练过程中，随机采取上述任意一种调整方式对mel谱特征进行调整处理。
[0130]
步骤s323，基于目标排序概率，利用风格韵律提取网络模型对待迁移音频的第二音频特征和调整后音频的第三音频特征进行风格韵律特征提取处理，得到第二目标特征向量。
[0131]
具体的，第二音频特征x为从待迁移音频中提取的mel谱特征，第三音频特征x
aug
为从调整后音频中提取的mel谱特征。目标排序概率为＜τ
p
,τv＞，其中，τ
p
为音调的目标排序概率，τv为音量的目标排序概率。在一个可选实施例中，当目标排序概率的取值为0.5(即τ
p
与τv均取值为0.5)，表示对上述从调整后音频中提取到的mel谱特征保持原样不变；当目标排序概率的取值为0(即τ
p
与τv的取值中至少之一从0.5开始逐渐减小)，表示对上述从调整后音频中提取到的mel谱特征进行减弱处理；当目标排序概率的取值为1(即τ
p
与τv的取值中至少之一从0.5开始逐渐变大)，表示对上述从调整后音频中提取到的mel谱特征进行增强处理。
[0132]
在获取到上述目标排序概率之后，将该目标排序概率、待迁移音频的第二音频特征以及调整后音频的第三音频特征设置为风格韵律提取网络模型的输入参数，利用该风格韵律提取网络模型进行风格韵律特征提取处理，以输出音频属性强度排名的预测概率，进而得到第二目标特征向量，最终实现对于风格韵律提取网络模型的训练。
[0133]
图4是根据本公开实施例的一种风格韵律提取网络模型的训练示意图，如图4所示，风格韵律提取网络模型包括韵律编码模块和排序模块。其中，韵律编码模块包括卷积层、lstm层和均值函数层(average)，排序模块包括linear层和标准化层(normalization)。通过排序模块提取更加准确的深度相对属性，不需要标签，采用完全自监督的形式，从而能够节省标注成本。
[0134]
具体的，采用音频领域的开源数据集对初始风格韵律提取网络模型进行预训练，例如，单人朗读数据集(ljspeech)或者多人朗读数据集(vctk)。其中，vctk的数据特性更加丰富。风格韵律提取网络模型的损失函数为二值交叉熵(binary cross entropy，bce)，具体可以通过以下公式(8)至公式(10)计算二值交叉熵l
prosody
：
[0135][0136][0137][0138]
其中，r为排序模块的输出，表示相应属性强度的大小，p为后处理得到的分数，表示两个相同属性强度的比较，即对于第二音频特征x与第三音频特征x
aug
之间音调或音量比
较程度的衡量。
[0139]
利用二值交叉熵l
prosody
反向更新初始风格韵律提取网络模型，迭代多轮至风格韵律提取网络模型收敛，得到目标风格韵律提取网络模型。
[0140]
图5是根据本公开实施例的一种音频处理方法的示意图，如图5所示，将于音频风格迁移相关的因素划分为三个，即内容特征、风格韵律特征、说话人特征。利用内容特征提取网络模型对原始音频的mel谱特征x进行内容特征提取处理，得到内容特征，从待迁移音频中利用风格韵律提取网络模型获取风格韵律特征，以及利用说话人编码网络模型获取说话人特征。将内容特征、风格韵律特征、说话人特征进行特征融合，并利用声谱解码网络模型(即解码器)获得目标声谱特征，将目标声谱特征转换成目标音频，从而获得良好的风格迁移效果。
[0141]
在实际应用时，通过替换风格韵律特征、说话人特征即可合成目标说话人特性的音频，从而提升了音频风格迁移模型对于未见过的说话人特性的泛化能力。
[0142]
作为一种可选的实施方式，在步骤s32，从待迁移音频获取第三目标特征向量包括：
[0143]
步骤s324，对待迁移音频的第二音频特征进行内容特征提取处理，得到第三初始特征向量和第四中间特征向量，其中，第三初始特征向量用于表征第二音频特征的卷积处理结果，第四中间特征向量用于表征第二音频特征的矢量量化结果；
[0144]
具体的，利用内容特征提取网络模型对待迁移音频的第二音频特征进行内容特征提取处理，得到第三初始特征向量和第四中间特征向量。例如，利用内容特征提取网络模型中的卷积层对第二音频特征进行处理，得到第三初始特征向量，进而利用in层对第三初始特征向量的每个维度进行规整，得到实体规整后的结果，最后通过vq层对规整后的结果进行矢量量化，得到离散化的第四中间特征向量。
[0145]
步骤s325，对第三初始特征向量和第四中间特征向量进行说话人特征编码处理，得到第三目标特征向量。
[0146]
基于上述步骤s324至步骤s325，通过对待迁移音频的第二音频特征进行内容特征提取处理，得到第三初始特征向量和第四中间特征向量，进而对第三初始特征向量和第四中间特征向量进行说话人特征编码处理，能够从待迁移音频准确获取准确的第三目标特征向量。
[0147]
作为一种可选的实施方式，在步骤s33，对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征包括：
[0148]
步骤s331，对第一目标特征向量、第二目标特征向量和第三目标特征向量进行拼接处理，得到拼接向量；
[0149]
步骤s332，对拼接向量进行声谱解码处理，得到目标声谱特征。
[0150]
基于上述步骤s331至步骤s332，通过对第一目标特征向量、第二目标特征向量和第三目标特征向量进行拼接处理，得到拼接向量，进而对拼接向量进行声谱解码处理，得到目标声谱特征，以用于根据目标声谱特征转换为待迁移音频对应的目标音频。
[0151]
本公开实施例还提供了一种模型训练方法，图6为本公开实施例提供的一种模型训练方法的流程图，该方法可以包括如下步骤：
[0152]
步骤s601，获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多
个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；
[0153]
步骤s602，根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；
[0154]
步骤s603，基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。
[0155]
具体的，通过第一损失、第二损失和第三损失中至少之一更新初始声谱解码网络模型的模型参数，得到目标声谱解码网络模型。
[0156]
基于上述步骤s601至步骤s603，通过获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；进而根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；最后基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型，从而能够基于不同的数据集对初始网络模型进行训练，得到训练成熟的网络模型，进而应用成熟的网络模型获得良好的音频风格迁移效果。
[0157]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0158]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
[0159]
在本公开中还提供了一种音频处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0160]
图7是根据本公开其中一实施例的一种音频处理装置的结构框图，如图7所示，一种音频处理装置700包括：
[0161]
第一获取模块701，用于从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；
[0162]
第二获取模块702，用于从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；
[0163]
处理模块703，用于对第一目标特征向量、第二目标特征向量和第三目标特征向量
进行声谱解码处理，得到目标声谱特征；
[0164]
转换模块704，用于将目标声谱特征转换成目标音频。
[0165]
可选地，第一获取模块701还用于：利用内容特征提取网络模型对原始音频的第一音频特征进行内容特征提取处理，得到第一目标特征向量。
[0166]
可选地，第一获取模块701还用于：对第一音频特征进行卷积处理，得到第一中间特征向量；对第一中间特征向量进行实体规整，得到第二中间特征向量；对第二中间特征向量进行矢量量化，得到第三中间特征向量；对第三中间特征向量进行对比预测编码，得到第一目标特征向量。
[0167]
可选地，处理模块703还用于：对第一中间特征向量进行梯度停止操作，得到第一处理结果；计算第一处理结果与第三中间特征向量之间在二维欧氏空间下的第一欧氏距离；对第三中间特征向量进行梯度停止操作，得到第二处理结果；计算第一中间特征向量与第二处理结果之间在二维欧氏空间下的第二欧氏距离；利用第一欧氏距离与第二欧氏距离确定第一损失；根据第一损失更新网络模型参数，其中，网络模型参数包括：内容特征提取网络模型的模型参数。
[0168]
可选地，音频处理装置700还包括：第三获取模块705，用于基于第三中间特征向量获取上下文向量；预测模块706，用于采用上下文向量，通过至少一个线性预测器，得到预测向量；处理模块703还用于在以目标数量确定的取值范围内，利用第三中间特征与预测向量进行第一指数运算，得到第一运算结果，以及利用第三中间特征与预测向量进行第二指数运算，得到第二运算结果，其中，目标数量为至少一个线性预测器的数量；处理模块703还用于对第一运算结果与第二运算结果进行对数运算，确定第二损失；处理模块703还用于根据第二损失更新网络模型参数，其中，网络模型参数包括：内容特征提取网络模型的模型参数。
[0169]
可选地，音频处理装置700还包括：编码模块707，用于对第一中间特征向量和第三中间特征向量进行说话人特征编码处理，得到第一初始特征向量；提取模块708，用于对第一中间特征向量进行风格韵律特征提取处理，得到第二初始特征向量；解码模块709，用于通过声谱解码网络模型对第一初始特征向量、第二初始特征向量和第三中间特征向量进行声谱解码处理，得到预测声谱特征；处理模块703还用于计算预测声谱特征与真实声谱特征在一维欧氏空间下的第三欧氏距离，以及计算预测声谱特征与真实声谱特征在二维欧氏空间下的第四欧氏距离；处理模块703还用于利用第三欧氏距离与第四欧氏距离确定第三损失；处理模块703还用于根据第三损失更新网络模型参数，其中，网络模型参数包括：内容特征提取网络模型的模型参数和/或声谱解码网络模型的模型参数。
[0170]
可选地，第二获取模块702还用于：对待迁移音频的第二音频特征进行内容特征提取处理，得到第三初始特征向量和第四中间特征向量，其中，第三初始特征向量用于表征第二音频特征的卷积处理结果，第四中间特征向量用于表征第二音频特征的矢量量化结果；对第三初始特征向量和第四中间特征向量进行说话人特征编码处理，得到第三目标特征向量。
[0171]
可选地，处理模块703还用于：对第一目标特征向量、第二目标特征向量和第三目标特征向量进行拼接处理，得到拼接向量；对拼接向量进行声谱解码处理，得到目标声谱特征。
[0172]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0173]
根据本公开的实施例，本公开还提供了一种模型训练装置，图8是根据本公开其中一实施例的一种模型训练装置的结构框图，如图8所示，该模型训练装置800包括：
[0174]
数据集获取模块801，用于获取第一数据集、第二数据集和第三数据集，其中，第一数据集包括多个原始样本音频的内容特征向量，第二数据集包括多个待迁移样本音频的风格韵律特征向量，第三数据集包括多个待迁移样本音频的说话人特征向量；
[0175]
数据集处理模块802，用于根据第一数据集、第二数据集和第三数据集，获取第四数据集，其中，第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，内容特征向量包括第一内容特征向量，风格韵律特征向量包括第二风格韵律特征向量，说话人特征向量包括第三说话人特征向量；
[0176]
训练模块803，用于基于第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。
[0177]
根据本公开的实施例，本公开还提供了一种电子设备，包括存储器和至少一个处理器，该存储器中存储有计算机指令，该处理器被设置为运行计算机指令以执行上述方法实施例中的步骤。
[0178]
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0179]
可选地，在本公开中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0180]
s1，从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；
[0181]
s2，从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；
[0182]
s3，对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；
[0183]
s4，将目标声谱特征转换成目标音频。
[0184]
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0185]
根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该非瞬时计算机可读存储介质中存储有计算机指令，其中，该计算机指令被设置为运行时执行上述方法实施例中的步骤。
[0186]
可选地，在本实施例中，上述非瞬时计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
[0187]
s1，从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；
[0188]
s2，从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说
话人特征；
[0189]
s3，对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；
[0190]
s4，将目标声谱特征转换成目标音频。
[0191]
可选地，在本实施例中，上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0192]
根据本公开的实施例，本公开还提供了一种计算机程序产品。用于实施本公开的音频处理方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0193]
在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0194]
在本公开所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0195]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0196]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0197]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom)、随机存取存储器(ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0198]
以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应
视为本公开的保护范围。
技术特征：1.一种音频处理方法，包括：从原始音频获取第一目标特征向量，其中，所述第一目标特征向量用于表征所述原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，所述第二目标特征向量用于表征所述待迁移音频的风格韵律特征，所述第三目标特征向量用于表征所述待迁移音频的说话人特征；对所述第一目标特征向量、所述第二目标特征向量和所述第三目标特征向量进行声谱解码处理，得到目标声谱特征；将所述目标声谱特征转换成目标音频。2.根据权利要求1所述的音频处理方法，其中，从所述原始音频获取所述第一目标特征向量包括：利用内容特征提取网络模型对所述原始音频的第一音频特征进行内容特征提取处理，得到所述第一目标特征向量。3.根据权利要求2所述的音频处理方法，其中，利用内容特征提取网络模型对所述原始音频的第一音频特征进行内容特征提取处理，得到所述第一目标特征向量包括：利用所述内容特征提取网络模型执行以下步骤：对所述第一音频特征进行卷积处理，得到第一中间特征向量；对所述第一中间特征向量进行实体规整，得到第二中间特征向量；对所述第二中间特征向量进行矢量量化，得到第三中间特征向量；对所述第三中间特征向量进行对比预测编码，得到所述第一目标特征向量。4.根据权利要求3所述的音频处理方法，其中，所述音频处理方法还包括：对所述第一中间特征向量进行梯度停止操作，得到第一处理结果；计算所述第一处理结果与所述第三中间特征向量之间在二维欧氏空间下的第一欧氏距离；对所述第三中间特征向量进行梯度停止操作，得到第二处理结果；计算所述第一中间特征向量与所述第二处理结果之间在所述二维欧氏空间下的第二欧氏距离；利用所述第一欧氏距离与所述第二欧氏距离确定第一损失；根据所述第一损失更新网络模型参数，其中，所述网络模型参数包括：所述内容特征提取网络模型的模型参数。5.根据权利要求3或4所述的音频处理方法，其中，所述音频处理方法还包括：基于所述第三中间特征向量获取上下文向量；采用所述上下文向量，通过至少一个线性预测器，得到预测向量；在以目标数量确定的取值范围内，利用所述第三中间特征与所述预测向量进行第一指数运算，得到第一运算结果，以及利用所述第三中间特征与所述预测向量进行第二指数运算，得到第二运算结果，其中，所述目标数量为所述至少一个线性预测器的数量；对所述第一运算结果与所述第二运算结果进行对数运算，确定第二损失；根据所述第二损失更新网络模型参数，其中，所述网络模型参数包括：所述内容特征提取网络模型的模型参数。
6.根据权利要求3-5中任一项所述的音频处理方法，其中，所述音频处理方法还包括：对所述第一中间特征向量和所述第三中间特征向量进行说话人特征编码处理，得到第一初始特征向量；对所述第一中间特征向量进行风格韵律特征提取处理，得到第二初始特征向量；通过声谱解码网络模型对所述第一初始特征向量、所述第二初始特征向量和所述第三中间特征向量进行声谱解码处理，得到预测声谱特征；计算所述预测声谱特征与真实声谱特征在一维欧氏空间下的第三欧氏距离，以及计算所述预测声谱特征与真实声谱特征在二维欧氏空间下的第四欧氏距离；利用所述第三欧氏距离与所述第四欧氏距离确定第三损失；根据所述第三损失更新网络模型参数，其中，所述网络模型参数包括：所述内容特征提取网络模型的模型参数和/或所述声谱解码网络模型的模型参数。7.根据权利要求1所述的音频处理方法，其中，从所述待迁移音频获取所述第三目标特征向量包括：对所述待迁移音频的第二音频特征进行内容特征提取处理，得到第三初始特征向量和第四中间特征向量，其中，所述第三初始特征向量用于表征所述第二音频特征的卷积处理结果，所述第四中间特征向量用于表征所述第二音频特征的矢量量化结果；对所述第三初始特征向量和所述第四中间特征向量进行说话人特征编码处理，得到所述第三目标特征向量。8.根据权利要求1所述的音频处理方法，其中，对所述第一目标特征向量、所述第二目标特征向量和所述第三目标特征向量进行声谱解码处理，得到目标声谱特征包括：对所述第一目标特征向量、所述第二目标特征向量和所述第三目标特征向量进行拼接处理，得到拼接向量；对所述拼接向量进行声谱解码处理，得到所述目标声谱特征。9.一种模型训练方法，包括：获取第一数据集、第二数据集和第三数据集，其中，所述第一数据集包括多个原始样本音频的内容特征向量，所述第二数据集包括多个待迁移样本音频的风格韵律特征向量，所述第三数据集包括多个待迁移样本音频的说话人特征向量；根据所述第一数据集、所述第二数据集和所述第三数据集，获取第四数据集，其中，所述第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，所述内容特征向量包括所述第一内容特征向量，所述风格韵律特征向量包括所述第二风格韵律特征向量，所述说话人特征向量包括所述第三说话人特征向量；基于所述第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。10.一种音频处理装置，包括：第一获取模块，用于从原始音频获取第一目标特征向量，其中，所述第一目标特征向量用于表征所述原始音频的内容特征；第二获取模块，用于从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，所述第二目标特征向量用于表征所述待迁移音频的风格韵律特征，所述第三目标特征向量用于表征所述待迁移音频的说话人特征；
处理模块，用于对所述第一目标特征向量、所述第二目标特征向量和所述第三目标特征向量进行声谱解码处理，得到目标声谱特征；转换模块，用于将所述目标声谱特征转换成目标音频。11.根据权利要求10所述的音频处理装置，其中，所述第一获取模块还用于：利用内容特征提取网络模型对所述原始音频的第一音频特征进行内容特征提取处理，得到所述第一目标特征向量。12.根据权利要求11所述的音频处理装置，其中，所述第一获取模块还用于：对所述第一音频特征进行卷积处理，得到第一中间特征向量；对所述第一中间特征向量进行实体规整，得到第二中间特征向量；对所述第二中间特征向量进行矢量量化，得到第三中间特征向量；对所述第三中间特征向量进行对比预测编码，得到所述第一目标特征向量。13.根据权利要求12所述的音频处理装置，其中，所述处理模块还用于：对所述第一中间特征向量进行梯度停止操作，得到第一处理结果；计算所述第一处理结果与所述第三中间特征向量之间在二维欧氏空间下的第一欧氏距离；对所述第三中间特征向量进行梯度停止操作，得到第二处理结果；计算所述第一中间特征向量与所述第二处理结果之间在所述二维欧氏空间下的第二欧氏距离；利用所述第一欧氏距离与所述第二欧氏距离确定第一损失；根据所述第一损失更新网络模型参数，其中，所述网络模型参数包括：所述内容特征提取网络模型的模型参数。14.根据权利要求12或13所述的音频处理装置，其中，所述音频处理装置还包括：第三获取模块，用于基于所述第三中间特征向量获取上下文向量；预测模块，用于采用所述上下文向量，通过至少一个线性预测器，得到预测向量；所述处理模块还用于在以目标数量确定的取值范围内，利用所述第三中间特征与所述预测向量进行第一指数运算，得到第一运算结果，以及利用所述第三中间特征与所述预测向量进行第二指数运算，得到第二运算结果，其中，所述目标数量为所述至少一个线性预测器的数量；所述处理模块还用于对所述第一运算结果与所述第二运算结果进行对数运算，确定第二损失；所述处理模块还用于根据所述第二损失更新网络模型参数，其中，所述网络模型参数包括：所述内容特征提取网络模型的模型参数。15.根据权利要求12-14中任一项所述的音频处理装置，其中，所述音频处理装置还包括：编码模块，用于对所述第一中间特征向量和所述第三中间特征向量进行说话人特征编码处理，得到第一初始特征向量；提取模块，用于对所述第一中间特征向量进行风格韵律特征提取处理，得到第二初始特征向量；解码模块，用于通过声谱解码网络模型对所述第一初始特征向量、所述第二初始特征
向量和所述第三中间特征向量进行声谱解码处理，得到预测声谱特征；所述处理模块还用于计算所述预测声谱特征与真实声谱特征在一维欧氏空间下的第三欧氏距离，以及计算所述预测声谱特征与真实声谱特征在二维欧氏空间下的第四欧氏距离；所述处理模块还用于利用所述第三欧氏距离与所述第四欧氏距离确定第三损失；所述处理模块还用于根据所述第三损失更新网络模型参数，其中，所述网络模型参数包括：所述内容特征提取网络模型的模型参数和/或所述声谱解码网络模型的模型参数。16.根据权利要求10所述的音频处理装置，其中，所述第二获取模块还用于：对所述待迁移音频的第二音频特征进行内容特征提取处理，得到第三初始特征向量和第四中间特征向量，其中，所述第三初始特征向量用于表征所述第二音频特征的卷积处理结果，所述第四中间特征向量用于表征所述第二音频特征的矢量量化结果；对所述第三初始特征向量和所述第四中间特征向量进行说话人特征编码处理，得到所述第三目标特征向量。17.根据权利要求10所述的音频处理装置，其中，所述处理模块还用于：对所述第一目标特征向量、所述第二目标特征向量和所述第三目标特征向量进行拼接处理，得到拼接向量；对所述拼接向量进行声谱解码处理，得到所述目标声谱特征。18.一种模型训练装置，包括：数据集获取模块，用于获取第一数据集、第二数据集和第三数据集，其中，所述第一数据集包括多个原始样本音频的内容特征向量，所述第二数据集包括多个待迁移样本音频的风格韵律特征向量，所述第三数据集包括多个待迁移样本音频的说话人特征向量；数据集处理模块，用于根据所述第一数据集、所述第二数据集和所述第三数据集，获取第四数据集，其中，所述第四数据集包括第一内容特征向量、第二风格韵律特征向量和第三说话人特征向量得到的拼接向量，所述内容特征向量包括所述第一内容特征向量，所述风格韵律特征向量包括所述第二风格韵律特征向量，所述说话人特征向量包括所述第三说话人特征向量；训练模块，用于基于所述第四数据集对初始声谱解码网络模型进行训练，得到目标声谱解码网络模型。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
技术总结本公开提供了一种音频处理方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及语音技术领域。具体实现方案为：从原始音频获取第一目标特征向量，其中，第一目标特征向量用于表征原始音频的内容特征；从待迁移音频获取第二目标特征向量和第三目标特征向量，其中，第二目标特征向量用于表征待迁移音频的风格韵律特征，第三目标特征向量用于表征待迁移音频的说话人特征；对第一目标特征向量、第二目标特征向量和第三目标特征向量进行声谱解码处理，得到目标声谱特征；将目标声谱特征转换成目标音频。转换成目标音频。转换成目标音频。
技术研发人员：赵情恩
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.05.11
技术公布日：2022/7/5
