一种模型训练方法、电子设备及存储介质
【技术领域】
1.本技术实施例涉及人工智能技术领域，尤其涉及一种模型训练方法、电子设备及存储介质。
背景技术：2.现有技术中，在处理自然语言处理领域的下游任务时，由于下游任务普遍存在可用样本较少的情况，导致自然语言领域的通用模型无法在下游任务中取得较好的效果。
技术实现要素：3.本技术实施例提供了一种模型训练方法、电子设备及存储介质，能够提升自然语言处理领域的通用模型在下游任务中的模型性能。
4.第一方面，本技术实施例提供了一种应用于电子设备，所述电子设备预先存储第一模型，以及与目标子任务相关的真实标签语料样本，所述第一模型为自然语言处理领域的基准模型，所述方法包括：
5.获得与所述目标子任务相关的伪标签语料样本，以及与所述目标子任务相关的无标签语料样本，所述目标子任务为所述自然语言处理领域所包括的子垂直领域的任一子任务；
6.基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第一模型进行半监督训练，获得第二模型。
7.本技术实施例中，目标子任务可以认为是自然语言处理领域中的任一下游任务，在与下游任务相关的真实标签语料样本有限的情况下，首先可以获取与该下游任务相关的伪标签语料样本，以及与下游任务相关的无标签语料样本，即增加与下游任务相关的带标签的语料样本数量以及不带标签的语料样本数量，然后结合与下游任务的相关的真实标签语料样本，共同对自然语言处理领域的基准模型进行半监督训练，即充分利用带标签的语料样本以及不带标签的语料样本的特征信息对基准模型进行训练，从而使新获得的模型能够在下游任务中取得良好的效果。
8.可选的，获得与所述目标子任务相关的伪标签语料样本，以及与所述目标子任务相关的无标签语料样本包括：
9.基于所述真实标签语料样本对所述第一模型进行微调，获得第三模型；
10.挖掘至少一个无标签语料样本；
11.基于所述第三模型将所述至少一个无标签语料样本中第一部分无标签语料样本转换为与所述目标子任务相关的伪标签语料样本，以及将第二部分无标签语料样本作为与所述目标子任务相关的无标签语料样本。
12.本技术实施例中，通过数量有限的真实标签语料样本对自然语言处理领域的基准模型进行微调，从而使新获得的模型能够对下游任务具有初步的判断能力。在此基础上，利用新获得的模型来对挖掘到的无标签语料样本进行判断，哪些可以转换为与下游任务相关
的伪标签语料样本，哪些可以作为与下游任务相关的无标签语料样本，从而可以较为便捷且准确的获得可用于增量预训练的语料样本。
13.可选的，所述目标子任务为语料分类任务，基于所述第三模型将所述至少一个无标签语料样本中第一部分无标签语料样本转换为与所述目标子任务相关的伪标签语料样本，以及将第二部分无标签语料样本作为与所述目标子任务相关的无标签语料样本包括：
14.针对所述至少一个无标签语料样本中的目标无标签语料样本，将所述目标无标签语料样本输入到所述第三模型，获得针对所述目标无标签语料样本的类别以及对应的类别置信度；
15.若所述目标无标签语料样本的类别置信度高于第一设定阈值，则将所述目标无标签语料样本的类别作为所述目标无标签语料样本的伪标签，获得基于所述目标无标签语料样本以及所述目标无标签语料样本的类别所构成的与所述目标子任务相关的伪标签语料样本；
16.若所述目标无标签语料样本的类别置信度低于所述第一设定阈值且高于第二设定阈值，则将所述目标无标签语料样本作为与所述目标子任务相关的无标签语料样本。
17.本技术实施例中，当目标子任务为自然语言处理领域中的语料分类任务，经真实标签语料样本微调后获得的新模型可以认为是语料样本分类模型，在此基础上，利用微调后的新模型可以获得所挖掘到的无标签语料的分类结果以及对应的分类结果置信度，若分类结果置信度处于较高水平，则可以认为挖掘到的无标签语料与下游任务相关度也处于较高水平，则可以将上述无标签语料转为伪标签语料样本；若分类结果置信度处于中等水平，则可以认为挖掘到的无标签语料与下游任务的相关度也处于中等水平，则可以将上述无标签语料直接作为与下游任务相关的无标签语料样本，即较为便捷的对挖掘到的无标签语料进行有效区分，使其在后续训练过程中能够充分发挥不同类型语料的作用。
18.可选的，所述目标子任务为语料样本相似度计算任务，基于所述第三模型将所述至少一个无标签语料样本中第一部分无标签语料样本转换为与所述目标子任务相关的伪标签语料样本，以及将第二部分无标签语料样本作为与所述目标子任务相关的无标签语料样本包括：
19.针对所述至少一个无标签语料样本中的目标无标签语料样本，将所述目标无标签语料样本与所述真实标签语料样本输入到所述第三模型，获得所述目标无标签语料样本与所述真实标签语料样本的语料样本相似度；
20.若所述语料样本相似度高于第一设定阈值，则将所述真实标签语料样本的标签作为所述目标无标签语料样本的伪标签，获得基于所述目标无标签语料样本以及所述目标无标签语料样本的伪标签所构成的与所述目标子任务相关的伪标签语料样本；
21.若所述语料样本相似度低于所述第一设定阈值且高于第二设定阈值，则将所述目标无标签语料样本作为与所述目标子任务相关的无标签语料样本。
22.本技术实施例中，当目标子任务为自然语言处理领域中的语料样本相似度计算任务，经真实标签语料样本微调后获得的新模型可以认为是语料样本相似度计算模型，在此基础上，利用微调后的新模型可以获得所挖掘到的无标签语料与真实标签语料样本的相似度结果，若相似度结果处于较高水平，则可以认为挖掘到的无标签语料与下游任务相关度也处于较高水平，则可以将上述无标签语料转为伪标签语料样本；若相似度结果处于中等
水平，则可以认为挖掘到的无标签语料与下游任务的相关度也处于中等水平，则可以将上述无标签语料直接作为与下游任务相关的无标签语料样本，即较为便捷的对挖掘到的无标签语料进行有效区分，使其在后续训练过程中能够充分发挥不同类型语料的作用。
23.可选的，基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第一模型进行半监督训练，获得第二模型包括：
24.基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第一模型进行增量预训练，获得第四模型；
25.基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第四模型进行半监督数据增强训练，获得所述第二模型。
26.本技术实施例中，可以利用同一语料样本对自然语言处理领域的基准模型基于不同机制进行半监督训练，从而使所获得的最终模型能够更好的适用于下游任务。
27.第二方面，本技术实施例提供了一种电子设备，所述电子设备预先存储第一模型，所述电子设备预先存储第一模型，以及与目标子任务相关的真实标签语料样本，所述第一模型为自然语言处理领域的基准模型，所述电子设备包括：
28.获得单元，用于获得与所述目标子任务相关的伪标签语料样本，以及与所述目标子任务相关的无标签语料样本，所述目标子任务为所述自然语言处理领域所包括的子垂直领域的任一子任务；
29.训练单元，用于基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第一模型进行半监督训练，获得第二模型。
30.可选的，所述获得单元包括：
31.微调子单元，用于基于所述真实标签语料样本对所述第一模型进行微调，获得第三模型；
32.挖掘子单元，用于挖掘至少一个无标签语料样本；
33.转换子单元，用于基于所述第三模型将所述至少一个无标签语料样本中第一部分无标签语料样本转换为与所述目标子任务相关的伪标签语料样本，以及将第二部分无标签语料样本转换为与所述目标子任务相关的无标签语料样本。
34.可选的，所述目标子任务为语料分类任务，所述转换子单元具体用于：
35.针对所述至少一个无标签语料样本中的目标无标签语料样本，将所述目标无标签语料样本输入到所述第三模型，获得针对所述目标无标签语料样本的类别以及对应的类别置信度，所述目标无标签语料样本为所述至少一个无标签语料样本中的任一无标签语料样本；
36.若所述目标无标签语料样本的类别置信度高于第一设定阈值，则将所述目标无标签语料样本的类别作为所述目标无标签语料样本的伪标签，获得基于所述目标无标签语料样本以及所述目标无标签语料样本的类别所构成的与所述目标子任务相关的伪标签语料样本；
37.若所述目标无标签语料样本的类别置信度低于所述第一设定阈值且高于第二设定阈值，则将所述目标无标签语料样本作为与所述目标子任务相关的无标签语料样本。
38.可选的，所述目标子任务为语料样本相似度计算任务，所述转换子单元具体用于：
39.针对所述至少一个无标签语料样本中的目标无标签语料样本，将所述目标无标签
语料样本与所述真实标签语料样本输入到所述第三模型，获得所述目标无标签语料样本与所述真实标签语料样本的语料样本相似度；
40.若所述语料样本相似度高于第一设定阈值，则将所述真实标签语料样本的标签作为所述目标无标签语料样本的伪标签，获得基于所述目标无标签语料样本以及所述目标无标签语料样本的伪标签所构成的与所述目标子任务相关的伪标签语料样本；
41.若所述语料样本相似度低于所述第一设定阈值且高于第二设定阈值，则将所述目标无标签语料样本作为与所述目标子任务相关的无标签语料样本。
42.可选的，所述训练单元具体用于：
43.基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第一模型进行增量预训练，获得第四模型；
44.基于所述伪标签语料样本、所述无标签语料样本以及所述真实标签语料样本对所述第四模型基于半监督数据增强算法进行训练，获得所述第二模型。
45.第三方面，本发明实施例提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如第一方面任一实施例所述方法的步骤。
46.第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一实施例所述方法的步骤。
47.应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
【附图说明】
48.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
49.图1为本技术实施例提供的一种模型训练方法的流程示意图；
50.图2为本技术实施例提供的一种电子设备的结构示意图；
51.图3为本技术实施例提供的一种电子设备的结构示意图。
【具体实施方式】
52.为了更好的理解本说明书的技术方案，下面结合附图对本技术实施例进行详细描述。
53.应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。
54.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
55.经本技术发明人研究发现，自然语言处理领域存在较多下游任务，但是下游任务
往往缺乏有真实标签的样本，即下游任务的真实标签样本数量较少，那么利用少量下游任务的真实标签样本对自然语言处理领域的基准模型进行训练后，新获得的模型仍然无法在下游任务中取得较好的效果。
56.鉴于此，本技术实施例提供了一种模型训练方法，该方法中，在与下游任务相关的真实标签语料样本有限的情况下，首先可以获取与该下游任务相关的伪标签语料样本，以及与下游任务相关的无标签语料样本，即增加与下游任务相关的带标签的语料样本数量以及不带标签的语料样本数量，然后结合与下游任务的相关的真实标签语料样本，共同对自然语言处理领域的基准模型进行半监督训练，即充分利用带标签的语料样本以及不带标签的语料样本的特征信息对基准模型进行训练，从而使新获得的模型能够在下游任务中取得良好的效果。
57.下面结合附图对本技术实施例中如何对自然语言处理领域的基准模型进行半监督训练的方案进行详细说明。请参见图1，本技术实施例提供了一种模型训练方法，该方法可以应用于电子设备，该电子设备可以是台式电脑、笔记本电脑、服务器等，此处对电子设备的类型不做特别限制，该方法的流程描述如下：
58.步骤101：获得与目标子任务相关的伪标签语料样本，以及与目标子任务相关的无标签语料样本，目标子任务为自然语言处理领域所包括的子垂直领域的任一子任务。
59.第一模型可以为自然语言处理领域的基准模型，该第一模型可以认为是基于自然语言处理领域中的通用语料样本训练所得。例如，第一模型可以是bert模型，或者roberta模型，当然也可以是其他性能优异的模型，此处对第一模型不做特别限制。
60.自然语言处理领域存在多个垂直子领域，例如，文本分类垂直子领域、情感分析垂直子领域、文本聚类垂直子领域、文本相似度计算垂直子领域等。而对于上述任一垂直子领域，又包括不同场景下的多种子任务。例如，文本分类垂直子领域包括：保险医疗场景下的用户身份分类子任务、结构化材料分类子任务以及客户意图分类子任务；文本相似度计算垂直子领域包括：保险医疗场景下的多意图分类相似度计算子任务、指标类数据管理子任务以及海量保险信息去重子任务。
61.显然，针对上述任一垂直子领域中的任一子任务而言，想要在该子任务中取得良好的效果，需要基于该子任务所对应的较多数量的真实标签语料样本来对自然语言处理领域的基准模型进行训练，然后将训练后获得的新模型应用于该子任务中，这种方式往往可以在下游任务中取得较好的效果。但是通常情况下，该子任务所对应的真实标签语料样本数量较少。因此，本技术实施例中需要扩大与子任务相关的语料样本数量，那么利用扩充后的语料样本来对第一模型进行训练，可以在一定程度上提升其在下游任务中的效果。
62.作为一种可能的实施方式，电子设备可以获得与目标子任务相关的伪标签语料样本，以及与目标子任务相关的无标签语料样本。应理解，这里的伪标签语料样本可以认为与真实标签语料样本具有相同的样本形式，即均为明确带有标签的语料样本，因此两者在模型训练过程中的作用可以认为是等同的。这里的无标签语料样本可以认为与真实标签语料样本不具有相同的样本形式，即无标签语料样本为不带有明确标签的语料样本，因此可以认为无标签语料样本在训练过程中的作用不同于真实标签语料样本在训练过程中的作用。
63.下面对如何获取与目标子任务相关的伪标签语料样本，以及与目标子任务相关的无标签语料样本进行详细说明。
64.一方面，电子设备可以基于已有的与目标子任务相关的真实标签语料样本对第一模型进行微调，从而获得第三模型。即可以认为，第三模型对于目标子任务具有一定程度的判断能力。另一方面，电子设备可以基于挖掘算法挖掘到至少一个无标签语料样本。此处对上述两个步骤的执行顺序不做特别限制。在此基础上，电子设备可以基于上述第三模型对挖掘到的至少一个无标签语料样本进行一一区分，从而将至少一个无标签语料样本中的第一部分无标签语料样本转换为与目标子任务相关的伪标签语料样本，以及将第二部分无标签语料样本作为与目标子任务的无标签语料样本。
65.下面针对目标子任务为不同类型时，如何基于第三模型获得与目标子任务相关的伪标签语料样本以及无标签语料样本进行详细说明。
66.情况1：目标子任务为语料分类任务。
67.本技术实施例中，当目标子任务为自然语言处理领域中的语料分类任务时，经目标子任务的真实标签语料样本微调后所获得的第三模型可以是语料样本分类模型。为了对挖掘到的至少一个无标签语料样本进行区分，可以将上述至少一个无标签语料样本中的目标无标签语料样本输入到第三模型中，从而获得目标无标签语料样本的输出结果，即目标无标签语料的类别以及目标无标签语料的类别对应的类别置信度。若目标无标签语料的类别对应的类别置信度高于第一设定阈值，则可以认为该目标无标签语料与目标子任务具有较高的相关度，因此，可以将目标无标签语料样本的输出结果中目标无标签样本的类别作为目标无标签样本的伪标签，从而获得基于目标无标签语料样本以及对应的伪标签所构成的与目标子任务相关的伪标签语料样本。若目标无标签语料的类型对应的类别置信度低于第一设定阈值且高于第二设定阈值，则可以认为该目标无标签语料与目标子任务具有中等水平的相关度，此时，不能将目标无标签样本的类别作为目标无标签样本的伪标签，但是考虑到这里的无标签语料样本对后续第一模型的训练过程存在一定的帮助。因此可以将目标无标签语料样本直接作为与目标子任务相关的无标签语料样本。
68.例如，第一设定阈值为0.8，第二设定阈值为0.5，第三模型在输出目标无标签语料的类别以及对应的类别置信度后，若类别置信度为0.95，高于第一设定阈值，则可以将目标无标签语料的类别作为目标无标签语料的伪标签，并将目标无标签语料以及对应的伪标签共同构成与目标子任务相关的伪标签语料；若类别置信度为0.75，低于第一设定阈值且高于第二设定阈值，则直接将目标无标签语料作为与目标子任务相关的无标签语料。
69.情况2：目标子任务为语料样本相似度计算任务。
70.本技术实施例中，当目标子任务为自然语言处理领域中的语料样本相似度计算任务时，经目标子任务的真实标签语料样本微调后所获得的第三模型可以是语料样本相似度模型。为了对挖掘到的至少一个无标签语料样本进行区分，可以将上述至少一个无标签语料样本中的目标无标签语料样本以及真实标签语料样本输入到第三模型中，从而获得目标无标签语料样本的输出结果，即目标无标签语料与真实标签语料的相似度结果。若目标无标签语料与真实标签语料的相似度结果高于第一设定阈值，则可以认为该目标无标签语料与目标子任务具有较高的相关度，因此，可以将真实标签语料样本的标签作为目标无标签样本的伪标签，从而获得基于目标无标签语料样本以及对应的伪标签所构成的与目标子任务相关的伪标签语料样本。若目标无标签语料与真实标签语料的相似度结果低于第一设定阈值且高于第二设定阈值，则可以认为该目标无标签语料与目标子任务具有中等水平的相
关度，此时，不能将真实标签语料样本的标签作为目标无标签样本的伪标签，但是可以将目标无标签语料样本直接作为与目标子任务相关的无标签语料样本。
71.例如，第一设定阈值为0.8，第二设定阈值为0.5，第三模型在输出目标无标签语料与真实标签语料的相似度结果后，若相似度结果为0.85，高于第一设定阈值，则可以将真实标签语料样本的标签作为目标无标签语料样本的伪标签，并将目标无标签语料以及对应的伪标签共同构成与目标子任务相关的伪标签语料；若相似度结果为0.6，低于第一设定阈值且高于第二设定阈值，则直接将目标无标签语料作为与目标子任务相关的无标签语料。
72.当然，目标子任务不局限于语料样本分类任务，以及语料样本相似度计算任务，也可以是其他任务，获得与目标子任务相关的伪标签语料样本以及无标签语料样本的过程可以根据实际情况进行针对性调整。
73.步骤102：基于伪标签语料样本、无标签语料样本以及真实标签语料样本对第一模型进行半监督训练，获得第二模型。
74.本技术实施例中，在获得与目标子任务相关的伪标签语料样本，以及与目标子任务相关的无标签语料样本之后，与目标子任务相关的语料样本中存在有带有标签的语料样本(即真实标签语料样本与伪标签语料样本)，以及不带有标签的语料样本(即无标签语料样本)，在训练过程中，可以结合带有标签的语料样本的特征信息与不带有标签的语料样本的特征信息共同用于对第一模型进行训练，从而使新获得的模型能够在下游任务中取得良好的效果。
75.作为一种可能的实施方式，电子设备可以基于伪标签语料样本、真实标签语料样本以及无标签语料样本对第一模型进行半监督训练，从而获得适用于目标子任务的第二模型。
76.例如，电子设备可以基于两种不同的半监督机制来对第一模型进行半监督训练。首先，电子设备可以基于伪标签语料样本、无标签语料样本以及真实标签语料样本对第一模型进行增量预训练，获得第四模型；在此基础上，继续基于伪标签语料样本、无标签语料样本以及真实标签语料样本对第四模型进行半监督数据增强训练，从而获得第二模型。
77.请参见图2，基于同一发明构思，本技术实施例提供了一种电子设备，电子设备预先存储第一模型，电子设备预先存储第一模型，以及与目标子任务相关的真实标签语料样本，第一模型为自然语言处理领域的基准模型，电子设备包括：获得单元201与训练单元202。
78.获得单元201，用于获得与目标子任务相关的伪标签语料样本，以及与目标子任务相关的无标签语料样本，目标子任务为自然语言处理领域所包括的子垂直领域的任一子任务；
79.训练单元202，用于基于伪标签语料样本、无标签语料样本以及真实标签语料样本对第一模型进行半监督训练，获得第二模型。
80.可选的，获得单元201包括：
81.微调子单元，用于基于真实标签语料样本对第一模型进行微调，获得第三模型；
82.挖掘子单元，用于挖掘至少一个无标签语料样本；
83.转换子单元，用于基于第三模型将至少一个无标签语料样本中第一部分无标签语料样本转换为与目标子任务相关的伪标签语料样本，以及将第二部分无标签语料样本转换
为与目标子任务相关的无标签语料样本。
84.可选的，目标子任务为语料分类任务，转换子单元具体用于：
85.针对至少一个无标签语料样本中的目标无标签语料样本，将目标无标签语料样本输入到第三模型，获得针对目标无标签语料样本的类别以及对应的类别置信度；
86.若目标无标签语料样本的类别置信度高于第一设定阈值，则将目标无标签语料样本的类别作为目标无标签语料样本的伪标签，获得基于目标无标签语料样本以及目标无标签语料样本的类别所构成的与目标子任务相关的伪标签语料样本；
87.若目标无标签语料样本的类别置信度低于第一设定阈值且高于第二设定阈值，则将目标无标签语料样本作为与目标子任务相关的无标签语料样本。
88.可选的，目标子任务为语料样本相似度计算任务，转换子单元具体用于：
89.针对至少一个无标签语料样本中的目标无标签语料样本，将目标无标签语料样本与真实标签语料样本输入到第三模型，获得目标无标签语料样本与真实标签语料样本的语料样本相似度；
90.若语料样本相似度高于第一设定阈值，则将真实标签语料样本的标签作为目标无标签语料样本的伪标签，获得基于目标无标签语料样本以及目标无标签语料样本的伪标签所构成的与目标子任务相关的伪标签语料样本；
91.若语料样本相似度低于第一设定阈值且高于第二设定阈值，则将目标无标签语料样本作为与目标子任务相关的无标签语料样本。
92.可选的，训练单元202具体用于：
93.基于伪标签语料样本、无标签语料样本以及真实标签语料样本对第一模型进行增量预训练，获得第四模型；
94.基于伪标签语料样本、无标签语料样本以及真实标签语料样本对第四模型进行半监督数据增强训练，获得第二模型。
95.请参见图3，基于同一发明构思，本技术实施例提供一种电子设备，该电子设备包括至少一个处理器301，处理器301用于执行存储器中存储的计算机程序，实现本技术实施例提供的如图1所示的模型训练方法的步骤。
96.可选的，处理器301具体可以是中央处理器、特定asic，可以是一个或多个用于控制程序执行的集成电路。
97.可选的，该电子设备还可以包括与至少一个处理器301连接的存储器302，存储器302可以包括rom、ram和磁盘存储器。存储器302用于存储处理器301运行时所需的数据，即存储有可被至少一个处理器301执行的指令，至少一个处理器301通过执行存储器302存储的指令，执行如图1所示的方法。其中，存储器302的数量为一个或多个。其中，存储器302在图3中一并示出，但需要知道的是存储器302不是必选的功能模块，因此在图3中以虚线示出。
98.其中，获得单元201与训练单元202所对应的实体设备均可以是前述的处理器301。该电子设备可以用于执行图1所示的实施例所提供的方法。因此关于该电子设备中各功能模块所能够实现的功能，可参考图1所示的实施例中的相应描述，不多赘述。
99.本技术实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如图1所述的方法。
100.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
