上下文学习示例的选择方法、装置、电子设备和存储介质

allin2025-03-30  33


本发明涉及自然语言处理,尤其涉及一种上下文学习示例的选择方法、装置、电子设备和存储介质。


背景技术:

1、大语言模型最吸引人的范式之一就是上下文学习,即在不需要更新模型的任何参数的条件下,仅仅给定与待执行任务相关的多个示例,大语言模型通过对多个示例进行上下文学习,即可在该任务上取得不错的表现。当前一般在通过大语言模型执行单个任务前,从示例库中检索相关的示例以供大语言模型进行上下文学习。

2、但是,每次在执行单个任务前都需要额外的检索时间,则导致在真实应用的时候影响待执行任务的执行效率。


技术实现思路

1、本发明提供一种上下文学习示例的选择方法、装置、电子设备和存储介质,用以解决现有技术中在上下文学习任务的真实应用中需要花费较多时间进行选取示例的缺陷。

2、本发明提供一种上下文学习示例的选择方法,包括如下步骤。

3、获取候选示例集;

4、基于所述候选示例集中各候选示例在打分示例集上的整体影响,确定所述候选示例集的影响相似度矩阵;所述打分示例集包括多个预先获取的验证示例;

5、基于行列式点过程算法对所述候选示例集的影响相似度矩阵进行子集选取,选择得到上下文学习示例。

6、根据本发明提供的一种上下文学习示例的选择方法,所述基于行列式点过程算法对所述候选示例集的影响相似度矩阵进行子集选取,选择得到上下文学习示例,包括:

7、基于所述候选示例集中各候选示例在打分示例集上的整体影响,确定所述候选示例集的示例质量;

8、基于所述候选示例集的影响相似度矩阵和所述示例质量,构建所述候选示例集的融合矩阵;基于行列式点过程算法对所述候选示例集的融合矩阵进行子集选取,选择得到所述上下文学习示例。

9、根据本发明提供的一种上下文学习示例的选择方法,所述获取候选示例集,包括:

10、获取初始示例集;

11、基于所述初始示例集中各初始示例的语义向量,确定所述初始示例集的语义相似度矩阵;

12、基于所述初始示例集的语义相似度矩阵,选择得到所述候选示例集。

13、根据本发明提供的一种上下文学习示例的选择方法,所述基于所述初始示例集的语义相似度矩阵,选择得到所述候选示例集,包括:

14、基于行列式点过程算法对所述初始示例集的语义相似度矩阵进行子集选取,得到所述候选示例集。

15、根据本发明提供的一种上下文学习示例的选择方法,所述基于所述候选示例集中各候选示例在打分示例集上的整体影响,确定所述候选示例集的影响相似度矩阵,包括:

16、基于所述候选示例集中各候选示例在各验证示例上的影响得分,得到所述各候选示例在打分示例集上的整体影响;

17、拼接所述候选示例集中各候选示例在所述打分示例集上的整体影响,得到所述候选示例集的整体影响向量;

18、对所述候选示例集的整体影响向量进行点积计算,得到所述候选示例集的影响相似度矩阵。

19、根据本发明提供的一种上下文学习示例的选择方法,所述基于所述候选示例集中各候选示例在各验证示例上的影响得分,得到所述各候选示例在打分示例集上的整体影响,包括:基于在对各候选示例进行上下文学习后的情况下,所述各验证示例的学习输出概率,以及,在未经过上下文学习的情况下,所述各验证示例的原始输出概率,确定所述各候选示例在所述各验证示例上的影响得分;

20、拼接所述各候选示例在所述打分示例集下各验证示例上的影响得分,得到所述各候选示例在打分示例集上的整体影响。

21、本发明还提供一种上下文学习示例的选择装置,包括:

22、获取单元,获取候选示例集;

23、影响多样性单元,基于所述候选示例集中各候选示例在打分示例集上的整体影响,确定所述候选示例集的影响相似度矩阵;所述打分示例集包括多个预先获取的验证示例;

24、选取单元,基于行列式点过程算法对所述候选示例集的影响相似度矩阵进行子集选取,选择得到上下文学习示例。

25、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述上下文学习示例的选择方法。

26、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述上下文学习示例的选择方法。

27、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述上下文学习示例的选择方法。

28、本发明提供的上下文学习示例的选择方法、装置、电子设备和存储介质,通过候选示例集中各候选示例在打分示例集上的整体影响,确定候选示例集的影响相似度矩阵,基于行列式点过程算法对候选示例集的影响相似度矩阵进行子集选取,选择得到能够用于多种类型的上下文学习任务的学习示例,大大节省了在实际应用中进行挑选学习示例的时间,进而提升了执行上下文学习任务的执行效率。



技术特征:

1.一种上下文学习示例的选择方法,其特征在于,包括:

2.根据权利要求1所述的上下文学习示例的选择方法,其特征在于,所述基于行列式点过程算法对所述候选示例集的影响相似度矩阵进行子集选取,选择得到上下文学习示例,包括:基于所述候选示例集中各候选示例在打分示例集上的整体影响,确定所述候选示例集的示例质量;

3.根据权利要求1所述的上下文学习示例的选择方法,其特征在于,所述获取候选示例集,包括:

4.根据权利要求3所述的上下文学习示例的选择方法,其特征在于,所述基于所述初始示例集的语义相似度矩阵,选择得到所述候选示例集,包括:

5.根据权利要求1至4中任一项所述的上下文学习示例的选择方法,其特征在于,所述基于所述候选示例集中各候选示例在打分示例集上的整体影响,确定所述候选示例集的影响相似度矩阵,包括:

6.根据权利要求5所述的上下文学习示例的选择方法,其特征在于,所述基于所述候选示例集中各候选示例在各验证示例上的影响得分,得到所述各候选示例在打分示例集上的整体影响,包括:

7.一种上下文学习示例的选择装置,其特征在于,包括:

8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述上下文学习示例的选择方法。

9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述上下文学习示例的选择方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述上下文学习示例的选择方法。


技术总结
本发明提供一种上下文学习示例的选择方法、装置、电子设备和存储介质,该方法包括:获取候选示例集;基于候选示例集中各候选示例在打分示例集上的整体影响,确定候选示例集的影响相似度矩阵;打分示例集包括多个预先获取的验证示例;基于行列式点过程算法对候选示例集的影响相似度矩阵进行子集选取,选择得到上下文学习示例。本发明提供的方法,通过各候选示例在打分示例集上的整体影响,确定候选示例集的影响相似度矩阵,基于行列式点过程算法对候选示例集的影响相似度矩阵进行子集选取,选择得到能够用于多种类型的上下文学习任务的学习示例,大大节省了在实际应用中进行挑选学习示例的时间,进而提升了执行上下文学习任务的执行效率。

技术研发人员:刘康,张元哲,赵军,杨朝
受保护的技术使用者:中国科学院自动化研究所
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-19755.html

最新回复(0)