本发明属于多通道交互,具体涉及一种利用多通道交互技术的有人/无人高效感知方法,采用不同通道传达相同意图以及不同子任务采用不同通道的方法,实现信息的高效感知。
背景技术:
1、多通道作为一种属性,能够让用户通过两种或两种以上的通道方式在日常生活中感知接收信息,当一个界面中存在多通道这种属性,那我们将其称为多通道交互界面。在人因工程学中,通道常指的是人的感官通道,用户可以通过视、听、触三种感官通道来完成信息的接收,采用多通道交互的方式能够大大提高交互效率,实现人-机之间更自然地交互。人们通过感官通道接收外部环境信息,经由人体认知加工过程做出反应,在这个过程中,不同的通道都是同时发挥作用的。有学者研究发现,人们在与产品交互时,除了视觉通道外,其余的听、触、味甚至是嗅觉都在共同作用,共同形成了整体交互体验。拿触觉来说,通常是让人体的某一局部位置体验到触感,但在人接收到触感信息时,这种感觉将转变为人的整体感觉。
2、通过多通道这一特点,可以让人通过两种及以上通道同时对某种信息进行感知,采用这种方法可以有效提高人对信息的感知效率,称其为多通道并行。在有人/无人协同作战中,敌方我方目标多,界面信息量极大,在界面中进行目标和信息搜索难度较大,通过多通道并行能够让作战人员快速进行搜索任务,解决上述问题。不同的子交互任务采用不同的通道完成,降低通道占用率,降低人的认知负荷,称其为多通道串行。有人/无人协同作战中,作战人员需要查询多无人机位置、任务等各种信息,导致其在任务中的通道占用率大大提高,通过将任务进行粒度划分,在不同子任务中使用不同通道可以有效降低作战人员的认知负荷,提高作战效率。
3、因此,有必要提出一种利用多通道交互技术的有人/无人高效感知方法,以至少部分地解决现有技术中存在的问题。
4、本背景技术所公开的上述信息仅仅用于增加对本发明背景技术的理解,因此,其可能包括不构成本领域普通技术人员已知的现有技术。
技术实现思路
1、本发明基于多通道交互的信息感知机理研究,研究目标搜索场景在不同通道并行下的最佳并行组合、任务规划场景不同子任务感知通道排列最佳组合以及各通道接替时间的特点。与现有信息感知方式相比,该方法能够大幅度提高目标搜索和任务规划任务的信息感知效率。
2、为实现上述目的,本发明提供如下技术方案:
3、本发明基于多通道交互的信息高效感知方法,具体步骤如下:
4、第一步:多通道并行目标搜索方法,解决有人/无人协同作战中敌、我目标复杂,搜索目标困难这一问题;
5、具体步骤为:
6、(1)设计四组实验,分别为视觉组(对比组)、视-听组、视-触组和视-听-触组;
7、(2)设计听觉通道显示;
8、(3)设计触觉通道信息显示;
9、(4)进行目标搜索实验,并处理分析数据;
10、第二步:多通道串行任务规划方法,探究任务规划中交互子任务信息的最优交互通道,以及不同通道间的交替时间规律;
11、具体步骤为:
12、(1)进行任务规划操作分析和交互任务分析;
13、(2)按照感知通道顺序设计视-听-视、听-视-听、触-视-听等7组实验;
14、(3)进行任务规划实验,并处理分析数据;
15、第三步:得到多通道并行和串行信息高效感知方法。
16、优选的,所述视觉通道信息以雷达界面中目标图标的形式呈现。听觉通道信息设计如图1所示,将界面均等划分为5个区域,不同区域的目标采用不同方位的声音来表示,声音选取同等音量和音调的耳标,例如当目标在区域1时,声源1发声。触觉通道信息设计如图2所示,同听觉通道界面划分方法,不同区域的目标采用不同手指处的振动来表示,每根手指振动强度相同,例如当目标在区域3时,手套中指产生振动。
17、优选的,所述实验招募10名学员被试者参加,均为研究生学员,年龄均在23-25岁之间,视力情况良好,矫正视力均在5.0以上,手脚便利,听力正常,具有相关作战常识。
18、优选的,所述该方法通过e-prime 2.0软件来对视觉信息和听觉信息的呈现进行实验编程,e-prime能呈现的刺激可以是文本、图像和声音(可以同时呈现三者的任意组合),满足视觉和听觉的实验需求。
19、优选的,所述该方法中实验的触觉信息的呈现由触觉手套完成,所述触觉手套的每个手指都配有触觉传感器来实现触觉力反馈,采取usb接口方式连接主设备。
20、优选的,所述作战人员在进行任务规划时交互任务可以大体分为选择目标、查询信息和任务分配,这三个交互任务在执行时所需要感知的信息分别为方位信息、威胁程度以及结果反馈。采用不同通道对三种信息分别进行呈现,感知通道顺序依次可分为视-听-视、听-视-听、触-视-听等7组实验。
21、优选的,所述该方法采用多层感知器(mlp)对复杂数据进行处理,所述多层感知器可以被看作是一个有向图,由多个节点层所组成,每一层都全连接到下一层。
22、优选的,所述多层感知器中除了输入节点,每个节点都是一个带有非线性激活函数的神经元,所述多层感知器采用反向传播算法的监督学习方式来进行训练。
23、优选的,所述反向传播算法,简称bp算法,适合于多层神经元网络的一种学习算法,它建立在梯度下降法的基础上。bp网络的输入输出关系实质上是一种映射关系:一个n输入m输出的bp神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合,因此具有很强的函数复现能力。
24、优选的,所述多层感知器中使用梯度下降法(sgd)求解最佳参数,所述sgd的操作过程如下:首先随机初始化所有参数,然后迭代训练,不断地计算梯度和更新参数,直到满足误差足够小的条件为止。
25、优选的,所述对目标搜索和任务规划两种任务分别进行多通道并行和串行的相关实验研究。将视觉组作为对照组,视触组、视听组和视听触组作为实验组,将方位信息、威胁程度以及结果反馈作为任务需要感知的信息,把视觉、听觉和触觉的组合使用作为研究方式,进行多通道并行实验。结果表明在目标搜索任务中,采用视觉与触觉的并列通道可以更快地让作战人员感知战场态势信息。对于任务规划任务中,目标方位、威胁程度、结果信息的感知的最佳使用通道分别为触觉、听觉和视觉。
26、与现有技术相比,本发明的有益效果为:
27、(1)得到了多通道界面设计的规则,能够有效提高有人/无人协同作战人员快速感知信息的能力;
28、(2)本发明得到结论:在目标搜索任务中,采用视觉与触觉的并列通道可以更快地让作战人员感知战场态势信息;
29、(3)本发明得到结论:在目标搜索任务中使用多通道并列可以帮助人提高对信息的感知接收的能力,两种通道并列足够让作战人员感知信息的效率最好,再增加其他通道将会适得其反,提高人的认知负荷;
30、(4)本发明得到结论:对于任务规划任务中,目标方位、威胁程度、结果信息的感知的最佳使用通道分别为触觉、听觉和视觉;
31、(5)本发明得到结论:在同一任务中不同子任务的感官通道使用应避免多次使用,增加重复使用通道的负荷,降低任务完成绩效。
32、上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
1.一种利用多通道交互技术的有人/无人高效感知方法,其特征在于,具体步骤如下:
2.根据权利要求1所述的一种利用多通道交互技术的有人/无人高效感知方法,其特征在于:所述该方法通过e-prime 2.0软件来对视觉信息和听觉信息的呈现进行实验编程,e-prime能呈现的刺激包括文本、图像和声音,满足视觉和听觉的实验需求。
3.根据权利要求2所述的一种利用多通道交互技术的有人/无人高效感知方法,其特征在于:所述该方法中实验的触觉信息的呈现由触觉手套完成,所述触觉手套的每个手指都配有触觉传感器来实现触觉力反馈,采取usb接口方式连接主设备。
4.根据权利要求3所述的一种利用多通道交互技术的有人/无人高效感知方法,其特征在于:所述该方法采用多层感知器(mlp)对复杂数据进行处理,所述多层感知器可以被看作是一个有向图,由多个节点层所组成,每一层都全连接到下一层。
5.根据权利要求4所述的一种利用多通道交互技术的有人/无人高效感知方法,其特征在于:所述多层感知器中除了输入节点,每个节点都是一个带有非线性激活函数的神经元,所述多层感知器采用反向传播算法的监督学习方式来进行训练。
6.根据权利要求5所述的一种利用多通道交互技术的有人/无人高效感知方法,其特征在于:所述多层感知器中使用梯度下降法(sgd)求解最佳参数,所述sgd的操作过程如下:首先随机初始化所有参数,然后迭代训练,不断地计算梯度和更新参数,直到获得最佳参数为止。