本公开涉及一种用于预测交通工具外部环境中多个道路使用者相应轨迹的方法。
背景技术：
1、对于自主驾驶和各种高级驾驶员辅助系统(adas)，预测主交通工具周围道路使用者的未来运动是一项重要并且具有挑战性的任务。为主交通工具规划安全和方便的未来轨迹在很大程度上取决于对主交通工具外部环境中的交通场景的理解以及对其动态的预测。
2、为了精确预测周围道路使用者的未来轨迹，需要考虑和建模静态环境(如车道和道路结构、交通标志等)的影响，以及道路使用者之间的交互。道路使用者之间的交互具有不同的时间范围和各种的距离，这导致了高度的复杂性。因此，用传统方法对道路使用者之间的复杂交互进行建模实际上是不可行的。
3、m.schaefer等人的“(context-aware scene prediction network)背景感知场景预测网络(caspnet)”，arxiv：2201.06933v1，2022年1月18日，通过联合学习和预测主交通工具周围场景中所有道路使用者的运动，解决了预测主交通工具周围道路使用者的未来轨迹的任务。在本文中提出了一种包括卷积神经网络(cnn)和递归神经网络(rnn)的架构，该架构依赖于基于网格的输入和输出数据结构。具体而言，神经网络包括基于cnn的轨迹编码器，该轨迹编码器适用于学习空间结构中数据之间的相关性。作为基于cnn的轨迹编码器的输入，道路使用者的特性被光栅化在鸟瞰视图的二维数据结构中，以便经由cnn对道路使用者之间的交互进行建模。
4、然而，为了学习道路使用者之间的交互，不同道路使用者的特征必须被cnn的同一感受野所覆盖。对于cnn而言，这样的感受野的限制大小导致对可以学习道路使用者之间的交互的主交通工具环境中的空间范围的限制。为了增大感受野，可以堆叠多个cnn块，或者可以增加cnn的核大小。然而，这伴随着增加计算成本和在远距离交互中丢失更精细细节的缺点。
5、因此，需要一种用于预测道路使用者的轨迹的方法，该方法能够包括远距离道路使用者的交互，而不增加所需的计算工作量。
技术实现思路
1、本公开提供了根据独立权利要求的计算机实现的方法、计算机系统和非瞬态计算机可读介质。在从属权利要求、具体实施方式和附图中给出了实施例。
2、在一个方面，本公开涉及用于预测多个道路使用者的相应轨迹的计算机实现方法。根据该方法，经由主交通工具的感知系统确定道路使用者相对于主交通工具的轨迹特性，其中，轨迹特性被提供为联合向量，该联合向量描述道路使用者中的每一个道路使用者在预定义数量的时间步长内的相应动态。经由机器学习算法对轨迹特性的联合向量进行编码，该机器学习算法包括对道路使用者的交互进行建模的注意力算法。经编码的轨迹特性和针对主交通工具获得的经编码的静态环境数据经由机器学习算法被融合，其中融合提供融合的编码特征。经由机器学习算法对融合的编码特征进行解码，以便预测道路使用者中的每一个道路使用者在预定数量的未来时间步长内的相应轨迹。
3、针对多个道路使用者预测的相应轨迹可以包括其他交通工具的轨迹和行人的轨迹以及主交通工具的轨迹。轨迹特征可以包括每个相应道路使用者的位置、速度和对象类别。每个道路使用者的位置和速度可以在鸟瞰视图中被提供，即通过二维坐标系中的两个相应分量被提供，二维坐标在主交通工具处的预定义位置处具有其原点。
4、不是单独跟踪各个道路使用者，而是针对不同的时间步长确定道路使用者轨迹的相应特性，并由联合向量表示。通过增加由感知系统确定轨迹特性的时间步长的数量，可以改进预测道路使用者未来轨迹的可靠性。
5、轨迹特性的联合向量可以包括用于位置的两个分量、用于速度的两个分量和用于相应道路使用者的类别的另外的分量，其中这些分析中的每一个是为每个道路使用者和为每个时间步长提供这的，以便生成联合向量。例如，用于道路使用者类别的分量可以包括用于目标或主交通工具的一个分量、用于类别“交通工具”的一个分量以及用于类别“行人”的一个分量。相应道路使用者的对象类别可以是单热编码的，这意味着对于每个道路使用者，三个分量中的一个分量可以被设置为1，而另外两个分量被设置为0。
6、轨迹特性的联合向量不同于例如在以前的方法中使用的网格地图，在以前方法中相应特性不是经由包括多个单元或像素的预定义网格光栅化的，以便覆盖主交通工具的环境。这种光栅化通常基于相应道路使用者的位置来执行。因此，针对获取道路使用者的轨迹特性，范围或距离不受限制，因为不必考虑光栅化地图的限制。
7、机器学习算法可以嵌入或实现在主交通工具的处理单元中。由机器学习算法包括的注意力算法可以包括所谓的集合注意力块(sab)，集合注意力块(sab)依赖于由查询和关键向量的成对点积定义的注意力函数，以便测量查询和关键向量的相似程度。每个集合注意力块可以包括所谓的多头注意力，多头注意力可以由相应成对注意力函数的级联来定义，其中多头注意力包括可学习参数。此外，这样的所述注意块可以包括前馈层。注意力算法可以进一步包括所谓的多头注意力的池化(pma)，用于聚合上述集合注意力块(sab)的特征。相应集合注意力块(sab)可以对道路使用者之间的成对交互进行建模。
8、解码的输出可以作为每个类别的道路使用者的基于网格的占用概率来提供。也就是说，主交通工具的环境可以由包括预定义数量的单元或像素的网格光栅化，并且针对这些像素中的每一个像素，解码步骤可以确定例如主交通工具、其他交通工具和行人的相应占用概率。基于这样的占用概率网格，可以针对每个道路使用者导出预测轨迹。
9、由于表示轨迹特性的联合向量，针对可以监测道路使用者以及可以对其交互进行建模的空间范围或距离没有限制。此外，经由轨迹特性的联合向量，可以直接从交通工具的感知系统接收数据，即不需要进一步变换这种输入数据。换句话说，不需要映射到网格地图来对道路使用者的轨迹特性进行编码。
10、由于这一点以及由于由编码步骤使用的注意力算法，所需的存储器和整个计算工作量减少。此外，注意力算法的输出可以相对于联合向量内的轨迹特性的顺序是不变的。
11、根据实施例，通过注意力算法对道路使用者的交互进行建模可以包括：针对每个道路使用者，对与其他道路使用者的相应交互进行建模，融合所有道路使用者的建模交互，以及将每个道路使用者的建模交互与融合所有道路使用者的建模交互的结果级联。
12、融合建模交互可以通过池化操作来执行，例如通过经由所谓的多头注意力的池化来执行。此外，通过提供上述集合注意力块(sab)的堆叠结构，除了成对交互之外，还可以考虑更高阶的交互。由于级联步骤，注意力算法可以同时学习成对交互和高阶交互。
13、对相应交互进行建模可以包括：将道路使用者的轨迹特性(即，它们的联合向量)提供给堆叠的多个注意力块，其中每个注意块包括多头注意力算法和至少一个前馈层，并且其中多头注意力算法包括确定从轨迹特性导出的查询与预定键值的相似性。轨迹特性的联合向量可以进一步通过多层感知来嵌入，即在被提供给堆叠的多个注意力块之前。多头注意力算法和前馈层的可能需要较低的计算工作量用于它们的实现。因此，将多个注意力块应用于描述每个道路使用者的动态的联合向量可以用于对道路使用者的成对和高阶交互进行建模。
14、根据另一实施例，静态环境数据可以经由主交通工具的感知系统和/或预定地图来确定。可以经由机器学习算法对静态环境数据进行编码，以获得经编码的静态环境数据。
15、经由机器学习算法对静态环境数据进行编码可以包括在多个堆叠级别处对静态环境数据进行编码，其中每个级别与预定尺度相对应。注意力算法还可以包括多个堆叠级别，其中每个级别与用于对静态环境编码的数据的相应级别相对应。对道路使用者的轨迹特性进行编码可以包括相对于与对静态环境数据进行编码的级别相对应的尺度来不同地嵌入每个级别的轨迹特性。
16、通过这种方式，对轨迹特性的编码可以在不同的嵌入级别上执行，每个嵌入级别对应于与相应级别上编码的静态环境数据的尺度或分辨率相匹配的不同尺度。例如，如果在每个级别上经由相应卷积神经网络(cnn)对静态环境数据进行编码，则编码可以提供从级别到级别的降尺度，并且轨迹特性的嵌入可以适于降尺度。因此，当对静态环境数据进行编码时，注意力算法能够学习为相应级别提供的不同尺度的道路使用者之间的交互。
17、至少一个注意力算法的输出可以被分配给针对每个级别具有不同分辨率的相应动态网格地图。如上所述，对静态环境数据进行编码可以提供从级别到级别的降尺度，例如，并且对编码轨迹特性(即嵌入之后的编码的联合向量)的分配也可以与该降尺度相匹配，该降尺度与每个级别的不同分辨率相对应。这也支持学习不同尺度处的道路使用者之间的交互。
18、至少一个注意力算法的分配输出可以与每一级别上的编码静态环境数据级联。换句话说，整个机器学习算法可以包括金字塔结构，其中在这种金字塔结构的每一级别上执行相应编码数据的级联。金字塔结构的每个级别的输出，即级联的输出，可以单独地提供给解码步骤。
19、静态环境数据可以在堆叠的级别上被迭代编码，并且每个级别上的静态环境数据的相应编码的输出可以与相应级别上的至少一个注意力算法的分配输出级联。
20、此外，静态环境数据可以由静态网格地图提供，静态网格地图包括主交通工具环境中感兴趣区域的光栅化，并且将至少一个注意力算法的输出分配给相应动态网格地图，这可以包括与静态网格地图的光栅化相关的光栅化。例如在对静态环境数据进行编码的每个级别上提供的相应光栅化可用于提供光栅化，在该光栅化上分配注意力算法的输出可基于该光栅化。通常，静态和动态网格地图可以在鸟瞰视图中以二维方式实现。
21、对轨迹特性的联合向量进行编码可以在每个堆叠级别上执行,也可以z针对经由交通工具的感知系统确定相应轨迹特性的每个不同时间步长迭代执行。为了融合时域中的轨迹特性，可以将相应分配或光栅化步骤的输出提供给相应卷积门控递归单元。
22、对于多个时间步长的静态网格地图的光栅化，可以提供解码融合特征的结果。时间步长的数量可以是预定义的或可变的。因此，可以提供可变的时间范围和对应的空间范围来预测道路使用者的相应轨迹。
23、轨迹特性可以包括每个道路使用者的当前位置、当前速度和对象类别。另外，轨迹特性可以包括每个道路使用者的当前加速度、当前边界框取向和尺寸。
24、在另一方面，本公开涉及计算机系统，所述计算机系统被配置成用于执行本文描述的计算机实现方法的若干或所有步骤。该计算机系统进一步被配置成用于:接收由交通工具的感知系统提供的道路使用者的轨迹特性，并且接收由交通工具的感知系统和/或由预定地图提供的静态环境数据。
25、该计算机系统可以包括处理单元、至少一个存储单元和至少一个非瞬态数据存储器。非瞬态数据存储和/或存储器单元可以包括用于指示计算机执行本文描述的计算机实现方法的若干或所有步骤或方面的计算机程序。
26、如本文所使用的，像处理单元和模块之类的术语可以指、是专用集成电路(asic)、电子电路、组合逻辑电路、现场可编程门阵列(fpga)、执行代码的处理器(共享的、专用的或组的)、提供所述功能的其他合适的组件，或者上述一些或全部的组合的一部分，或者包括专用集成电路(asic)、电子电路、组合逻辑电路、现场可编程门阵列(fpga)、执行代码的处理器(共享的、专用的或组的)、提供所述功能的其他合适的组件，或者上述一些或全部的组合，诸如在片上系统中。处理单元可以包括存储由处理器执行的代码的存储器(共享的、专用的或组的)。
27、根据实施例，计算机系统可以包括机器学习算法，机器学习算法可以包括：相应编码器，相应编码器用于对轨迹特性的联合向量进行编码并且对静态环境数据进行编码，编码的轨迹特征和编码的静态环境数据的级联，以便获得融合的编码特征，以及解码器，用于解码融合的编码特征，以便预测在预定数量的未来时间步长内每个道路使用者的相应轨迹。
28、在另一方面，本公开涉及一种交通工具，该交通工具包括如本文所述的感知系统和计算机系统。
29、在另一方面，本公开涉及一种非瞬态计算机可读介质，该非瞬态计算机可读介质包括用于执行本文描述的计算机实现方法的若干或所有步骤或方面的指令。计算机可读介质可以被配置为：光学介质，诸如光盘(cd)或数字通用盘(dvd)；磁介质，诸如硬盘驱动器(hdd)；固态硬盘(ssd)；只读存储器(rom)；闪存；或者类似的。此外，计算机可读介质可以被配置为经由数据连接(诸如互联网连接)可访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储器。
30、本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法的若干或所有步骤或方面。
1.一种用于预测多个道路使用者(130)的相应轨迹(610、620)的计算机实现方法，
2.如权利要求1所述的方法，其特征在于
3.如权利要求2所述的方法，其特征在于
4.如权利要求1所述的方法，其特征在于：
5.如权利要求4所述的方法，其特征在于
6.如权利要求5所述的方法，其特征在于
7.如权利要求5所述的方法，其特征在于
8.如权利要求7所述的方法，其特征在于
9.如权利要求4至8中任一项所述的方法，其特征在于：
10.如权利要求9所述的方法，其特征在于
11.如权利要求1所述的方法，其特征在于：
12.一种计算机系统(900)，所述计算机系统(900)被配置成用于：
13.如权利要求12所述的计算机系统(900)，包括：
14.一种交通工具(100)，所述交通工具(100)包括感知(110)系统和根据权利要求12或13所述的计算机系统(900)。
15.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括用于实行如权利要求1至11中至少一项所述的计算机实现的方法的指令。
