本技术涉及数据处理,尤其涉及一种数据处理方法、装置及相关设备。
背景技术:
1、实际业务场景中,经常存在跨云平台迁移或者同步计算实例的数据的需求。比如,在对计算实例进行版本升级的场景中,需要将云平台a上属于旧版本的计算实例的数据,迁移至云平台b上,以便云平台b上运行的新版本的计算实例能够基于迁移的数据提供相应的云服务。其中,云平台上的计算实例,例如可以是虚拟机(virtual machine,vm)等。
2、以数据迁移为例,在将云平台a上的计算实例的数据迁移至云平台b的过程中,通常会先停止运行计算实例,如关闭vm等,然后再将该数据由云平台a迁移至云平台b,这会导致计算实例会长时间处于停机状态,从而该计算实例所提供的服务会长时间中断。
3、因此,目前亟需一种数据处理方法,以实现在跨云平台迁移/同步计算实例的数据的过程中,减少计算实例的停机时长。
技术实现思路
1、有鉴于此,本技术实施例提供了一种数据处理方法,用以实现在跨云平台迁移/同步计算实例的数据的过程中,减少计算实例的停机时长。本技术还提供了对应的数据处理装置、计算设备集群、计算机可读存储介质以及计算机程序产品。
2、第一方面,本技术实施例提供了一种数据处理方法,该数据处理方法应用于数据处理装置,并且,该数据处理装置与多个云平台通过网络通信,该多个云平台包括第一云平台以及第二云平台,其中,在第一云平台上运行有计算实例,并且,第一云平台用于管理该计算实例,该计算实例例如可以是虚拟机、容器、裸金属服务器等。在将第一云平台上的数据跨云平台迁移至第二云平台时,数据处理装置指示第一云平台将基线数据发送至第二云平台,该基线数据为第一云平台到达第一时刻所存储的属于该计算实例的数据;在第一云平台向第二云平台发送基线数据的过程中,数据处理装置生成位置信息,该位置信息用于标识第一云平台上的目标存储位置,该目标存储位置为计算实例在第一时刻以及第二时刻之间的时间段内所写入的新的数据对应的在第一云平台上的存储位置,该第二时刻为基线数据发送完成的时刻,从而数据处理装置根据该位置信息,指示第一云平台将目标存储位置到达第二时刻所存储的数据发送至第二云平台。
3、由于在基线数据由第一云平台传输至第二云平台的过程中,数据处理装置会利用位置信息标识计算实例在该时间段内对哪些位置(即目标存储位置)的基线数据做出了修改,并在完成基线数据的发送后将目标存储位置上存储的新数据发送至第二云平台,这使得在第一云平台向第二云平台发送基线数据的过程中,计算实例可以继续处于运行状态,而可以仅在发送目标存储位置的数据时将该计算实例进行停机,由于目标存储位置的数据量较小,发送目标存储位置的数据的耗时较短,这可以有效减少跨云平台迁移或者同步数据的过程中计算实例处于停机的时长,从而可以减少跨云平台迁移或者同步数据对于计算实例提供云服务的影响。
4、另外,数据迁移或者同步过程中,由数据处理装置生成位置信息,这可以有效降低对于第一云平台与第二云平台的要求,如第一云平台与第二云平台可以是异构的云平台,第一云平台与第二云平台可以无需要求具有快照以及cbt(更改块跟踪)能力等,从而可以提高对于云平台的普适性,以及提高在数据迁移/同步场景中该方案的通用性。
5、在一种可能的实施方式中,数据处理装置所生成的位置信息包括位图,则数据处理装置可以获取操作记录,该操作记录用于记录计算实例在第一时刻至第二时刻之间的时间段内(也即第一云平台发送基线数据的时间段内)向目标存储位置写入新的数据,从而数据处理装置可以根据该操作记录,生成位图,其中,位图中的每个比特可以用于指示一段存储区域(如连续32个比特对应的存储区域)内的数据是否发生变化。如此,数据处理装置可以根据操作记录基线复制过程中哪些存储位置的数据被计算实例更新,从而利用位图来标识发生数据变化的目标存储位置,可以减少标识目标存储位置所需占用的数据存储空间。
6、在一种可能的实施方式中,数据处理装置包括代理组件,并且,该代理组件部署于第一云平台上,从而数据处理装置可以通过该代理组件获取操作记录。如此,可以无需在计算实例上安装组件或者工具,从而可以降低跨云平台迁移/同步数据对于计算实例提供云服务的影响。
7、在一种可能的实施方式中,在增量复制过程对应的时间段内(也即第二时刻以及第三时刻之间的时间段内),计算实例可以不停机。比如,在跨云平台同步数据的场景中,第一云平台上的计算实例可以持续处于运行状态。则,在该时间段内,数据处理装置可以生成增量位置信息,该增量位置信息用于标识第一云平台上的增量存储位置,该增量存储位置为计算实例在第二时刻以及第三时刻之间的时间段内所写入的新的数据对应的存储位置,该第三时刻为目标存储位置所存储的数据发送完成的时刻,从而数据处理装置可以根据该增量位置信息,指示第一云平台将该增量存储位置到达第三时刻所存储的数据发送至第二云平台。如此,通过多次迭代发送增量数据的过程,可以实现将第一云平台上的最新数据同步至第二云平台上,以使得第二云平台上的数据尽可能与第一云平台实时同步。
8、在一种可能的实施方式中,第一云平台与第二云平台为异构的两个云平台。如此,可以实现在异构的两个云平台之间迁移/同步数据,以此可以提高方案对于云平台的普适性。
9、第二方面,本技术提供一种数据处理方法,该数据处理方法应用于数据处理装置,该数据处理装置部署于第一云平台,其中,在第一云平台上运行有计算实例,并且,第一云平台用于管理该计算实例,该计算实例例如可以是虚拟机、容器、裸金属服务器等。在将第一云平台上的数据跨云平台迁移至第二云平台时,数据处理装置将基线数据发送至第二云平台,该基线数据为第一云平台到达第一时刻所存储的属于该计算实例的数据;在向第二云平台发送基线数据的过程中,数据处理装置生成位置信息,该位置信息用于标识第一云平台上的目标存储位置,该目标存储位置为计算实例在第一时刻以及第二时刻之间的时间段内所写入的新的数据对应的在第一云平台上的存储位置,该第二时刻为基线数据发送完成的时刻,从而数据处理装置根据该位置信息,将目标存储位置到达第二时刻所存储的数据发送至第二云平台。
10、由于在基线数据由第一云平台传输至第二云平台的过程中,数据处理装置会利用位置信息标识计算实例在该时间段内对哪些位置(即目标存储位置)的基线数据做出了修改,并在完成基线数据的发送后将目标存储位置上存储的新数据发送至第二云平台,这使得在第一云平台向第二云平台发送基线数据的过程中,计算实例可以继续处于运行状态,而可以仅在发送目标存储位置的数据时将该计算实例进行停机,由于目标存储位置的数据量较小,发送目标存储位置的数据的耗时较短,这可以有效减少跨云平台迁移或者同步数据的过程中计算实例处于停机的时长,从而可以减少跨云平台迁移或者同步数据对于计算实例提供云服务的影响。另外,数据迁移或者同步过程中,由数据处理装置生成位置信息,这可以有效降低对于第一云平台与第二云平台的要求,如第一云平台与第二云平台可以是异构的云平台,第一云平台与第二云平台可以无需要求具有快照以及cbt(更改块跟踪)能力等,从而可以提高对于云平台的普适性,以及提高在数据迁移/同步场景中该方案的通用性。
11、第三方面,本技术提供了一种数据处理装置,该数据处理装置、第一云平台以及第二云平台之间通过网络通信,第一云平台上运行计算实例,该数据处理装置包括:交互模块,用于指示第一云平台将基线数据发送至第二云平台,基线数据为第一云平台到达第一时刻所存储的属于计算实例的数据,第一云平台用于管理计算实例;生成模块,用于生成位置信息,位置信息用于标识第一云平台上的目标存储位置,目标存储位置为计算实例在第一时刻以及第二时刻之间的时间段内所写入的新的数据对应的在第一云平台上的存储位置,第二时刻为基线数据发送完成的时刻;交互模块,用于根据位置信息,指示第一云平台将目标存储位置到达第二时刻所存储的数据发送至第二云平台。
12、在一种可能的实施方式中,生成模块所生成的位置信息包括位图,则,生成模块,具体用于:获取操作记录,操作记录用于记录计算实例在第一时刻至第二时刻之间的时间段内向目标存储位置写入新的数据;根据操作记录,生成位图。
13、在一种可能的实施方式中,数据处理装置包括代理组件,代理组件部署于第一云平台上,数据处理装置通过代理组件获取操作记录。
14、在一种可能的实施方式中,生成模块,还用于生成增量位置信息,增量位置信息用于标识第一云平台上的增量存储位置,增量存储位置为计算实例在第二时刻以及第三时刻之间的时间段内所写入的新的数据对应的存储位置,第三时刻为目标存储位置所存储的数据发送完成的时刻;交互模块,还用于根据增量位置信息,指示第一云平台将增量存储位置到达第三时刻所存储的数据发送至第二云平台。
15、在一种可能的实施方式中,第一云平台与第二云平台为异构的两个云平台。
16、值得注意的是,第三方面提供的数据处理装置,对应于第一方面提供的数据处理方法,故第三方面以及第三方面中任一实施方式所具有的技术效果,可参见第一方面或者第一方面的相应实施方式所具有的技术效果。
17、第四方面,本技术提供一种数据处理装置,该数据处理装置部署于第一云平台,第一云平台上运行计算实例,该数据处理装置包括:交互模块,用于将基线数据发送至第二云平台,基线数据为第一云平台到达第一时刻所存储的属于计算实例的数据,第一云平台用于管理计算实例;生成模块,用于生成位置信息,位置信息用于标识第一云平台上的目标存储位置,目标存储位置为基线数据中在第一时刻以及第二时刻之间的时间段内所写入的新的数据对应的在第一云平台上的存储位置,第二时刻为基线数据发送完成的时刻;交互模块,还用于根据位置信息,将目标存储位置到达第二时刻所存储的数据发送至第二云平台。
18、值得注意的是,第四方面提供的数据处理装置,对应于第二方面提供的数据处理方法,故第四方面所具有的技术效果,可参见第二方面所具有的技术效果。
19、第五方面,本技术提供一种计算设备集群,所述计算设备包括至少一个计算设备,所述至少一个计算设备包括至少一个处理器和至少一个存储器;所述至少一个存储器用于存储指令,所述至少一个处理器执行所述至少一个存储器存储的该指令,以使所述计算设备集群执行上述第一方面或第一方面任一种可能实现方式中的数据处理方法,或者执行上述第二方面的数据处理方法。需要说明的是,该存储器可以集成于处理器中,也可以是独立于处理器之外。所述至少一个计算设备还可以包括总线。其中,处理器通过总线连接存储器。其中,存储器可以包括可读存储器以及随机存取存储器。
20、第六方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行上述第一方面或第一方面任一种可能实现方式中的数据处理方法,或者执行上述第二方面的数据处理方法。
21、第七方面,本技术提供了一种包含指令的计算机程序产品,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行上述第一方面或第一方面任一种可能实现方式中的数据处理方法,或者执行上述第二方面的数据处理方法。
22、本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
1.一种数据处理方法,其特征在于,所述方法应用于数据处理装置,所述数据处理装置、第一云平台以及第二云平台之间通过网络通信,所述第一云平台上运行计算实例,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述位置信息包括位图,所述数据处理装置生成位置信息,包括:
3.根据权利要求2所述的方法,其特征在于,所述数据处理装置包括代理组件,所述代理组件部署于所述第一云平台上,所述数据处理装置通过所述代理组件获取所述操作记录。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
5.根据权利要求1至4任一项所述的方法,其特征在于,所述第一云平台与所述第二云平台为异构的两个云平台。
6.一种数据处理方法,其特征在于,所述方法应用于数据处理装置,所述数据处理装置部署于第一云平台,所述第一云平台上运行计算实例,所述方法包括:
7.一种数据处理装置,其特征在于,所述数据处理装置、第一云平台以及第二云平台之间通过网络通信,所述第一云平台上运行计算实例,所述装置包括:
8.根据权利要求7所述的装置,其特征在于,所述位置信息包括位图,所述生成模块,用于:
9.根据权利要求8所述的装置,其特征在于,所述数据处理装置包括代理组件,所述代理组件部署于所述第一云平台上,所述数据处理装置通过所述代理组件获取所述操作记录。
10.根据权利要求7至9任一项所述的装置,其特征在于,
11.根据权利要求7至10任一项所述的装置,其特征在于,所述第一云平台与所述第二云平台为异构的两个云平台。
12.一种数据处理装置,其特征在于,所述数据处理装置部署于第一云平台,所述第一云平台上运行计算实例,所述装置包括:
13.一种计算设备集群,其特征在于,包括至少一个计算设备,每个计算设备包括处理器和存储器;
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行如权利要求1至6中任一项所述的方法。
15.一种包含指令的计算机程序产品,其特征在于,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行如权利要求1至6中任一项所述的方法。