1.本发明涉及数据处理技术领域，尤其涉及一种项目申报系统及其数据存储方法、设备及存储介质。
背景技术：2.现如今，信息化项目已深入到各行各业，信息系统已经成为办公学习过程中的必不可少的存在。其中，项目申报信息化平台也逐渐发展起来，这主要得益于，其快速、高效、远程上传、远程审批等优点，能够显著提升项目申报的效率，简化项目申报的流程，大大缩短了项目申报过程中的精力和时间的消耗。然而，现有的项目申报系统存在着不小的问题，例如科技园区内的项目申报系统，园区内企业要在同一申报阶段结束前上传项目资料至项目申报系统，从而会导致短时间内大量的用户上传数据和文件，使得系统需要处理大量的数据读写，进而导致服务器宕机、系统崩溃等问题，而系统崩溃等问题进一步导致部分用户的项目资料数据更新失败，继而又有大量用户重新上传文件或修改数据，引发又一次的系统崩溃，如此则陷入一个恶性循环，导致用户的体验较差，系统的效率变低。
技术实现要素：3.本发明提供了一种项目申报系统及其数据存储方法、设备及存储介质，主要目的是为了解决短时间内大量用户申报项目时容易引起服务器宕机、系统崩溃、数据出错的技术问题。
4.为了解决上述或至少部分解决上述技术问题，本发明采用以下技术方案：第一方面，提供一种项目申报系统，所述系统包括申报模块、分布式存储模块和管理模块；所述申报模块用于供用户填写对应的项目资料并发送至所述分布式存储模块；所述分布式存储模块包括第一数量个分布式存储节点，各个所述分布式存储节点通讯连接，所述分布式存储节点本地存有全局索引表，所述全局索引表包括若干第一键值对，所述第一键值的第一值包括第一用户对应的唯一识别码，所述第一键值对的第一值包括第一用户的当前项目资料及预设数量的历史项目资料；所述管理模块包括匹配单元、统筹单元及配置单元，所述匹配单元用于配置各个分布式存储节点接收来自申报模块的项目资料的接收规则；所述统筹模块用于统计所有分布式存储节点中所储存的所有项目资料及其备份情况，并根据配置的存储规则备份或删除项目资料；所述配置模块用于配置或修改项目资料在所述分布式存储节点的存储规则及参数。
5.作为优选，所述分布式存储节点本地还存有第一映射关系表，所述第一映射关系表包括若干第一映射关系，所述第一映射关系包括第一键与其对应的第一值的哈希的映射关系。
6.第二方面，提供一种项目申报系统的数据存储方法，所述方法适用于如上述第一
方面所提供的基于分布式存储的项目申报系统，所述方法包括：申报模块接收第一用户所提供的第一项目资料，并将所述第一项目资料发送至分布式存储模块；管理模块根据预设的匹配规则为所述第一项目资料匹配对应的分布式存储节点，记为第一分布式存储节点；所述匹配规则包括根据各个分布式存储节点的当前内存及cpu使用情况，以及各个分布式存储节点的当前存储量进行匹配；第一分布式存储节点获取第一项目资料的唯一识别码，判断本地的全局索引表中是否已经存在该唯一识别码，是则将所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料，否则通过管理模块继续判断其余分布式存储节点中是否已经存在该唯一识别码，是则获取该唯一识别码对应的第一键值对，并所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料，再将更新后的第一项目资料的唯一识别码所对应的第一键值对与已经存有第一项目资料的唯一识别码的分布式存储节点进行同步，否则根据第一项目资料及其唯一识别码生成对应的第一键值对存入第一分布式存储节点的全局索引表，同时，第一分布式存储节点根据预先配置的存储规则对第一项目资料及其唯一识别码进行同步；管理模块每间隔第一时长对所有分布式存储节点中所储存的所有项目资料进行统计，对于重复存储次数超过第二数量的项目资料依据调用频次有少至多进行删除直至重复存储次数为第二数量。
7.作为优选，项目申报系统重启后，管理模块对各个分布式存储节点的全局索引表中的所有第一键值对进行一致性确认，若存在不一致的第一键值对，则以更新时间最近的为基准进行同步，一致性确认方法包括：通过各个分布式存储节点的第一映射关系表对比相同第一值对应的的哈希，若一致说明数据一致。
8.作为优选，将所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料之后还包括：判断包括所述第一项目资料的第一值中的历史项目资料是否超过预设数量，是则根据时间顺序删除最早的历史项目资料。
9.第三方面，提供一种计算机设备，包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述第二方面所述的方法。
10.第四方面，提供一种存储有计算机程序的存储介质，该程序被处理器执行时实现如上述第二方面所述的方法。
11.有益效果：本技术的有益效果在于采用分布式存储节点的项目申报系统，多个存储节点并发的支持数据的读写，在大量用户短时间内进行数据和文件的上传时，相较与单一服务器，大大缓解读写压力，同时，其中一个存储节点崩溃时不会影响其他节点的运行，不会导致整体的系统崩溃；另一方面，本技术提供的数据存储方法相较于传统的分布式存储节点需要每个节点都拥有所有数据方式，采用了动态平衡策略，每个分布式存储节点仅存储部分数据，能够减少对磁盘的消耗，同时通过中心化的管理模块来进行协调保证分布式存储节点网络中的每个数据都具有预设数量的备份，以保证分布式存储节点网络在部分节点宕机后仍然
能够拥有完整的数据，可以通过管理节点的统筹调配以保证数据的正常使用，不会出现数据错误，并且管理模块在预设的时长内对过剩的备份进行清理，进一步减少磁盘的消耗；再者，本技术通过第一值的哈希来验证备份的第一值是否一致，验证便捷高效，减少系统的内耗。
附图说明
12.图1是本发明实施例2提供的一种设备的结构示意图。
具体实施方式
13.下面结合附图和具体实施方式对本发明进一步的描述。
14.以下结合具体实施例和说明书附图对本发明作出进一步清楚详细的描述说明。本领域普通技术人员在基于这些说明的情况下将能够实现本发明。此外，下述说明中涉及到的本发明的实施例通常仅是本发明一部分的实施例，而不是全部的实施例。因此，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定，“若干”的含义是表示一个或者多个。
15.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
16.如无特殊说明，本发明实施例所用原料均为市售或本领域技术人员可获得的原料；如无特殊说明，本发明实施例所用方法均为本领域技术人员所掌握的方法。
17.实施例1本实施例提供一种项目申报系统及其数据存储方法，所述系统包括申报模块、分布式存储模块和管理模块；所述申报模块用于供用户填写对应的项目资料并发送至所述分布式存储模块；所述分布式存储模块包括第一数量个分布式存储节点，各个所述分布式存储节点通讯连接，所述分布式存储节点本地存有全局索引表，所述全局索引表包括若干第一键值对，所述第一键值的第一值包括第一用户对应的唯一识别码，所述第一键值对的第一值包括第一用户的当前项目资料及预设数量的历史项目资料；所述管理模块包括匹配单元、统筹单元及配置单元，所述匹配单元用于配置各个分布式存储节点接收来自申报模块的项目资料的接收规则；所述统筹模块用于统计所有分布式存储节点中所储存的所有项目资料及其备份情况，并根据配置的存储规则备份或删除项目资料；所述配置模块用于配置或修改项目资料在所述分布式存储节点的存储规则及参数。
18.进一步的，所述分布式存储节点本地还存有第一映射关系表，所述第一映射关系表包括若干第一映射关系，所述第一映射关系包括第一键与其对应的第一值的哈希的映射关系。
19.所述方法适用于上述基于分布式存储的项目申报系统，如图1 所示，所述方法包括：申报模块接收第一用户所提供的第一项目资料，并将所述第一项目资料发送至分布式存储模块；管理模块根据预设的匹配规则为所述第一项目资料匹配对应的分布式存储节点，记为第一分布式存储节点；所述匹配规则包括根据各个分布式存储节点的当前内存及cpu使用情况，以及各个分布式存储节点的当前存储量进行匹配；第一分布式存储节点获取第一项目资料的唯一识别码，判断本地的全局索引表中是否已经存在该唯一识别码，是则将所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料，否则通过管理模块继续判断其余分布式存储节点中是否已经存在该唯一识别码，是则获取该唯一识别码对应的第一键值对，并所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料，再将更新后的第一项目资料的唯一识别码所对应的第一键值对与已经存有第一项目资料的唯一识别码的分布式存储节点进行同步，否则根据第一项目资料及其唯一识别码生成对应的第一键值对存入第一分布式存储节点的全局索引表，同时，第一分布式存储节点根据预先配置的存储规则对第一项目资料及其唯一识别码进行同步；具体的，唯一识别码可以是用户企业的统一社会信用代码或者是由本系统生成的全局唯一代码；管理模块每间隔第一时长对所有分布式存储节点中所储存的所有项目资料进行统计，对于重复存储次数超过第二数量的项目资料依据调用频次有少至多进行删除直至重复存储次数为第二数量。
20.进一步的，项目申报系统重启后，管理模块对各个分布式存储节点的全局索引表中的所有第一键值对进行一致性确认，若存在不一致的第一键值对，则以更新时间最近的为基准进行同步，一致性确认方法包括：通过各个分布式存储节点的第一映射关系表对比相同第一值对应的的哈希，若一致说明数据一致。
21.更进一步的，将所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料之后还包括：判断包括所述第一项目资料的第一值中的历史项目资料是否超过预设数量，是则根据时间顺序删除最早的历史项目资料。
22.具体的，以科技园区内用项目申报系统为例，在3天内园区内所有有需求的企业都需要完成项目申报，如此就会造成项目申报系统短时间内大量用户登录并上传数据和文件，大量的数据读写为系统造成巨大的数据处理压力，采用本实施例中的项目申报系统，系统的申报模块在接收用户的项目资料后，需要写入存储节点时，通过管理模块依据预设的匹配规则分配对应的分布式存储节点，例如当分布式存储节点有10个时，则相当于有10个服务器并行处理数据的读写，大幅度提高效率，同时减少了系统崩溃的概率；分布式存储节点接收项目资料后先确认接收的项目资料是新增项目还是原有项目的修改，确认方式就是在分布式存储节点网络中查找该项目资料对应的唯一识别码是否已经存在，已经存在就说明为原有项目的修改，若是原有项目的修改，则用接收的项目资料作为该唯一识别代码对应的第一值中的当前项目资料，该第一值中的其他项目资料作为历史项目资料，然后判断历史项目资料的数量是否超过了预设值，若超过了就删除最早版本的历史项目资料，历史
项目资料的存在是为了避免用户错改项目资料后难以复原，尤其是一些代理服务机构需要为多个用户进行代理提交服务，若错改资料无法复原会造成效率大大减少，进一步的，所述分布式节点接收更新原有项目资料时，可以引入语义识别模块，通过在申报模块中预设重点资料条目，在修改时对该些重点条目进行语义识别，若修改较多则需要用户再次确认，减少错误修改的发送；然后，管理模块每间隔第一时长对所有分布式存储节点中所储存的所有项目资料进行统计，对于重复存储次数超过第二数量的项目资料依据调用频次有少至多进行删除直至重复存储次数为第二数量；本实施例提供的数据存储方法相较于传统的分布式存储节点需要每个节点都拥有所有数据方式，采用了动态平衡策略，每个分布式存储节点仅存储部分数据，能够减少对磁盘的消耗，同时通过中心化的管理模块来进行协调保证分布式存储节点网络中的每个数据都具有预设数量的备份，以保证分布式存储节点网络在部分节点宕机后仍然能够拥有完整的数据，可以通过管理节点的统筹调配以保证数据的正常使用，不会出现数据错误，并且管理模块在预设的时长内对过剩的备份进行清理，进一步减少磁盘的消耗；而且采用本实施例所述的数据存储方法时，存储节点的更替对于整体的分布式存储节点网络影响很小，新加入的节点也可以定期拿到自己需要保存的数据，而且每份数据在分布式存储节点网络中都有第二数量份的备份，旧节点的退出不会影响数据的完整性，方便分布式存储节点的更新，并且避免了繁琐的数据迁移。再者，本实施例的方法通过第一值的哈希来验证备份的第一值是否一致，验证便捷高效，也减少了系统的内耗。
23.实施例2一种计算机设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如实施例1中所述的方法。
24.一种存储有计算机程序的存储介质，该程序被处理器执行时实现如以上实施例1中所述的方法。
25.图1为本实施例提供的一种设备的结构示意图。
26.如图1所示，作为另一方面，本技术还提供了一种计算机设备100，包括一个或多个中央处理单元(cpu)101，其可以根据存储在只读存储器(rom)102中的程序或者从存储部分108加载到随机访问存储器(ram)103中的程序而执行各种适当的动作和处理。在ram103中，还存储有设备100操作所需的各种程序和数据。cpu101、rom102以及ram103通过总线104彼此相连。输入/输出(i/o)接口105也连接至总线104。
27.以下部件连接至i/o接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分107；包括硬盘等的存储部分108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理驱动器110也根据需要连接至i/o接口105。可拆卸介质111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器110上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。
28.特别地，根据本技术公开的实施例，上述实施例1所描述的方法可以被实现为计算机软件程序。例如，本技术公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述任一实施例描述的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分109从网络上被下载和安
装，和/或从可拆卸介质111被安装。
29.作为又一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，该程序被一个或者一个以上的处理器用来执行描述于本技术的方法。
30.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
31.描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
32.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本技术构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
技术特征：1.一种项目申报系统，其特征在于，所述系统包括申报模块、分布式存储模块和管理模块；所述申报模块用于供用户填写对应的项目资料并发送至所述分布式存储模块；所述分布式存储模块包括第一数量个分布式存储节点，各个所述分布式存储节点通讯连接，所述分布式存储节点本地存有全局索引表，所述全局索引表包括若干第一键值对，所述第一键值的第一值包括第一用户对应的唯一识别码，所述第一键值对的第一值包括第一用户的当前项目资料及预设数量的历史项目资料；所述管理模块包括匹配单元、统筹单元及配置单元，所述匹配单元用于配置各个分布式存储节点接收来自申报模块的项目资料的接收规则；所述统筹模块用于统计所有分布式存储节点中所储存的所有项目资料及其备份情况，并根据配置的存储规则备份或删除项目资料；所述配置模块用于配置或修改项目资料在所述分布式存储节点的存储规则及参数。2.根据权利要求1所述的一种项目申报系统，其特征在于，所述分布式存储节点本地还存有第一映射关系表，所述第一映射关系表包括若干第一映射关系，所述第一映射关系包括第一键与其对应的第一值的哈希的映射关系。3.一种项目申报系统的数据存储方法，其特征在于，所述方法适用于基于分布式存储的项目申报系统，所述方法包括：申报模块接收第一用户所提供的第一项目资料，并将所述第一项目资料发送至分布式存储模块；管理模块根据预设的匹配规则为所述第一项目资料匹配对应的分布式存储节点，记为第一分布式存储节点；所述匹配规则包括根据各个分布式存储节点的当前内存及cpu使用情况，以及各个分布式存储节点的当前存储量进行匹配；第一分布式存储节点获取第一项目资料的唯一识别码，判断本地的全局索引表中是否已经存在该唯一识别码，是则将所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料，否则通过管理模块继续判断其余分布式存储节点中是否已经存在该唯一识别码，是则获取该唯一识别码对应的第一键值对，并所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料，再将更新后的第一项目资料的唯一识别码所对应的第一键值对与已经存有第一项目资料的唯一识别码的分布式存储节点进行同步，否则根据第一项目资料及其唯一识别码生成对应的第一键值对存入第一分布式存储节点的全局索引表，同时，第一分布式存储节点根据预先配置的存储规则对第一项目资料及其唯一识别码进行同步；管理模块每间隔第一时长对所有分布式存储节点中所储存的所有项目资料进行统计，对于重复存储次数超过第二数量的项目资料依据调用频次有少至多进行删除直至重复存储次数为第二数量。4.根据权利要求3所述的一种项目申报系统的数据存储方法，其特征在于，项目申报系统重启后，管理模块对各个分布式存储节点的全局索引表中的所有第一键值对进行一致性确认，若存在不一致的第一键值对，则以更新时间最近的为基准进行同步，一致性确认方法包括：通过各个分布式存储节点的第一映射关系表对比相同第一值对应的的哈希，若一致说明数据一致。
5.根据权利要求3或4所述的一种项目申报系统的数据存储方法，其特征在于，将所述第一项目资料添加入对应的第一值中作为该第一值的当前项目资料之后还包括：判断包括所述第一项目资料的第一值中的历史项目资料是否超过预设数量，是则根据时间顺序删除最早的历史项目资料。6.一种计算机设备，其特征在于，一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求3至5中任意一项所述的方法。7.一种存储有计算机程序的存储介质，其特征在于，该程序被处理器执行时实现如权利要求3至5中任意一项所述的方法。
技术总结本发明公开了一种项目申报系统及其数据存储方法、设备及存储介质，主要目的是为了解决短时间内大量用户申报项目时容易引起服务器宕机、系统崩溃、数据出错的技术问题，系统包括申报模块、分布式存储模块和管理模块，通过分布式存储节点与动态平衡策略的结合，解决短时间内大量用户申报项目时引起的服务器宕机、系统崩溃、数据出错的同时，能够减少节点对磁盘的消耗，弱化节点交替的影响并且避免了繁琐的数据迁移。的数据迁移。的数据迁移。
技术研发人员：莫倚晶 叶亿龙 徐卉
受保护的技术使用者：杭州智科飞创信息科技有限公司
技术研发日：2022.05.13
技术公布日：2022/7/5
