本发明涉及信息
技术领域：
，具体涉及一种数据分发方法，装载机及存储系统。
背景技术：
：随着信息化技术在社会各个应用领域的普及，大数据的问题日益突出。大数据具备“4V”的特征，其中一个重要的特征“Volume(大量)”，指数据量的巨大。大数据起始于互联网领域，大量互联网用户在社交、线上交易等活动中产生了大量数据，有结构化数据，如上网日志、交易记录等，也有非结构化数据，如图片、音频和视频等。传统行业为了保持持续的繁荣和增长，需要更为细致的收集用户数据，探索新的服务方式，实现精准营销。导致数据量在各行各业呈指数增长，预计在2020年，全球的总数据量将达到10EB级。一个随数据量增长而弹性扩展，能够持久可靠地保存数据，同时具备高性价比的存储系统成为解决问题的关键。为了提供具备高性价比并且持久可靠地保存数据的存储系统，在结构化数据存储和处理领域，出现大量的MPP(MassivelyParallelProcessing，大规模并行处理)架构的分布式数据库系统，即MPP数据库系统。但是，由于结构化数据的增长速度也相当惊人，大多数场景下每天来自生产系统产生的新的数据量达到TB级以上，如何解决大量数据的快速入库，避免数据堆积，提升数据的实时性也是衡量一个大数据系统的指标。目前，为了在结构化数据存储系统中，实现数据的快速入库，采用了如下方案：1、在满足预定的启动条件后，装载机对本地文件系统中的中间数据进行分割，得到待分发的目标数据块，然后将待分发的目标数据块存入发送队列；2、从发送队列中依次取出待分发的目标数据块，发送给MPP数据库系统的各数据节点；3、第一数据节点在收到目标数据块后，解析所有收到的目标数据块并将目标数据块转换为数据记录，然后进行重分布计算：判断所述第一数据节点是否为所述数据记录的目标数据节点。然后，依据重分布计算结果存储数据记录：如果是目标数据节点则存储在所述第一数据节点，否则通过MPP数据库系统的内网将上述数据记录发送给第二数据节点，第一数据节点和第二数据节点都是MPP数据库系统的数据节点，第一数据节点是接收目标数据块的节点，第二数据节点为目标数据块的目标节点。在MPP数据库系统中，数据节点需要进行数据转换以及重分布计算，而且数据记录在到达MPP数据库系统以后，还会占用MPP数据库系统的内网传输资源，因此以上中间数据的批量导入方案，对MPP数据库系统资源占用过多，容易出现硬件过载导致响应速度慢并且存储效率低。技术实现要素：本发明实施例提供一种数据分发方法，装载机及存储系统，用于提高存储系统的响应速度以及存储效率。本发明实施例一方面提供了一种数据分发方法，应用于存储系统，所述存储系统包括装载机和数据库系统，所述数据库系统包括数据节点，包括：所述装载机获取待分发的数据，将所述待分发的数据分割为数据记录；所述装载机将所述数据记录转换为目标数据记录，并依据所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，所述目标数据记录的格式为所述数据库系统能够识别的格式，其中，所述装载机将所述数据记录转换为目标数据记录之前还包括：所述装载机接收逻辑代码，所述逻辑代码中指定了上述目标数据记录的格式、以及上述数据库系统的数据分布策略；所述装载机向所述目标数据节点发送所述目标数据记录。结合一方面的实现方案，在第一种可选的实现方案中，所述目标数据记录的格式、以及所述数据库系统的数据分布策略均配置在所述装载机本地；所述装载机将所述数据记录转换为所述目标数据记录，并依据所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，包括：所述装载机按照配置在本地的所述目标数据记录的格式将所述数据记录转换为所述目标数据记录，并依据配置在本地的所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合一方面的实现方案，在第二种可选的实现方案中，所述装载机将所述数据记录转换为所述目标数据记录之前，还包括：所述装载机接收所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述装载机将所述数据记录转换为所述目标数据记录，并依据所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，包括：所述装载机根据接收的所述目标数据记录的格式、以及所述数据库系统的数据分布策略执行本地存储的逻辑代码，通过执行所述逻辑代码将所述数据记录转换为所述目标数据记录，并确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合一方面的实现方案，在第三种可选的实现方案中，所述装载机将所述数据记录转换为所述目标数据记录之前，还包括：所述装载机接收逻辑代码，所述逻辑代码中指定了所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述装载机将所述数据记录转换为所述目标数据记录，并依据所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，包括：所述装载机执行所述逻辑代码，通过执行所述逻辑代码将所述数据记录转换为所述目标数据记录，并确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合一方面的第三种可选的实现方案，在第四种可选的实现方案中，所述逻辑代码为与平台无关的代码。结合一方面的第三种可选的实现方案，在第五种可选的实现方案中，所述装载机接收所述逻辑代码，包括：所述装载机接收所述数据库系统发送的所述逻辑代码。结合一方面的实现方案、一方面的第一种、第二种、第三种、第四种或者第五种可选的实现方案，在第六种可选的实现方案中，所述装载机向所述目标数据节点发送所述目标数据记录包括：所述装载机将所述目标数据记录存入与所述目标数据节点对应的队列中，按照先进先出的原则从所述队列中取出所述目标数据记录并发送给所述目标数据节点。本发明实施例二方面提供了一种装载机，所述装载机包括：数据分割模块，用于获取待分发的数据，将所述待分发的数据分割为数据记录；数据转换模块，用于将所述数据分割模块分割得到的所述数据记录转换为目标数据记录，所述目标数据记录的格式为数据库系统能够识别的格式，其中所述目标数据记录的格式、以及所述数据库系统的数据分布策略均配置在所述装载机本地；分布计算模块，用于依据所述数据库系统的数据分布策略确定所述数据转换模块转换得到的所述目标数据记录在所述数据库系统中对应的目标数据节点，其中所述目标数据记录的格式、以及所述数据库系统的数据分布策略均配置在所述装载机本地；分发模块，用于向所述分布计算模块确定的所述目标数据节点发送所述数据转换模块转换得到的所述目标数据记录。结合二方面的实现方案，在第一种可选的实现方案中，所述目标数据记录的格式、以及所述数据库系统的数据分布策略均配置在所述装载机本地；所述数据转换模块，具体用于按照配置在本地的所述目标数据记录的格式将所述数据记录转换为所述目标数据记录；所述分布计算模块，具体用于依据配置在本地的所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合二方面的实现方案，在第二种可选的实现方案中，所述装载机还包括：参数接收模块，用于在所述数据转换模块将所述数据记录转换为所述目标数据记录之前，接收所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述数据转换模块，具体用于根据所述参数接收模块接收的所述目标数据记录的格式执行本地存储的逻辑代码，通过执行所述逻辑代码将所述数据记录转换为所述目标数据记录；所述分布计算模块，具体用于根据所述参数接收模块接收的所述数据库系统的数据分布策略执行本地存储的所述逻辑代码，通过执行所述逻辑代码确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合二方面的实现方案，在第三种可选的实现方案中，所述装载机还包括：代码接收模块，用于在所述数据转换模块将所述数据记录转换为所述目标数据记录之前，接收逻辑代码，所述逻辑代码中指定了所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述数据转换模块，具体用于执行所述逻辑代码，通过执行所述逻辑代码将所述数据记录转换为所述目标数据记录；所述分布计算模块，具体用于执行所述逻辑代码，通过执行所述逻辑代码确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合二方面的第三种可选的实现方案，在第四种可选的实现方案中，所述逻辑代码为与平台无关的代码。结合二方面的第三种可选的实现方案，在第五种可选的实现方案中，所述代码接收模块，具体用于接收所述数据库系统发送的逻辑代码。结合二方面的实现方案、二方面的第一种、第二种、第三种、第四种或者第五种可选的实现方案，在第六种可选的实现方案中，述装载机还包括：存储模块，用于存储与所述目标数据节点对应的队列；所述分布计算模块，还用于将所述目标数据记录存入与所述目标数据节点对应的队列中；所述分发模块，具体用于按照先进先出的原则从所述存储模块存储的队列中取出所述目标数据记录，并发送给所述目标数据节点。本发明实施例三方面还提供了一种存储系统，包括：以可通信方式连接的装载机和数据库系统；所述装载机为本发明实施例提供的任意一项的装载机。结合三方面的实现方案，在第一种可选的实现方案中，若所述装载机为二方面的在第二种可选的实现方案中的装载机；所述数据库系统，用于向所述装载机发送所述目标数据记录的格式、以及所述数据库系统的数据分布策略；若所述装载机为二方面的在第三种或第四种可选的实现方案中的装载机；所述数据库系统，用于向所述装载机发送所述逻辑代码，所述逻辑代码中指定了所述目标数据记录的格式、以及所述数据库系统的数据分布策略。结合三方面的实现方案，或者三方面的第一种可选的实现方案，在第二种可选的实现方案中，所述存储系统还包括：生产系统，用于产生原始数据，并将原始数据发送给预处理系统；所述预处理系统，用于对所述原始数据进行预处理，得到中间数据，将中间数据发送给所述装载机作为所述待分发的数据。本发明实施例四方面还提供了一种装载机，包括：接收器、发射器以及处理器；所述接收器，用于获取待分发的数据；所述处理器，用于将所述待分发的数据分割为数据记录；将所述数据记录转换为目标数据记录，并依据数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，所述目标数据记录的格式为所述数据库系统能够识别的格式；其中，上述装载机还包括存储器，所述存储器，用于存储所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述发射器，用于向所述目标数据节点发送所述目标数据记录。结合四方面的实现方案，在第一种可选的实现方案中，所述装载机还包括存储器：所述存储器，用于存储所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述处理器，具体用于按照配置在本地的所述目标数据记录的格式将所述数据记录转换为所述目标数据记录，并依据配置在本地的所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合四方面的实现方案，在第二种可选的实现方案中，所述接收器，还用于接收所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述处理器，具体用于根据接收的所述目标数据记录的格式、以及所述数据库系统的数据分布策略执行本地存储的逻辑代码，通过执行所述逻辑代码将所述数据记录转换为所述目标数据记录，并确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合四方面的实现方案，在第三种可选的实现方案中，所述接收器，还用于接收逻辑代码，所述逻辑代码中指定了所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述处理器，具体用于执行所述逻辑代码，通过执行所述逻辑代码将所述数据记录转换为所述目标数据记录，并确定所述目标数据记录在所述数据库系统中对应的目标数据节点。结合四方面的第三种可选的实现方案，在第四种可选的实现方案中，所述逻辑代码为与平台无关的代码。结合四方面的第三种可选的实现方案，在第五种可选的实现方案中，所述接收器，具体用于接收所述数据库系统发送的所述逻辑代码。结合四方面的实现方案、四方面的第一种、第二种、第三种、第四种或者第五种可选的实现方案，在第六种可选的实现方案中，所述处理器，具体用于将所述目标数据记录存入与所述目标数据节点对应的队列中，按照先进先出的原则从所述队列中取出所述目标数据记录；所述发射器，具体用于将取出的所述目标数据记录发送给所述目标数据节点。本发明还提供一种数据分发方法的实施方式，应用于存储系统，所述存储系统包括装载机和数据库系统，所述数据库系统包括数据节点，包括：所述装载机获取待分发的数据，将所述待分发的数据分割为数据记录；所述装载机将所述数据记录转换为目标数据记录，并依据所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，所述目标数据记录的格式为所述数据库系统能够识别的格式；其中，所述目标数据记录的格式、以及所述数据库系统的数据分布策略均配置在所述装载机本地；所述装载机向所述目标数据节点发送所述目标数据记录。本发明还提供一种数据分发方法的实施方式，应用于存储系统，所述存储系统包括装载机和数据库系统，所述数据库系统包括数据节点，包括：所述装载机获取待分发的数据，将所述待分发的数据分割为数据记录；所述装载机将所述数据记录转换为目标数据记录，并依据所述数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，所述目标数据记录的格式为所述数据库系统能够识别的格式；其中，所述装载机将所述数据记录转换为所述目标数据记录之前，还包括：所述装载机接收所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述装载机向所述目标数据节点发送所述目标数据记录。本发明还提供一种装载机实施例，所述装载机包括：数据分割模块，用于获取待分发的数据，将所述待分发的数据分割为数据记录；数据转换模块，用于将所述数据分割模块分割得到的所述数据记录转换为目标数据记录，所述目标数据记录的格式为数据库系统能够识别的格式；参数接收模块，用于在所述数据转换模块将所述数据记录转换为所述目标数据记录之前，接收所述目标数据记录的格式、以及所述数据库系统的数据分布策略；分布计算模块，用于依据所述数据库系统的数据分布策略确定所述数据转换模块转换得到的所述目标数据记录在所述数据库系统中对应的目标数据节点；分发模块，用于向所述分布计算模块确定的所述目标数据节点发送所述数据转换模块转换得到的所述目标数据记录。本发明还提供一种装载机实施例，所述装载机包括：数据分割模块，用于获取待分发的数据，将所述待分发的数据分割为数据记录；数据转换模块，用于将所述数据分割模块分割得到的所述数据记录转换为目标数据记录，所述目标数据记录的格式为数据库系统能够识别的格式；代码接收模块，用于在所述数据转换模块将所述数据记录转换为所述目标数据记录之前，接收逻辑代码，所述逻辑代码中指定了所述目标数据记录的格式、以及所述数据库系统的数据分布策略；分布计算模块，用于依据所述数据库系统的数据分布策略确定所述数据转换模块转换得到的所述目标数据记录在所述数据库系统中对应的目标数据节点；分发模块，用于向所述分布计算模块确定的所述目标数据节点发送所述数据转换模块转换得到的所述目标数据记录。本发明还提供一种装载机实施例，包括：接收器、发射器、以及处理器，所述接收器，用于获取待分发的数据；所述处理器，用于将所述待分发的数据分割为数据记录；将所述数据记录转换为目标数据记录，并依据数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，所述目标数据记录的格式为所述数据库系统能够识别的格式；所述接收器，还用于接收所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述发射器，用于向所述目标数据节点发送所述目标数据记录。本发明还提供一种装载机实施例，包括：接收器、发射器、以及处理器，其特征在于，所述接收器，用于获取待分发的数据；所述处理器，用于将所述待分发的数据分割为数据记录；将所述数据记录转换为目标数据记录，并依据数据库系统的数据分布策略确定所述目标数据记录在所述数据库系统中对应的目标数据节点，所述目标数据记录的格式为所述数据库系统能够识别的格式；所述接收器，还用于接收逻辑代码，所述逻辑代码中指定了所述目标数据记录的格式、以及所述数据库系统的数据分布策略；所述发射器，用于向所述目标数据节点发送所述目标数据记录。本发明实施例装载机执行了数据转换，并且装载机已经确定了目标数据记录对应的目标数据节点，因此在目标数据记录被发送给数据库系统以后，不再需要数据库系统的数据节点进行数据转换以及重分布计算，从而减轻对数据库系统资源的占用；并且不再占用数据库系统的内网资源。因此，以上方案可以降低数据库系统出现过载的可能，从而提高存储系统的响应速度以及存储效率。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明实施为本发明实施例方法流程示意图；图2为本发明实施例结合系统结构的方法流程示意图；图3为本发明实施例结合系统结构的方法流程示意图；图4为本发明实施例装载机结构示意图；图5为本发明实施例装载机结构示意图；图6为本发明实施例装载机结构示意图；图7为本发明实施例装载机结构示意图；图8为本发明实施例装载机结构示意图；图9为本发明实施例装载机结构示意图；图10为本发明实施例存储系统结构示意图；图11为本发明实施例存储系统结构示意图；图12为本发明实施例存储系统结构示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供一种数据分发方法，如图1所示，可一并参考图11，包括：101：装载机获取待分发的数据，将上述待分发的数据分割为数据记录；本实施例中，待分发的数据是需要发送给数据库系统进行存储的数据，其格式可以是原始数据，也可以是经预处理设备处理过的中间数据，优选采用经预处理设备处理过的中间数据的方案，这样可以避免不合法的数据以及不符合数据一致性的数据占用数据处理资源。在本实施例中，分割数据记录所采用的规则可以采用目前已有的各种分割规则，例如：通过识别换行符/逗号分隔符等方式将待分发的文本数据划分成多条数据记录。具体的分割规则本发明实施例不作唯一性限定。获取待分发的数据并进行分割的启动条件，可以是任意设定的启动条件，例如：定时器超时、接收到执行内容分发的指令、接收到数据库系统的数据分发请求等等，都不会影响本发明实施例的实现；因此，本发明实施例对获取待分发的数据并进行分割的启动条件不作唯一性限定。102：上述装载机将上述数据记录转换为目标数据记录,上述目标数据记录的格式为上述数据库系统能够识别的格式；在本实施例中，数据库系统通常不能够识别所有的格式，因此需要对数据记录进行转换得到目标数据记录，使目标数据记录能够被数据库系统识别。装载机如何获得数据库系统识别的格式，可以依据不同的需求进行确定，例如预配置或者接收其他设备发送，本发明实施例对此不作唯一性限定。在本发明实施例中，数据库系统可以是包括MPP数据库系统在内的数据库系统，MPP数据库系统作为一个具体的应用举例不应理解为对本发明实施例的唯一性限定。103：上述装载机依据上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点；在数据库系统中，数据分布通常不会随意分布，通常会采用一定的分布策略，目的有二：一是确保数据能够在分布式系统的各个物理服务器上近似均匀的分布，防止数据偏斜，二是为后续常用的业务处理算法优化数据分布，达到提升查询处理性能的目的。在大数据库系统中，会有很多数据节点来执行目标数据记录的存储，通过不同数据节点的存储体现上述分布策略。对于一个确定的目标数据记录，会有一个唯一的存储位置，因此也具有唯一的数据节点作为其目标数据节点。数据库系统的数据分布策略可以是Hash(哈希)分布，Range(范围)分布或复制分布等，本发明实施例对数据分布策略的具体选用不作唯一性规定。104：上述装载机向上述目标数据节点发送上述目标数据记录。在以上实施例中，装载机执行了数据转换，并且装载机已经确定了目标数据记录对应的目标数据节点，因此在目标数据记录被发送给数据库系统以后，不再需要数据库系统的数据节点进行数据转换以及重分布计算，从而减轻对数据库系统资源的占用；并且不再占用数据库系统的内网资源。因此，以上方案可以降低数据库系统出现过载的可能，从而提高存储系统的响应速度以及存储效率。本发明实施例还提供了以上方案中发送目标数据记录的优选实现方案，如下：上述装载机向上述目标数据节点发送上述目标数据记录包括：上述装载机将上述目标数据记录存入与上述目标数据节点对应的队列中，按照先进先出的原则从上述队列中取出上述目标数据记录并发送给上述目标数据节点。由于本发明实施例应用于数据量非常大的场景下，因此目标数据在发送过程中是可能出现拥塞的，为了减少这种情况的发生提高发送效率，本发明实施例采用了以上方案，通过队列存储目标数据节点；由于队列与目标数据节点是对应的，而数据库系统中会有很多数据节点，对于不同的目标数据记录而言会有不同的目标数据节点，这样相应的会有很多个队列与之一一对应；这种场景下，一个队列对应了一个数据节点，避免数据节点之间的资源竞争以及采用一个发送队列的速率限制。在本发明实施例中，装载机在对待分发数据进行处理的过程中，需要获得一些对数据处理进行约束的信息，这些信息的来源以及获得方式基于不同的应用可以有不同，本发明实施例提供了三类可选实现方案，如下：一、上述目标数据记录的格式、以及上述数据库系统的数据分布策略均配置在上述装载机本地；上述装载机将上述数据记录转换为上述目标数据记录，并依据上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点，包括：上述装载机按照配置在本地的上述目标数据记录的格式将上述数据记录转换为上述目标数据记录，并依据配置在本地的上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，对数据处理进行约束的信息均配置在装载机本地，这种方式在专用的数据库系统中较为有效，对应确定的数据库系统，对数据处理进行约束的信息具有较为稳定的特点。将对数据处理进行约束的信息直接配置在装载机本地，就可以方便的实现需要的功能。在本实施例中，以上对数据处理进行约束的信息并不需要全部都配置在装载机的本地，可以一部分配置在装载机本地，另一些则通过其他方式获得，不会影响本发明实施例的实现，以上举例作为一个应用场景的优选实现方案不应理解为对本发明实施例的唯一性限定。二、本发明实施例还提供了装载机获得对数据处理进行约束的信息的另一种方式，具体如下：上述装载机将上述数据记录转换为目标数据记录之前，还包括：上述装载机接收上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述装载机将上述数据记录转换为上述目标数据记录，并依据上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点，包括：上述装载机根据接收的上述目标数据记录的格式、以及上述数据库系统的数据分布策略执行本地存储的逻辑代码，通过执行上述逻辑代码将上述数据记录转换为上述目标数据记录，并确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，逻辑代码存储在装载机本地，逻辑代码里面的约束条件可以被外部设备指定赋值，也就是说逻辑代码可以接受包括数据库系统在内的设备进行控制，这样可以方便的实现本发明实施例的方案，并兼容各种不同的数据库系统。装载机在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略之后；可以执行：将上述目标数据记录的格式、以及上述数据库系统的数据分布策略赋值给上述逻辑代码内对应变量。装载机在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略以后具体的使用过程并不仅限于赋值操作一种实现方式，以上举例不应理解为对本发明实施例的唯一性限定。三、本发明实施例还提供了装载机获得对数据处理进行约束的信息的另一种方式，具体如下：上述装载机将上述数据记录转换为目标数据记录之前，还包括：上述装载机接收逻辑代码，上述逻辑代码中指定了上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述装载机将上述数据记录转换为上述目标数据记录，并依据上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点，包括：上述装载机执行上述逻辑代码，通过执行上述逻辑代码将上述数据记录转换为上述目标数据记录，并确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，对数据处理进行约束的信息采用逻辑代码的形式承载，对于装载机而言，装载机会获得对数据处理进行约束的信息，但是可以不用解析并识别这些信息。在本实施例中，逻辑代码并不需要一定包含有所有对数据处理进行约束的信息，可以仅包含其中一部分，而另一部分通过其他方式获得，这并不会影响本发明实施例的实现，本实施例作为一个应用场景的优选实现方案不应理解为对本发明实施例的唯一性限定。本实施例的装载机会接收逻辑代码，装载机本身并不需要配置对数据处理进行约束的信息，因此对于装载机而言，可以方便的兼容各种数据库系统。另外，在装载机一侧由于不用实现通用的复杂的解析与分发机制，通过数据库系统一侧的编译技术(代码生成技术)直接生成逻辑代码，从而使逻辑代码在装载机上执行的效率更高，减少硬件压力。在以上实施例中，第二种方案和第三种方案均有逻辑代码，区别在于，第二种方案中的逻辑代码内并未指定目标数据记录的格式，以及数据库系统的数据分配策略；因此第二种方案中的逻辑代码更具通用性。第三种方案中的逻辑代码则已经指定了目标数据记录的格式，以及数据库系统的数据分配策略，因此第三种方案中的逻辑代码专用性更强。在本发明实施例中，逻辑代码可以是能够直接执行的代码，也可以是需要经过编译才能执行的代码，本发明实施例对此不予限定。本发明实施例可以采用与平台无关(Portable)的代码，从而更加方便数据库系统与装载机之间的兼容，具体如下：上述逻辑代码为与平台无关的代码。在本发明实施例中，平台无关的代码被装载机接收到以后，装载机可以一边解析接收得到的代码一边执行，也可以全部接收完毕后编译为中间代码，然后执行中间代码。具体的实现过程本发明实施例不作唯一性说明。在本实施例中，逻辑代码可以是解析一条执行一条的方式进行，也可以是全部解析完毕后执行，甚至解析完并转换为客户端以后执行都是可以的，本发明实施例对具体实现形式不作唯一性限定。在本发明实施例中，逻辑代码的发送方可以是数据库系统以及装载机以外的第三方设备，也可以是数据库系统，其中由数据库系统依据数据表的定义及内部格式要求生成逻辑代码，这样效率与兼容性更高。因此可以作为本发明实施例的优选实现方式，具体如下：上述装载机接收逻辑代码，包括：上述装载机接收上述数据库系统发送的上述逻辑代码。除了前面交待的三类可选实现方案，也可以目标数据记录的格式配置在本地，数据库系统的数据分布策略通过接收得到；还可以数据库系统的数据分布策略配置在本地，目标数据记录的格式通过接收得到。本发明对此均不做限定。以下实施例将以两种可选的实现方案，并结合生产系统、预处理设备、装载机以及数据库系统的具体内部结构，对本发明实施例的具体实现进行详细的举例说明。一、如图2所示，在图2所示的存储系统中，包含了生产系统、预处理设备、装载机以及MPP(MassivelyParallelProcessing，大规模并行处理)数据库系统；其中，装载机包含了本地文件系统，数据分割模块、数据转换&分布计算模块、先进先出队列、分发模块，以及服务处理模块；MPP数据库系统包含N个数据节点、以及控制节点。其中数据转换&分布计算模块，表示数据转换模块和分布计算模块，两个模块可以合一设置，也可以单独设置，本发明对此不作限定。在装载机中至少需要新增数据转换&分布计算模块，并且修改分发模块。其中，在本发明实施例执行数据导入服务的数据处理过程中需要充分利用数据导入服务涉及设备的硬件资源，提前做好数据划分，处理流程请参阅图2所示：A1、生产系统产生大量的原始数据，并根据预先配置的策略向预处理设备批量输出原始数据。A2、预处理设备完成各种数据合法性处理和数据一致性校验后形成特定格式的文本，典型格式如TXT(TextFile，文本文件)和CSV(CommaSeparatedValue，逗号分隔值)，然后将这些文件(即中间数据，或者称为待分发的数据)保存/挂载到MPP数据库系统关联的装载机(loader)的本地文件系统(LocalFileSystem)中。B1、MPP数据库系统的控制节点在接收到用户的指令后，控制器节点通知各数据节点启动数据批量导入；或者，上述控制节点上的数据批量导入定时器超时，控制器节点通知各数据节点启动数据批量导入。以上通知启动批量导入的消息可以无需携带其他参数。B2、MPP数据库系统的各个数据节点向loader的服务处理模块发送请求数据消息。注：在各数据节点中可以保存与MPP数据库系统关联的loader的IP地址和端口号，以便在接收到启动数据批量导入的指示消息后，可以将请求发往指定的loader。B3、服务处理模块启动数据分割模块、分发模块，以及数据转换&分布计算模块的对应进程。在以上步骤B3中，服务处理模块还需要向上述几个模块发送的信息如下：将预先设定的数据加载策略(即如何分割本地把文件系统中的数据的规则)通知给数据分割模块。将下述规则通知给数据转换&分布计算模块，具体如下表1所示：表1B4、数据分割模块启动分割任务，遍历指定目录下的所有文件，通过识别换行符/逗号分隔符等方式将文本划分成多条记录，并将划分后的一条或多条记录(即数据记录)发送给数据转换&分布计算模块。以上指定目录可以在加载器本地配置，也可以由MPP数据库的控制节点通过参数带入。具体如何确定指定目录的方式本发明实施例不作唯一性限定。B5、数据转换&分布计算模块将接收到的记录，按照外部文本的解析规则进行文本解析。解析出来的记录按照待导入数据表的Schema组织数据成为MPP数据库系统内部的格式(即目标数据记录)，并且还可以加入其它的事务信息(视具体实现而定，主要可以包含事务号)。数据转换&分布计算模块将最终形成的目标数据记录(符合MPP数据库系统内的数据结构)按照MPP数据库系统的数据分布策略，确定目标数据记录所在的数据节点，再将目标数据记录保存到与数据节点对应的先进先出队列中。在本实施例中，每个数据节点对应有一个先进先出队列。B6～B7、分发模块检查与各数据节点对应的先进先出队列，将各先进先出队列中的目标数据记录发送给与之对应的数据节点。二、如图3所示，在图3所示的存储系统中，包含了生产系统、预处理设备、装载机以及MPP数据库系统；其中，装载机包含了本地文件系统，数据分割模块、数据转换&分布计算模块、先进先出队列、分发模块，编译模块，以及服务处理模块；MPP数据库系统包含N个数据节点、数据转换代码生成模块，以及控制节点。在本实施例中的逻辑代为前述实施例中的逻辑代码，而且是与平台无关的代码。在装载机中至少需要新增数据转换&分布计算模块以及编译模块，并且修改分发模块。在MPP数据库系统中新增了数据转换代码生成模块。其中，在本发明实施例执行数据导入服务的数据处理过程中需要充分利用数据导入服务涉及设备的硬件资源，提前做好数据划分，处理流程请参阅图3所示：A1、生产系统产生大量的原始数据，并根据预先配置的策略向预处理设备批量输出原始数据。A2、预处理设备完成各种数据合法性处理和数据一致性校验后形成特定格式的文本(比如是TXT格式或者CSV格式)，然后将这些文件(即中间数据，或者称为待分发的数据)保存/挂载到MPP数据库系统关联的装载机(loader)的本地文件系统(LocalFileSystem)中。B1、MPP数据库系统的控制节点在接收到用户的指令后，控制器节点通知各数据节点启动数据批量导入；或者，上述控制节点上的数据批量导入定时器超时，控制器节点通知各数据节点启动数据批量导入。以上通知启动批量导入的消息可以无需携带其他参数。B2、数据转换代码生成模块根据待导入的数据表的Schema生成数据转换、数据分类相关的逻辑代码(可以是与平台无关的代码)。在本步骤中，可以将所有对系统配置或内部信息的依赖变成确定值，同时通过编译优化技术，去掉MPP数据库系统内部解释执行过程中的不必要的类别判断等操作，将转换与分类操作的代码尽可能简单化处理。B3、MPP数据库系统的各个数据节点向loader的服务处理模块发送请求数据消息，在数据请求消息中携带数据转换代码生成模块生成的上述逻辑代码。B4、服务处理模块在接收到上述请求数据消息后，启动数据分割模块、分发模块、数据转换&分布计算模块及编译模块的对应进程。服务处理模块还需要向上述几个模块发送的信息如下：将预先设定的数据加载策略通知给数据分割模块；将数据分布策略发送给数据转换&分布计算模块；并将上述逻辑代码发送给编译模块。B5、数据分割模块启动分割任务，遍历指定目录下的所有文件，通过识别换行符/逗号分隔符等方式将文本划分成多条记录，并将划分后的一条或多条记录(即数据记录)发送给数据转换&分布计算模块。B6、编译模块对逻辑代码进行编译，生成中间码(数据转换执行器)，并发送给数据转换&分布计算模块。注：以上B5、B6这两个步骤不分先后，可同步进行。B7、数据转换&分布计算模块利用编译模块发送的中间码(数据转换执行器)进行文本解析，将解析出来的数据记录成为MPP数据库系统内部的格式(即：目标数据记录)，并且还可以加入其它的事务信息(视具体实现而定，主要可以包含事务号)。数据转换&分布计算模块通过运行数据转换执行器将最终形成的目标数据记录，并按照数据分布策略确定目标数据记录所在的数据节点，然后将数据记录保存到数据节点对应的队列中。B8～B9、分发模块检查与各数据节点对应的先进先出队列，将各先进先出队列中的目标数据记录发送给与之对应的数据节点。采用本发明实施例的方案，至少具有如下有益效果：1、消除数据导入过程中的在MPP数据库系统的数据节点执行数据转换对MPP数据库系统的计算资源和内存的过量占用。2、消除在数据节点进行数据重分布导致对MPP数据库系统内部网络带宽的占用。可以让内部网络带宽更多的用于数据查询等业务。3、通过编译模块的平台无关特性实现数据导入服务的跨平台兼容，免除产品发布多个平台版本的代价。同时让Loader程序与数据库实现了解耦，Loader程序无须预置数据库的数据转换与分布的实现逻辑，避免了后期版本不匹配的问题。4、数据转换代码生成模块生成的逻辑代码，针对每个表定制流程，减少通用转换机制中繁重的函数调用和分支判断流程，减少执行计算的硬件设备的时间片消耗以及对函数调用栈的消耗，提升数据转换处理的性能。本发明实施例还提供了一种装载机，如图4所示，包括：数据分割模块401，用于获取待分发的数据，将上述待分发的数据分割为数据记录；数据转换模块402，用于解析上述数据分割模块401分割得到的上述数据记录转换为目标数据记录，上述目标数据记录的格式为上述数据库系统能够识别的格式；分布计算模块403，用于依据上述数据库系统的数据分布策略确定上述数据转换模块402转换得到的上述目标数据记录在上述数据库系统中对应的目标数据节点；分发模块403，用于向上述分布计算模块403确定的上述目标数据节点发送上述数据转换模块402转换得到的上述目标数据记录。本实施例中，待分发的数据是需要发送给数据库系统进行存储的数据，其格式可以是原始数据，也可以是经预处理设备处理过的中间数据，优选采用经预处理设备处理过的中间数据的方案，这样可以避免不合法的数据以及不符合数据一致性的数据占用数据处理资源。在本实施例中，分割数据记录所采用的规则可以采用目前已有的各种分割规则，例如：通过识别换行符/逗号分隔符等方式将待分发的文本数据划分成多条数据记录。具体的分割规则本发明实施例不作唯一性限定。获取待分发的数据并进行分割的启动条件，可以是任意设定的启动条件，例如：定时器超时、接收到执行内容分发的指令、接收到数据库系统的数据分发请求等等，都不会影响本发明实施例的实现；因此，本发明实施例对获取待分发的数据并进行分割的启动条件不作唯一性限定。在本实施例中，数据库系统通常不能够识别所有的格式，因此需要对数据记录进行转换得到目标数据记录，使目标数据记录能够被数据库系统识别。装载机如何获得目标数据记录的格式，可以依据不同的需求进行确定，例如预配置或者接收其他设备发送，本发明实施例对此不作唯一性限定。在数据库系统中，数据分布通常不会随意分布，通常会采用一定的分布策略，目的有二：一是确保数据能够在分布式系统的各个物理服务器上近似均匀的分布，防止数据偏斜，二是为后续常用的业务处理算法优化数据分布，达到提升查询处理性能的目的。在大数据库系统中，会有很多数据节点来执行目标数据记录的存储，通过不同数据节点的存储体现上述分布策略。对于一个确定的目标数据记录，会有一个唯一的存储位置，因此也具有唯一的数据节点作为其目标数据节点。数据库系统的数据分布策略可以是Hash(哈希)分布，Range(范围)分布或复制分布等，本发明实施例对数据分布策略的具体选用不作唯一性规定。在以上实施例中，装载机执行了数据转换，并且装载机已经确定了目标数据记录对应的目标数据节点，因此在目标数据记录被发送给数据库系统以后，不再需要数据库系统的数据节点进行数据转换以及重分布计算，从而减轻对数据库系统资源的占用；并且不再占用数据库系统的内网资源。因此，以上方案可以降低数据库系统出现过载的可能，从而提高存储系统的响应速度以及存储效率。本发明实施例还提供了以上方案中发送目标数据记录的优选实现方案，如下：进一步地，如图5所示，上述装载机还包括：存储模块501，用于存储与上述数据库系统中的数据节点一一对应的队列，因此也存储了与上述目标数据节点对应的队列；上述分布计算模块403，还用于将上述目标数据记录存入与上述目标数据节点对应的队列中；上述分发模块403，用于按照先进先出的原则从上述存储模块501的队列中取出上述目标数据记录，并发送给与取出的目标数据记录所在的队列对应的数据节点，因此也发送给了上述目标数据节点。由于本发明实施例应用于数据量非常大的场景下，因此目标数据在发送过程中是可能出现拥塞的，为了减少这种情况的发生提高发送效率，本发明实施例采用了以上方案，通过队列存储目标数据节点；由于队列与目标数据节点是对应的，而数据库系统中会有很多数据节点，对于不同的目标数据记录而言会有不同的目标数据节点，这样相应的会有很多个队列与之一一对应；这种场景下，一个队列对应了一个数据节点，避免数据节点之间的资源竞争以及采用一个发送队列的速率限制。在本发明实施例中，装载机在对待分发数据进行处理的过程中，需要获得一些对数据处理进行约束的信息，这些信息的来源以及获得方式基于不同的应用可以有不同，本发明实施例提供了三类可选实现方案，如下：一、可选地，上述目标数据记录的格式、以及上述数据库系统的数据分布策略均配置在上述装载机本地；上述数据转换模块402，具体用于按照配置在本地的上述目标数据记录的格式将上述数据记录转换为上述目标数据记录；上述分布计算模块403，具体用于依据配置在本地的上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，对数据处理进行约束的信息均配置在装载机本地，这种方式在专用的数据库系统中较为有效，对应确定的数据库系统，对数据处理进行约束的信息具有较为稳定的特点。将对数据处理进行约束的信息直接配置在装载机本地，就可以方便的实现需要的功能。在本实施例中，以上对数据处理进行约束的信息并不需要全部都配置在装载机的本地，可以一部分配置在装载机本地，另一些则通过其他方式获得，不会影响本发明实施例的实现，以上举例作为一个应用场景的优选实现方案不应理解为对本发明实施例的唯一性限定。二、本发明实施例还提供了装载机获得对数据处理进行约束的信息的另一种方式，具体如下：进一步地，如图6所示，上述装载机还包括：参数接收模块601，用于在上述数据转换模块402将上述数据记录转换为上述目标数据记录之前，接收上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述数据转换模块402，具体用于根据上述参数接收模块601接收的上述目标数据记录的格式执行本地存储的逻辑代码，通过执行上述逻辑代码将上述数据记录转换为上述目标数据记录；上述分布计算模块403，具体用于根据上述参数接收模块601接收的上述数据库系统的数据分布策略执行本地存储的逻辑代码，通过执行上述逻辑代码确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，逻辑代码存储在装载机本地，逻辑代码里面的约束条件可以被外部设备指定赋值，也就是说逻辑代码可以接受包括数据库系统在内的设备进行控制，这样可以方便的实现本发明实施例的方案，并兼容各种不同的数据库系统。上述参数接收模块在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略之后，数据转换模块可以执行：将上述目标数据记录的格式赋值给上述逻辑代码内对应变量、分布计算模块将上述数据库系统的数据分布策略赋值给上述逻辑代码内对应变量。参数接收模块在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略以后具体的使用过程并不仅限于赋值操作一种实现方式，以上举例不应理解为对本发明实施例的唯一性限定。三、本发明实施例还提供了装载机获得对数据处理进行约束的信息的另一种方式，具体如下：进一步地，如图7所示，上述装载机还包括：代码接收模块701，用于在上述数据转换模块402将上述数据记录转换为上述目标数据记录之前，接收逻辑代码，上述逻辑代码中指定了上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述数据转换模块402，具体用于执行上述逻辑代码，通过执行上述逻辑代码将上述数据记录转换为上述目标数据记录；上述分布计算模块403，具体用于执行上述逻辑代码，通过执行上述逻辑代码确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，对数据处理进行约束的信息采用逻辑代码的形式承载，对于装载机而言，装载机会获得对数据处理进行约束的信息，但是可以不用解析并识别这些信息。在本实施例中，逻辑代码并不需要一定包含有所有对数据处理进行约束的信息，可以仅包含其中一部分，而另一部分通过其他方式获得，这并不会影响本发明实施例的实现，本实施例作为一个应用场景的优选实现方案不应理解为对本发明实施例的唯一性限定。本实施例的装载机会接收逻辑代码，装载机本身并不需要配置对数据处理进行约束的信息，因此对于装载机而言，可以方便的兼容各种数据库系统。另外，在装载机一侧由于不用实现通用的复杂的解析与分发机制，通过数据库系统一侧的编译技术(代码生成技术)，直接生成逻辑代码，从而使逻辑代码在装载机上执行的效率更高，减少硬件压力。在本发明实施例中，逻辑代码可以是能够直接执行的代码，也可以是需要经过编译才能执行的代码，本发明实施例对此不予限定。本发明实施例可以采用与平台无关的代码，从而更加方便数据库系统与装载机之间的兼容，具体如下：上述逻辑代码为与平台无关的代码。在本发明实施例中，逻辑代码的发送方可以是数据库系统以及装载机以外的第三方设备，也可以是数据库系统，其中由数据库系统依据数据表的定义及内部格式要求生成逻辑代码，这样效率与兼容性更高。因此可以作为本发明实施例的优选实现方式，具体如下：可选地，上述代码接收模块701，具体用于接收上述数据库系统发送的上述逻辑代码。另外，在本发明实施例中可以由本地存储系统来存储待分发的数据，以适应大数据量的应用场景，具体如下：进一步地，如图8所示，上述装载机，还包括：本地存储系统801，用于存储待分发的数据。本发明实施例还提供了另一种装载机，如图9所示，上述装载机包括：接收器901、发射器902以及处理器903；在本实施例中存储器904为非必要的功能部件。其中，上述接收器901，用于获取待分发的数据；上述处理器903，用于将上述待分发的数据分割为数据记录；将上述数据记录转换为目标数据记录，并依据数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点，上述目标数据记录的格式为上述数据库系统能够识别的格式；上述发射器902，用于向上述目标数据节点发送上述目标数据记录。本实施例中，待分发的数据是需要发送给数据库系统进行存储的数据，其格式可以是原始数据，也可以是经预处理设备处理过的中间数据，优选采用经预处理设备处理过的中间数据的方案，这样可以避免不合法的数据以及不符合数据一致性的数据占用数据处理资源。在本实施例中，分割数据记录所采用的规则可以采用目前已有的各种分割规则，例如：通过识别换行符/逗号分隔符等方式将待分发的文本数据划分成多条数据记录。具体的分割规则本发明实施例不作唯一性限定。获取待分发的数据并进行分割的启动条件，可以是任意设定的启动条件，例如：定时器超时、接收到执行内容分发的指令、接收到数据库系统的数据分发请求等等，都不会影响本发明实施例的实现；因此，本发明实施例对获取待分发的数据并进行分割的启动条件不作唯一性限定。在本实施例中，数据库系统通常不能够识别所有的格式，因此需要对数据记录进行转换得到目标数据记录，使目标数据记录能够被数据库系统识别。装载机如何获得目标数据记录的格式，可以依据不同的需求进行确定，例如预配置或者接收其他设备发送，本发明实施例对此不作唯一性限定。在数据库系统中，数据分布通常不会随意分布，通常会采用一定的分布策略，目的有二：一是确保数据能够在分布式系统的各个物理服务器上近似均匀的分布，防止数据偏斜，二是为后续常用的业务处理算法优化数据分布，达到提升查询处理性能的目的。在大数据库系统中，会有很多数据节点来执行目标数据记录的存储，通过不同数据节点的存储体现上述分布策略。对于一个确定的目标数据记录，会有一个唯一的存储位置，因此也具有唯一的数据节点作为其目标数据节点。数据库系统的数据分布策略可以是Hash(哈希)分布，Range(范围)分布或复制分布等，本发明实施例对数据分布策略的具体选用不作唯一性规定。在以上实施例中，装载机执行了数据转换，并且装载机已经确定了目标数据记录对应的目标数据节点，因此在目标数据记录被发送给数据库系统以后，不再需要数据库系统的数据节点进行数据转换以及重分布计算，从而减轻对数据库系统资源的占用；并且不再占用数据库系统的内网资源。因此，以上方案可以降低数据库系统出现过载的可能，从而提高存储系统的响应速度以及存储效率。本发明实施例还提供了以上方案中发送目标数据记录的优选实现方案，如下：上述处理器903，具体用于将上述目标数据记录存入与上述目标数据节点对应的队列中，按照先进先出的原则从上述队列中取出上述目标数据记录；上述发射器902，具体用于将取出的上述目标数据记录发送给上述目标数据节点。由于本发明实施例应用于数据量非常大的场景下，因此目标数据在发送过程中是可能出现拥塞的，为了减少这种情况的发生提高发送效率，本发明实施例采用了以上方案，通过队列存储目标数据节点；由于队列与目标数据节点是对应的，而数据库系统中会有很多数据节点，对于不同的目标数据记录而言会有不同的目标数据节点，这样相应的会有很多个队列与之一一对应；这种场景下，一个队列对应了一个数据节点，避免数据节点之间的资源竞争以及采用一个发送队列的速率限制。在本发明实施例中，装载机在对待分发数据进行处理的过程中，需要获得一些对数据处理进行约束的信息，这些信息的来源以及获得方式基于不同的应用可以有不同，本发明实施例提供了三类可选实现方案，如下：一、如图9所示，上述装载机还包括存储器904：上述存储器904，用于存储上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述处理器903，具体用于按照配置在本地的上述目标数据记录的格式将上述数据记录转换为上述目标数据记录，并依据配置在本地的上述数据库系统的数据分布策略确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，对数据处理进行约束的信息均配置在装载机本地，这种方式在专用的数据库系统中较为有效，对应确定的数据库系统，对数据处理进行约束的信息具有较为稳定的特点。将对数据处理进行约束的信息直接配置在装载机本地，就可以方便的实现需要的功能。在本实施例中，以上对数据处理进行约束的信息并不需要全部都配置在装载机的本地，可以一部分配置在装载机本地，另一些则通过其他方式获得，不会影响本发明实施例的实现，以上举例作为一个应用场景的优选实现方案不应理解为对本发明实施例的唯一性限定。二、本发明实施例还提供了装载机获得对数据处理进行约束的信息的另一种方式，具体如下：上述接收器901，还用于接收上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述处理器903，具体用于根据接收的上述目标数据记录的格式、以及上述数据库系统的数据分布策略本地存储的逻辑代码，通过执行上述逻辑代码将上述数据记录转换为上述目标数据记录，并确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，逻辑代码存储在装载机本地，逻辑代码里面的约束条件可以被外部设备指定赋值，也就是说逻辑代码可以接受包括数据库系统在内的设备进行控制，这样可以方便的实现本发明实施例的方案，并兼容各种不同的数据库系统。处理器在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略之后；可以执行：将上述目标数据记录的格式、以及上述数据库系统的数据分布策略赋值给上述逻辑代码内对应变量。装载机在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略以后具体的使用过程并不仅限于赋值操作一种实现方式，以上举例不应理解为对本发明实施例的唯一性限定。三、本发明实施例还提供了装载机获得对数据处理进行约束的信息的另一种方式，具体如下：上述接收器901，还用于接收逻辑代码，上述逻辑代码中指定了上述目标数据记录的格式、以及上述数据库系统的数据分布策略；上述处理器903，具体用于执行上述逻辑代码，通过执行上述逻辑代码将上述数据记录转换为上述目标数据记录，并确定上述目标数据记录在上述数据库系统中对应的目标数据节点。在本实施例中，对数据处理进行约束的信息采用逻辑代码的形式承载，对于装载机而言，装载机会获得对数据处理进行约束的信息，但是可以不用解析并识别这些信息。在本实施例中，逻辑代码并不需要一定包含有所有对数据处理进行约束的信息，可以仅包含其中一部分，而另一部分通过其他方式获得，这并不会影响本发明实施例的实现，本实施例作为一个应用场景的优选实现方案不应理解为对本发明实施例的唯一性限定。本实施例的装载机会接收逻辑代码，装载机本身并不需要配置对数据处理进行约束的信息，因此对于装载机而言，可以方便的兼容各种数据库系统。另外，在装载机一侧由于不用实现通用的复杂的解析与分发机制，通过数据库系统一侧的编译技术(代码生成技术)直接生成逻辑代码，从而使逻辑代码在装载机上执行的效率更高，减少硬件压力。在本发明实施例中，逻辑代码可以是能够直接执行的代码，也可以是需要经过编译才能执行的代码，本发明实施例对此不予限定。本发明实施例可以采用与平台无关的代码，从而更加方便数据库系统与装载机之间的兼容，具体如下：上述逻辑代码为与平台无关的代码。在本发明实施例中，逻辑代码的发送方可以是数据库系统以及装载机以外的第三方设备，也可以是数据库系统，其中由数据库系统依据数据表的定义及内部格式要求生成逻辑代码，这样效率与兼容性更高。因此可以作为本发明实施例的优选实现方式，具体如下：上述接收器901，具体用于接收上述数据库系统发送的上述逻辑代码。本发明实施例还提供了一种存储系统，如图10所示，包括：以可通信方式连接的装载机1001和数据库系统1002；上述装载机1001为本发明实施例提供的任意一项的装载机。在以上实施例中，装载机执行了数据转换，并且装载机已经确定了目标数据记录对应的目标数据节点，因此在目标数据记录被发送给数据库系统以后，不再需要数据库系统的数据节点进行数据转换以及重分布计算，从而减轻对数据库系统资源的占用；并且不再占用数据库系统的内网资源。因此，以上方案可以降低数据库系统出现过载的可能，从而提高存储系统的响应速度以及存储效率。可选地，若上述装载机1001是具有接收逻辑代码功能的装载机；上述数据库系统1002，用于向上述装载机1001发送上述数据库系统1002能够识别的格式、以及上述数据库系统1002的数据分布策略；或者，上述数据库系统1002，用于向上述装载机1001发送逻辑代码，上述逻辑代码中指定了上述数据库系统1002能够识别的格式、以及上述数据库系统1002的数据分布策略。本实施例的装载机本地可以存储逻辑代码，逻辑代码里面的约束条件可以被外部设备指定赋值，也就是说逻辑代码可以接受包括数据库系统在内的设备进行控制，这样可以方便的实现本发明实施例的方案，并兼容各种不同的数据库系统。装载机在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略之后；可以执行：将上述目标数据记录的格式、以及上述数据库系统的数据分布策略赋值给上述逻辑代码内对应变量。装载机在接收到上述目标数据记录的格式、以及上述数据库系统的数据分布策略以后具体的使用过程并不仅限于赋值操作一种实现方式，以上举例不应理解为对本发明实施例的唯一性限定。另外，本实施例的装载机还可以接收数据库系统发送的逻辑代码，装载机本身并不需要配置对数据处理进行约束的信息，因此对于装载机而言，可以方便的兼容各种数据库系统。另外，在装载机一侧由于不用实现通用的复杂的解析与分发机制，通过数据库系统一侧的编译技术(代码生成技术)直接生成逻辑代码，从而使逻辑代码在装载机上执行的效率更高，减少硬件压力。进一步地，预处理系统可以作为存储系统的一部分进行组网使用，如图11所示，上述存储系统还包括：预处理系统1101，用于对原始数据的生产系统生产的原始数据进行预处理，得到中间数据，将中间数据发送给上述装载机1001作为待分发的数据；进一步地，生产系统也可以作为存储系统的一部分进行组网使用，如图12所示，上述存储系统还包括：生产系统1201，用于产生原始数据，并将原始数据发送给上述预处理系统1101；上述预处理系统1101，用于对上述原始数据进行预处理，得到中间数据，将中间数据发送给上述装载机1001作为上述待分发的数据。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnlyMemory)、随机存取记忆体(RAM，RandomAccessMemory)、磁盘或光盘等。以上对本发明实施例所提供的一种数据分发方法，装载机及存储系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。当前第1页1 2 3