一种数据处理方法、装置、电子设备及存储介质与流程

文档序号:20683813发布日期:2020-05-08 18:39阅读:121来源:国知局
一种数据处理方法、装置、电子设备及存储介质与流程

本发明涉及计算机技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。



背景技术:

在异步交易时,收到订单后,业务系统一般不需要将数据文件同步发送给银行,而是将数据文件发送至数据库,由数据库确定何时,以及分几次发往银行系统。

因为业务系统在与银行系统进行交易时,还需要考虑银行系统的维护时间,例如:9:01分收到的订单,若银行系统的维护时间为8:30到9:30,那么数据库需要自己计算该订单的执行时间,显然地,需要在维护时间9:30之后再发起交易。

在实现本发明的过程中,发明人发现现有技术中至少存在如下问题:业务系统需要多次向数据库发送是否已到执行时间的询问数据,每次发送询问数据都需要与数据库进行一次数据交互。而在大数据处理中,对数据库的数据交互次数较多,会影响数据库的性能,进而影响整个业务系统的性能。



技术实现要素:

为了解决上述技术问题或者至少部分地解决上述技术问题,本发明提供了一种数据处理方法、装置、电子设备及存储介质。

第一方面,本发明实施例提供了一种数据处理方法,应用于第一业务系统,包括:

接收待处理的数据文件,并发送至数据库;

接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存;

通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间;

若执行时间到,向所述数据文件的处理方发送基于所述待用数据确定的文件信息。

可选地,向所述数据文件的处理方发送基于所述待用数据确定的文件信息,包括:

在存储于所述缓存的待用数据中提取所述数据文件的文件信息;

向所述数据文件的处理方发送所述数据文件的文件信息。

可选地,所述方法还包括:

接收所述数据文件的处理方发送的数据处理状态;

若所述数据处理状态为未完成状态,根据所述未完成状态和所述待用数据生成补处理信息;

将所述补处理信息写入缓存。

可选地,还包括:

在存储于所述缓存的待用数据中提取所述补处理策略;

根据所述补处理策略确定是否到达所述数据文件的补处理时间;

向所述数据文件的处理方发送所述补处理信息;

接收所述数据文件的处理方发送的补处理状态;

若所述补处理状态为成功状态,将所述数据文件的处理成功信息发送至数据库;

若所述补处理状态为失败状态,重新生成补处理信息,将所述补处理信息写入缓存,执行根据所述补处理策略确定是否到达所述数据文件的补处理时间的步骤。

可选地,还包括:

若多次重新补处理后,补处理状态失败的次数达到预设次数,将所述数据文件的处理失败信息发送至数据库。

第二方面,本发明实施例提供了一种数据处理方法,应用于数据库,所述方法包括:

接收第一业务系统发送的数据文件,并存储;

根据所述数据文件生成待用数据;

向所述第一业务系统发送所述待用数据。

可选地,根据所述数据文件生成待用数据,包括:

解析所述数据文件,得到处理方标识及所述数据文件的文件信息;

获取与所述处理方标识对应的处理方的维护时间及补处理策略;

基于所述处理方的维护时间确定所述数据文件的执行时间;

根据所述执行时间、所述补处理策略及所述文件信息生成待用数据。

可选地,所述方法还包括:

接收所述数据文件的处理成功信息或者处理失败信息并存储。

第三方面,本发明实施例提供了一种数据处理装置,应用于第一业务系统,包括:

第一接收模块,用于接收待处理的数据文件,并发送至数据库;

第二接收模块,用于接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存;

确定模块,用于通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间;

信息发送模块,用于若执行时间到,向所述数据文件的处理方发送基于所述待用数据确定的文件信息。

第四方面,本发明实施例提供了一种数据处理装置,应用于数据库,包括:

文件接收模块,用于接收第一业务系统发送的数据文件,并存储;

生成模块,用于根据所述数据文件生成待用数据;

发送模块,用于向所述第一业务系统发送所述待用数据。

第五方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现第一方面所述的数据处理方法或者第二方面所述的数据处理方法。

第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理方法的程序,所述数据处理方法的程序被处理器执行时实现第一方面所述的数据处理方法或者第二方面所述的数据处理方法的步骤。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点:

本发明实施例通过接收待处理的数据文件,并发送至数据库,接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存,通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间,若执行时间到,可以向所述数据文件的处理方发送基于所述待用数据确定的文件信息。

本发明实施例通过将待用数据写入缓存,进而在后续与处理方的交互过程中,只需从缓存中获取相应的数据信息即可,无需频繁访问数据库,占用数据库资源,而且使用缓存能够提高数据交换效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的一种数据处理方法的一种流程示意图;

图2为本发明又一实施例提供的一种数据处理方法的另一种流程示意图;

图3为本发明又一实施例提供的一种数据处理方法的另一种流程示意图;

图4为本发明另一个实施例提供的一种数据处理方法的一种流程示意图;

图5为本发明一个实施例提供的一种数据处理装置的结构图;

图6为本发明另一个实施例提供的一种数据处理装置的结构图;

图7为本发明以使实施例提供的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

由于目前,业务系统需要多次向数据库发送是否已到执行时间的询问数据,每次发送询问数据都需要与数据库进行一次数据交互。而在大数据处理中,对数据库的数据交互次数较多,会影响数据库的性能,进而影响整个业务系统的性能。为此,本发明实施例提供的一种数据处理方法、装置、电子设备及存储介质,数据处理方法可以应用于支付领域,所述数据处理方法可以应用于第一业务系统中,如图1所示,所述数据处理方法可以包括以下步骤:

步骤s101,接收待处理的数据文件,并发送至数据库;

在本发明实施例中,数据文件可以指交易订单等,数据文件中可以携带处理方的处理方标识,处理方例如可以指银行等,处理方标识可以指处理方id等,数据文件中还可以携带收款人、账号和密码等信息。

在该步骤中,第一业务系统可以从业务系统链中位于其上游的第二业务系统接收待处理的数据文件,并将接收到的数据文件发送至数据库。

步骤s102,接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存;

本发明实施例中,在步骤s101后,将待处理的数据文件发送给数据库后,数据库可以根据数据文件生成待用数据,示例性的,待用数据可以指请求处理方进行数据处理的执行时间、在处理方返回未完成状态时间隔一定时间重新请求处理方进行处理的补处理策略及根据数据文件生成的文件信息,文件信息可以指收款人、账号和密码等,然后将待用数据发送给第一业务系统,以便第一业务系统向处理方请求数据处理时使用。

步骤s103,通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间;

在本发明实施例中,由于数据文件已经被存储至缓存中,所以可以通过从存储于缓存中的待用数据中提取数据文件的执行时间,这样可以避免现有技术中频繁访问数据库,影响数据库性能的问题,而且,由于待用数据存储于缓存中,数据交换速度也更加快速。

若当前时刻仍未到达执行时间,则可以计算当前时刻与执行时间之间的时间差,在经过时间差后,重新获取缓存中的待用数据,确定是否到达数据文件的执行时间。

步骤s104,若执行时间到,向所述数据文件的处理方发送基于所述待用数据确定的文件信息。

在本发明实施例中,文件信息中可以包括收款人、账号和密码等。

在该步骤中,可以在存储于所述缓存的待用数据中提取所述数据文件的文件信息;向所述数据文件的处理方发送所述数据文件的文件信息。

本发明实施例通过接收待处理的数据文件,并发送至数据库,接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存,通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间,若执行时间到,可以向所述数据文件的处理方发送基于所述待用数据确定的文件信息,以便所述处理方进行数据处理。

本发明实施例通过将待用数据写入缓存,进而在后续与处理方的交互过程中,只需从缓存中获取相应的数据信息即可,无需频繁访问数据库,占用数据库资源,而且使用缓存能够提高数据交换效率。

由于目前,如果订单交易状态为处理中,需要重复查询交易状态,那么也需要每次都与数据库进行一次数据交互。为此,在本发明的又一实施例中,如图2所示,所述数据处理方法还可以包括以下步骤:

步骤s201,接收所述数据文件的处理方发送的数据处理状态;

在本发明实施例中,由于处理方进行数据处理,可能会耗费一定的时间,处理方在数据处理未完成时返回的数据处理状态为未完成状态,处理方在数据处理完成时返回的数据处理状态为完成状态。

步骤s202,若所述数据处理状态为未完成状态,根据所述未完成状态和所述待用数据生成补处理信息;

在本发明实施例中,补处理信息可以指补处理时所需用到的信息,例如:补处理信息可以包括:数据文件的文件标识、补处理策略以及银行标识等。

步骤s203,将所述补处理信息写入缓存。

本发明实施例能够在处理方返回的数据处理状态为未完成状态时,自动生成后续补处理需要使用的补处理信息,并写入缓存,这样可以便于后续进行补处理时,直接从缓存读取补处理信息,无需访问数据库,节省数据库访问频次,节省数据库资源,提高数据读取速度。

由于目前在实际应用中,如果订单交易状态为处理中,需要重复查询交易状态,那么也需要每次都与数据库进行一次数据交互。为此,在本发明的又一实施例中,如图3所示,所述数据处理方法还可以包括以下步骤:

步骤s301,在存储于所述缓存的待用数据中提取所述补处理策略;

本发明实施例中,补处理策略可以是处理方预先发送给数据库的,数据库可以在接收到数据文件时,根据数据文件中的处理方标识查找对应的补处理策略,将补处理策略包含在待用数据中一同发送给第一业务系统,第一业务系统再将包含补处理策略的待用数据发送至缓存。

补处理策略可以根据处理方处理数据文件所需要的时间确定,例如:若处理方处理数据文件需要2秒,则相应的,补处理策略可以指每间隔2秒可以请求补处理。

步骤s302,根据所述补处理策略确定是否到达所述数据文件的补处理时间;

在该步骤中,若当前时刻距离上次向处理方发送文件信息/发送补处理信息的时间间隔满足补处理策略,则可以确定当前时刻到达补处理时间。

例如,若当前时刻距离上次向处理方发送文件信息/发送补处理信息的时间间隔为2秒,则可以确定当前时刻到达补处理时间。

步骤s303,向所述数据文件的处理方发送所述补处理信息;

向所述数据文件的处理方发送所述补处理信息,可以便于所述处理方进行补处理;

步骤s304,接收所述数据文件的处理方发送的补处理状态;

在处理方接收到补处理信息后,可以同步发送补处理状态。

步骤s305,若所述补处理状态为成功状态,将所述数据文件的处理成功信息发送至数据库;

在该步骤中,仅有补处理成功时才将处理成功信息发送至数据库。

步骤s306,若所述补处理状态为失败状态,重新生成补处理信息,将所述补处理信息写入缓存,执行根据所述补处理策略确定是否到达所述数据文件的补处理时间的步骤。

在该步骤中,在补处理失败时,重新为下一次补处理做准备,并在准备完成后,重新执行步骤s302。

本发明实施例能够仅在补处理成功时,才将处理成功信息发送至数据库,相较于现有技术在补处理过程中多次访问数据库,本发明实施例可以减少数据库访问频次,节省数据库资源,提高数据读取速度。

在本发明的又一实施例中,所述数据处理方法还可以包括以下步骤:还包括:

若多次重新补处理后,补处理状态失败的次数达到预设次数,将所述数据文件的处理失败信息发送至数据库。

在本发明实施例中,预设次数可以为预先根据实际情况设置的数量,例如3次等。

本发明实施例能够仅在补处理成功时,才将处理成功信息发送至数据库,减少数据库访问频次,节省数据库资源,提高数据读取速度。

由于目前,业务系统需要多次向数据库发送是否已到执行时间的询问数据,每次发送询问数据都需要与数据库进行一次数据交互。而在大数据处理中,数据库被访问的次数较多,会影响数据库的性能,为此,在本发明的又一实施例中,还提供一种数据处理方法,应用于数据库,如图4所示,所述方法包括:

步骤s401,接收第一业务系统发送的数据文件,并存储;

步骤s402,根据所述数据文件生成待用数据;

在该步骤中,可以解析所述数据文件,得到处理方标识及所述数据文件的文件信息;获取与所述处理方标识对应的处理方的维护时间及补处理策略;基于所述处理方的维护时间确定所述数据文件的执行时间;根据所述执行时间、所述补处理策略及所述文件信息生成待用数据。

步骤s403,向所述第一业务系统发送所述待用数据。

本发明实施例中,数据库只在写入数据文件时被访问,可以减少数据库被访问的次数降低,节省数据库资源,提高数据库性能。

在本发明的又一实施例中,所述方法还包括:

接收所述数据文件的处理成功信息或者处理失败信息并存储。

本发明实施例中,数据库只在数据文件的处理成功信息或者处理失败信息时被访问,可以减少数据库被访问的次数降低,节省数据库资源,提高数据库性能。

在本发明的又一实施例中,还提供一种数据处理装置,应用于第一业务系统,如图5所示,包括:

第一接收模块11,用于接收待处理的数据文件,并发送至数据库;

第二接收模块12,用于接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存;

确定模块13,用于通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间;

信息发送模块14,用于若执行时间到,向所述数据文件的处理方发送基于所述待用数据确定的文件信息。

在本发明的又一实施例中,信息发送模块14,包括:

第二提取单元,用于在存储于所述缓存的待用数据中提取所述数据文件的文件信息;

发送单元,用于向所述数据文件的处理方发送所述数据文件的文件信息。

在本发明的又一实施例中,所述装置还包括:

第三接收模块,用于接收所述数据文件的处理方发送的数据处理状态;

信息生成模块,用于若所述数据处理状态为未完成状态,根据所述未完成状态和所述待用数据生成补处理信息;

第一写入模块,用于将所述补处理信息写入缓存。

在本发明的又一实施例中,所述装置还包括:

提取模块,用于在存储于所述缓存的待用数据中提取所述补处理策略;

确定模块,用于根据所述补处理策略确定是否到达所述数据文件的补处理时间;

发送模块,用于向所述数据文件的处理方发送所述补处理信息;

第四接收模块,用于接收所述数据文件的处理方发送的补处理状态;

第二写入模块,用于若所述补处理状态为成功状态,将所述数据文件的处理成功信息发送至数据库;

生成写入模块,用于若所述补处理状态为失败状态,重新生成补处理信息,将所述补处理信息写入缓存,执行根据所述补处理策略确定是否到达所述数据文件的补处理时间的步骤。

在本发明的又一实施例中,所述装置还包括:

第三写入模块,用于若多次重新补处理后,补处理状态失败的次数达到预设次数,将所述数据文件的处理失败信息发送至数据库。

在本发明的又一实施例中,还提供一种数据处理装置,应用于数据库,如图6所示,包括:

文件接收模块21,用于接收第一业务系统发送的数据文件,并存储;

生成模块22,用于根据所述数据文件生成待用数据;

发送模块23,用于向所述第一业务系统发送所述待用数据。

在本发明的又一实施例中,生成模块22,包括:

解析单元,用于解析所述数据文件,得到处理方标识及所述数据文件的文件信息;

获取单元,用于获取与所述处理方标识对应的处理方的维护时间及补处理策略;

确定单元,用于基于所述处理方的维护时间确定所述数据文件的执行时间;

生成单元,用于根据所述执行时间、所述补处理策略及所述文件信息生成待用数据。

在本发明的又一实施例中,所述装置还包括:

第五接收模块,用于接收所述数据文件的处理成功信息或者处理失败信息并存储。

在本发明的又一实施例中,还提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现前述方法实施例所述的数据处理方法。

本发明实施例提供的电子设备,处理器通过执行存储器上所存放的程序实现了接收待处理的数据文件,并发送至数据库;接收数据库发送的基于所述数据文件生成的待用数据,将所述待用数据写入缓存;通过获取所述缓存中的待用数据,确定是否到达所述数据文件的执行时间;若执行时间到,向所述数据文件的处理方发送基于所述待用数据确定的文件信息,以便所述处理方进行数据处理,通过将待用数据写入缓存,进而在后续与处理方的交互过程中,只需从缓存中获取相应的数据信息即可,无需频繁访问数据库,占用数据库资源,而且使用缓存能够提高数据交换效率。

或者,本发明实施例提供的电子设备,处理器通过执行存储器上所存放的程序实现了接收第一业务系统发送的数据文件,并存储;根据所述数据文件生成待用数据;向所述第一业务系统发送所述待用数据。通过使数据库只在写入数据文件时被访问,可以减少数据库被访问的次数降低,节省数据库资源,提高数据库性能。

上述电子设备提到的通信总线1140可以是外设部件互连标准(peripheralcomponentinterconnect,简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称eisa)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口1120用于上述电子设备与其他设备之间的通信。

存储器1130可以包括随机存取存储器(randomaccessmemory,简称ram),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器1110可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessing,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现场可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明的又一实施例中,还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理方法的程序,所述数据处理方法的程序被处理器执行时实现前述应用于第一业务系统的方法实施例或者应用于数据库的方法实施例所述的数据处理方法的步骤。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1