一种数据处理方法及装置的制造方法_2

文档序号:9261464阅读:来源:国知局
索,获取数据捜索对应的轻量级数据交换格式Json格式的捜索结果数据;对获取的Json格 式的所述捜索结果数据进行解码,得到解码后的脚本语言lua格式的表对象;循环读取lua 格式的所述表对象中的每个子对象,并对读取的每个子对象进行转码,得到预设字符编码 格式的捜索数据;对所述预设字符编码格式的捜索数据进行封装,得到预设轻量级数据交 换格式的封装数据,并将得到的所述封装数据发送至所述捜索引擎,供所述捜索引擎将所 述封装数据作为捜索结果反馈给用户;具有根据用户输入的关键词对服务器捜索得到的对 应结果进行数据处理的有益效果,达到了W邸服务器与捜索引擎能够针对不同格式的数据 进行处理的目的,提高了数据处理效率,也进一步实现了捜索结果的便捷展示。
[0042] 本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变 得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、W及附图中所特别指出的结构来实现和获得。
[0043] 下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
【附图说明】
[0044] 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实 施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
[0045] 图1为本发明根据一示例性实施例示出的一种数据处理方法的流程图;
[0046] 图2为本发明根据一示例性实施例示出的一种数据处理方法中步骤S20的流程 图;
[0047] 图3为本发明根据一示例性实施例示出的一种数据处理方法中步骤S30的流程 图;
[0048] 图4为本发明根据一示例性实施例示出的一种数据处理方法中步骤S40的流程 图;
[0049] 图5为本发明根据一示例性实施例示出的一种数据处理装置的框图;
[0050] 图6为本发明根据一示例性实施例示出的一种数据处理装置中解码模块70的框 图;
[0051] 图7为本发明根据一示例性实施例示出的一种数据处理装置中转码模块80的框 图;
[0052] 图8为本发明根据一示例性实施例示出的一种数据处理装置中封装模块90的框 图。
【具体实施方式】
[0053]W下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实 施例仅用于说明和解释本发明,并不用于限定本发明。
[0054] 本发明公开的一实施例中提供了一种数据处理方法,用W根据用户输入的关键词 对服务器捜索得到的对应结果进行数据处理,提高数据处理效率,实现捜索结果的便捷展 示。如图1所示,本发明实施例中一种数据处理方法包括步骤S10-S40 ;
[0化5] 步骤S10、接收用户基于捜索引擎输入的关键词,并根据用户输入的关键词进行数 据捜索,获取数据捜索对应的轻量级数据交换格式Json格式的捜索结果数据;
[0化6] 本发明实施例中,用户基于捜索引擎输入对应的关键词后,肥B服务器生成爬虫任 务,根据用户输入的关键词进行数据捜索,到网络中爬去捜索结果,进而获取数据捜索对应 的轻量级数据交互格式(JavaScriptObjectNotation,Json)的捜索结果数据。
[0化7] 步骤S20、对获取的Json格式的所述捜索结果数据进行解码,得到解码后的脚本 语言lua格式的表对象;
[005引本发明实施例中,可W采用Nginx该种类型的肥B服务器,而此种类型的肥B服务 器所支持的语言为动态脚本语言lua语言,使用lua语言的肥B服务器不能对捜索得到的 Json对象进行数据处理,因此需要将Json格式的所述捜索结果数据解码成该W邸服务器能 够处理的lua格式的表对象。
[0059] 本发明实施例中,爬取的爬虫结果是Json格式的,其中,一个网页是Json文件中 的一个对象,爬虫结果可W包含有多个对象。本发明实施例采用Json格式的爬虫结果是为 了方便捜索引擎处理和发送给用户,兼容性较好。
[0060] 如图2所示,在一个实施例中,所述步骤S20可W实施为如下描述的步骤 S201-S202 ;
[006U 步骤S201、获取捜索数据时所使用的肥B服务器的服务器类型,识别所述肥B服务 器所支持的脚本语言格式为lua格式;
[0062] 步骤S202、根据所述肥B服务器支持的脚本语言格式lua格式,对获取的Json格 式的所述捜索结果数据进行一次性解码,得到解码后的脚本语言lua格式对应的表对象。[006引本发明实施例中,当获取了爬取数据的肥B服务器的服务器类型后,识别该肥B服 务器所支持的脚本语言格式为lua格式,进而根据该脚本语言格式lua格式,对获取的Json 格式的捜索结果数据进行一次性解码,得到解码后的脚本语言lua格式对应的表对象。
[0064] 在一个具体的应用场景中,本发明实施例对爬取的所有Json对象一次性进行解 码,得到一个luat油le对象。由于lua的t油le提供了MAP的功能,实现了关联数组,并且 整数、字符串甚至nil都可W作为索引的关键词,且t油le没有固定的大小。因此,基于lua的t油le,可W表示普通数组、符号表、集合、记录、队列和其他数据结构。例如,通过"data =jason.decode(args)."来实现对所有的Json对象进行一次性解码。其中,luat油le对 象中的一个子对象对应一个Json对象。
[0065] 步骤S30、循环读取lua格式的所述表对象中的每个子对象,并对读取的每个子对 象进行转码,得到预设字符编码格式的捜索数据;
[0066] 对Json数据进行解码得到lua格式的表对象后,循环读取lua格式的表对象中的 所有子对象,同时对读取的每个子对象进行转码,得到预设字符编码格式的捜索数据。
[0067] 在一个实施例中,如图3所示,所述步骤S30可W实施为如下所描述的步骤 S301-S303 ;
[0068] 步骤S301、利用lua格式的所述表对象的结构特征,执行第一重空循环;
[0069] 本发明实施例中,由于luat油le即lua格式对应的表对象为二维结构,而本发明 实施例仅用到了一维结构,因此,首先利用lua格式的表对象的结构特征,执行第一重空循 环。
[0070] 步骤S302、w最小子对象为单位,执行第二重循环,循环读取所述表对象中每个子 对象所分别对应的对象数据;其中,所述对象数据包括;该子对象对应的标题、摘要、链接 地址、图片、公布文本和指定文件类型;
[0071] 步骤S303、对读取出的每个子对象的对象数据进行转码,得到预设字符编码标准 化icode格式对应的捜索数据。
[0072] 执行完第一重空循环后,Wluat油le中最小子对象为单位,执行第二重循环,W 此来循环读取luatable表对象中每个子对象所分别对应的对象数据。其中,所描述的对 象数据包括但不限于;该子对象对应的属性特征,例如;该子对象对应的标题、摘要、链接 地址、图片、公布文本和指定文件类型等。进而再对读取出的每个子对象的上述对象数据进 行转码,得到预设字符编码标准化icode格式对应的捜索数据。
[0073] 在一个具体的应用场景中,可W通过下述方式实现对luat油le表对象的转码;
[0074]
[0075]
[0076] 本
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1