一种确定可复用代理队列的方法、装置、终端及存储介质与流程

文档序号:28399044发布日期:2022-01-08 01:16阅读:来源:国知局

技术特征:
1.一种确定可复用代理队列的方法,其特征在于,包括以下步骤:获取来自客户端的访问请求;确定适用于所述访问请求的当前代理环境;基于所述当前代理环境向目标网站发送所述访问请求,依据所述目标网站的响应消息判断所述当前代理环境是否适用于所述目标网站;如果所述当前代理环境适用于所述目标网站,则将所述当前代理环境保存至所述目标网站对应的可复用代理环境队列。2.根据权利要求1所述的方法,其特征在于,所述确定适用于所述访问请求的当前代理环境的步骤,包括:确定所述访问请求将要访问的目标网站,获取所述目标网站对应的可复用代理环境队列;若所述可复用代理环境队列中存在可用的代理环境,则从所述可复用代理环境队列选择代理环境作为当前代理环境;若所述可复用代理环境队列中不存在可用的代理环境,则从可用代理队列中选择不在黑名单或灰名单当中的代理,作为当前代理环境,其中所述黑名单中记录有不适用于所述目标网站的代理,所述灰名单中记录有正在被使用的代理。3.根据权利要求2所述的方法,其特征在于,所述从可用代理队列中选择不在黑名单或灰名单当中的代理,作为当前代理环境的步骤,包括:从可用代理队列中选择不在黑名单或灰名单当中的代理;将所述代理与所述目标网站的网站信息进行组合,将组合结果作为对应于所述目标网站的当前代理环境。4.根据权利要求2所述的方法,其特征在于,确定所述可用代理队列的步骤,包括:从第三方代理商获取来源代理并置入代理池;确定代理池中每个所述来源代理的响应速度级别;使用每个所述来源代理的响应速度级别作为存储优先级,将所述来源代理定时存储到可用代理队列当中。5.根据权利要求1所述的方法,其特征在于,所述依据所述目标网站的响应消息判断所述当前代理环境是否适用于所述目标网站的步骤,包括:如果所述响应消息中的响应状态码是环境失效状态码,则判定所述当前代理环境不适用于所述目标网站;如果无法通过所述当前代理环境与所述目标网站建立连接,则判定所述当前代理环境不适用于所述目标网站;如果能够通过所述当前代理环境与所述目标网站建立连接,但接收所述目标网站的响应超时,则判定所述当前代理环境不适用于所述目标网站;如果所述响应消息中的响应状态码是服务器异常状态码,则判定所述当前代理环境不适用于所述目标网站;其余情况,则判断所述当前代理环境适用于所述目标网站。6.根据权利要求1所述的方法,其特征在于,所述依据所述目标网站的响应消息判断所述当前代理环境是否适用于所述目标网站后,还包括:
如果所述当前代理环境不适用于所述目标网站,则检测所述当前代理环境的自身状态并依据检测结果对应处理所述当前代理环境。7.根据权利要求5所述的方法,其特征在于,所述如果所述当前代理环境不适用于所述目标网站,则检测所述当前代理环境的自身状态并依据检测结果对应处理所述当前代理环境的步骤,具体包括:通过所述当前代理环境访问公网服务器;如果所述当前代理环境能够访问公网服务器,则不处理;如果所述当前代理环境无法与公网服务器建立网络连接,则将所述当前代理环境从可用代理队列中删除并写入黑名单;如果所述当前代理环境成功与公网服务器建立网络连接,但接收服务器响应超时,则将所述当前代理环境从可用代理队列中删除并写入黑名单;如果所述当前代理环境与公网服务器建立网络连接后,响应状态码出现异常状态码,则将所述当前代理环境从可用代理队列中删除并写入黑名单。8.一种确定可复用代理队列的装置,其特征在于,包括:访问请求获取模块,能够获取来自客户端的访问请求;代理环境分配模块,能够确定适用于所述访问请求的当前代理环境;响应处理模块,能够基于所述当前代理环境向目标网站发送所述访问请求,依据所述目标网站的响应消息判断所述当前代理环境是否适用于所述目标网站;队列维护模块,如果所述当前代理环境适用于所述目标网站,则将所述当前代理环境保存至所述目标网站对应的可复用代理环境队列。9.一种终端,包括,存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要1至7中任一项所述的方法。10.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1至7中任一项所述的方法。

技术总结
本发明公开了一种确定可复用代理队列的方法,并公开了该方法对应的的装置、终端及存储介质。其中确定可复用代理队列的方法通过给客户端想要访问的目标网站分配代理环境,并依据代理环境的访问结果,确定代理环境是否适用于目标网站,如果适用则将该代理环境保存至目标网站对应的可复用代理队列中,方便访问其他客户端访问目标网站,提高了处理效率。提高了处理效率。提高了处理效率。


技术研发人员:吕松科 程正武
受保护的技术使用者:盐城金堤科技有限公司
技术研发日:2021.09.28
技术公布日:2022/1/7
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1