技术编号:38224274
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本发明涉及节点管理领域,特别涉及一种节点管理方法、装置、设备及存储介质。背景技术、一个云服务器可以包含一个或多个gpu(graphics processing unit,图形处理器),一个图形处理器对应一块显存,也即对应一个工作节点,而部署单个大语言模型所使用的显存较大,因此一般一个工作节点只能部署一个模型。并且,单个工作节点在运行单个模型的时候,同时推理两个任务的总耗时通常是大于两个任务串行执行的总耗时的,因此,一般情况下,一个工作节点同时只进行一个工作任务的推理。而对于固定数量的云服务器,...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。