技术编号:12363177
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本发明涉及多机多卡架构的性能优化领域,具体地涉及一种基于多机多卡的神经网络负载均衡优化方法和系统。背景技术随着深度学习在各个领域的普及,神经网络参数的规模越来越大,训练的周期也越来越长,多GPU加速训练成了必然的硬件解决方案。在多机多卡的硬件方案中,如何提高硬件的利用率,成为了研究的热点。在实际的应用场景中,GPU会增量增加,当硬件架构中出现计算能力不同的GPU硬件时。架构的负载均衡问题就出现了,如表1所示:表1架构中不同型号GPU利用率与性能分析GTX980TI利用率TITIANX利用率80%...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。