一种远程视频互动点名方法、系统及存储介质与流程

1.本发明涉及远程视频互动教学技术领域，涉及一种远程视频互动点名方法、系统及存储介质。


背景技术：

2.当前基于视频互动技术的远程视频互动教学得到广泛应用，教师可以同时为本地学生和处在远端的学生上课，远端师生通过音视频互动技术收听和收看对方，极大改善了地区教育资源不均衡状况，特别是乡村教育匮乏的情况。
3.然而，远程视频授课方式对远端学生的学习感受仍然较差，其中，主要原因是缺乏远端教师对他们的指导和督促。本地传统课堂上主要是通过教师不定期的提问学生，引导学生主动思考。而远程教学过程中，教师通过屏幕查看远端学生，受限于视频分辨率和屏幕分辨率，屏幕尺寸等多种因素，很难清楚识别远端学生。有些老师甚至不认识远端学生，无法对远端学生进行提问等日常的师生互动。远端学生更像是观看视频直播，缺乏参与感，容易出现开小差，课堂纪律差等问题。
4.目前，为了改善远程师生互动难的问题，通常远端教室会配置一位辅助教师。但是，由于辅助教师不是专业教师，他们的作用也仅限于维护课堂秩序。其次，现有的依据人工智能的学生点名功能，需要检测所有学生的人脸列表，教师再从人脸列表中选取某个学生。该点名过程中增加了学生人脸检测和列表选取学生的步骤，不仅需要实时对视频画面进行人脸检测，运算量大且对硬件要求高，还需要学生注册人脸信息，可能造成个人信息泄露，该点名过程计算量大、操作耗时，大大降低了远程视频师生互动的效率。


技术实现要素：

5.因此，本发明提供了一种远程视频互动点名方法、系统及存储介质，无需实时对画面进行人脸检测，大大减少了运算量，降低了对硬件的需求，还可以避免学生注册人脸信息导致的隐私泄露问题。本发明中整个点名过程，响应迅速且高效，能够有效提升远程视频师生的互动效率，以解决上述背景技术中提出的问题。
6.为达到上述目的，本发明提供如下技术方案：
7.第一方面，本发明实施例提供一种远程视频互动点名方法，包括：
8.在教师端点击远程视频中的画面，触发点名命令，选择点名学生并获得其坐标信息，将所述坐标信息和点名命令发送给互动系统云服务器；
9.所述互动系统云服务器接收所述教师端发送的坐标信息和点名命令并发送给学生端；
10.所述学生端根据接收的坐标信息和点名命令，对本地视频抓取画面，基于预设检测算法对所述抓取画面进行人体检测得到检测结果，基于所述抓取画面和所述坐标信息得到点名学生在抓取画面中的绝对位置，对所述检测结果与所述绝对位置进行位置匹配，得到点名学生画面在学生端显示。
11.可选地，所述选择点名学生并获得其坐标信息的过程，包括：在教师端获取点名学生的点击画面相对像素坐标cp(x,y)及对应显示分辨率(w,h)，根据所述点击画面相对像素坐标cp(x,y)及对应显示分辨率(w,h)计算相对位置，得到相对位置坐标rp(rx,ry)，其中，rx＝x/w,ry＝y/h。
12.可选地，所述抓取画面中的所有人体目标定位框列表作为所述检测结果，所述定位框列表为：bboxes＝[bbox1,bbox2,
…
,bboxn]，其中，n为所有人体目标的定位框个数，bboxi为第i个人体目标定位框，记为：bboxi(xi,yi,wi,hi)，其中，(xi,yi)为第i个人体目标定位框左上角像素坐标，wi为第i个人体目标定位框的长，hi为第i个人体目标定位框的宽。
[0013]
可选地，所述点名学生在所述抓取画面中的绝对位置tp(tx,ty)的计算公式为：tx＝rx
×
w,ty＝ry
×
h，其中，w为所述抓取画面的像素长，h为所述抓取画面的像素宽。
[0014]
可选地，对所述检测结果与所述绝对位置进行位置匹配的过程，包括：遍历所述人体目标定位框列表bboxes，基于包含判定算法，寻找包含所述绝对位置tp(tx,ty)的人体目标定位框bboxi(xi,yi,wi,hi)，并为包含绝对位置tp(tx,ty)的bboxi(xi,yi,wi,hi)计算中心距离权重，得到包含绝对位置的人体定位框列表tboxes＝[tbox1,tbox2,
…
,tboxm]，其中，m为所有包含绝对位置的人体定位框列表个数，tboxi为第i个包含绝对位置的人体定位框，记为：tboxi(xi,yi,wi,hi,ti)，其中，ti为第i个中心距离权重，对所述包含绝对位置的人体定位框列表tboxes进行判定，选取中心距离权重最大的包含绝对位置的人体定位框，将所述中心距离权重最大的包含绝对位置的人体定位框在所述抓取画面中截取，得到点名学生画面。
[0015]
可选地，所述包含判定算法为：
[0016]
(tx》xi)and(tx《xi+wi)and(ty》yi)and(ty《yi+hi)
[0017]
其中，tp(tx,ty)为点名学生在所述抓取画面中的绝对位置，bboxi(xi,yi,wi,hi)为第i个人体目标定位框。
[0018]
可选地，所述中心距离权重的公式为：
[0019][0020]
其中，ti为第i个中心距离权重，tp(tx,ty)为点名学生在所述抓取画面中的绝对位置，bboxi(xi,yi,wi,hi)为第i个人体目标定位框。
[0021]
可选地，基于预设的长和宽，对所述点名学生画面进行等比例缩放处理后在学生端显示。
[0022]
可选地，基于预设时间对所述进行等比例缩放处理后的点名学生画面进行显示。
[0023]
第二方面，本发明实施例提供一种远程视频互动点名系统，包括：
[0024]
教师端、互动系统云服务器和学生端；
[0025]
所述教师端，用于点击远程视频中的画面触发点名命令，选择点名学生并获得其坐标信息，将所述坐标信息和点名命令发送给所述互动系统云服务器；
[0026]
所述互动系统云服务器，用于接收所述教师端发送的坐标信息和点名命令并发送给所述学生端；
[0027]
所述学生端，用于根据接收的坐标信息和点名命令，对本地视频抓取画面，基于预设检测算法对所述抓取画面进行人体检测得到检测结果，基于所述抓取画面和所述坐标信
息得到点名学生在抓取画面中的绝对位置，对所述检测结果与所述绝对位置进行位置匹配，得到点名学生画面在学生端显示。
[0028]
第三方面，本发明实施例提供一种计算机设备，包括：教师端和学生端，所述教师端和学生端均至少有一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行本发明实施例第一方面的一种远程视频互动点名方法。
[0029]
第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有教师端和学生端的计算机指令，计算机指令用于使计算机执行本发明实施例第一方面的一种远程视频互动点名方法。
[0030]
本发明技术方案，具有如下优点：
[0031]
本发明提供的远程视频互动点名方法、系统及存储介质，在教师端点击远程视频中的画面，触发点名命令，选择点名学生并获得其坐标信息，学生端基于坐标信息和点名命令，对本地视频抓取画面，基于预设检测算法对抓取画面进行人体检测得到检测结果，基于抓取画面和坐标信息得到点名学生在抓取画面中的绝对位置，对检测结果与绝对位置进行位置匹配，得到点名的学生画面，以此通知对应学生回答问题。整个点名过程，教师无需知道学生姓名，学生也不用做人脸身份注册，避免了个人隐私泄露；其次，教师点名学生无需实时对画面进行人脸检测，大大减少运算量，响应迅速且高效。通过本发明，大大提升了远程视频师生互动的效率，降低对硬件的需求，解决了远程师生互动难的问题。
附图说明
[0032]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]
图1本发明实施例中提供的远程视频互动点名方法的流程图；
[0034]
图2本发明实施例中提供的远程视频互动点名系统的结构图；
[0035]
图3本发明实施例中提供的计算机设备一个具体示例的组成图。
具体实施方式
[0036]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0037]
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0038]
实施例1
[0039]
本发明实施例提供远程视频互动点名方法，如图1所示，该方法包括以下步骤：
[0040]
步骤s1：在教师端点击远程视频中的画面，触发点名命令，选择点名学生并获得其坐标信息，将所述坐标信息和点名命令发送给互动系统云服务器。
[0041]
本实施例中，教师选择点名学生并获得其坐标信息的过程，包括：在教师端获取点名学生的点击画面相对像素坐标cp(x,y)及对应显示分辨率(w,h)，根据所述点击画面相对像素坐标cp(x,y)及对应显示分辨率(w,h)计算相对位置，得到相对位置坐标rp(rx,ry)，其中，rx＝x/w,ry＝y/h。具体地，通过点名学生的相对位置坐标，能够满足不同的视频分辨率、屏幕分辨率和屏幕尺寸导致的点名学生位置的偏差，使得后续点名学生的检测结果更加准确。
[0042]
一具体实施例中，教师端通过无线网络将点名学生的相对位置坐标信息和点名命令发送给互动系统云服务器。
[0043]
步骤s2：所述互动系统云服务器接收所述教师端发送的坐标信息和点名命令并发送给学生端。
[0044]
一具体实施例中，互动系统云服务器通过无线网络与教师端和学生端进行通信，接收所述教师端的点名学生的相对位置坐标信息和点名命令发送给学生端。
[0045]
步骤s3：所述学生端根据接收的坐标信息和点名命令，对本地视频抓取画面，基于预设检测算法对所述抓取画面进行人体检测得到检测结果，基于所述抓取画面和所述坐标信息得到点名学生在抓取画面中的绝对位置，对所述检测结果与所述绝对位置进行位置匹配，得到点名学生画面在学生端显示。
[0046]
需要说明的是，本实施例中的远程视频为教师端显示的视频，本地视频为学生端显示的视频，学生端的本地视频经过编码，通过互动系统云服务器传输到教师端后，再解码显示。
[0047]
本实施例中，基于预设检测算法对抓取画面进行人体检测，检测抓取画面中的所有人体目标，将抓取画面中的所有人体目标定位框列表作为检测结果，所述定位框列表bboxes为：bboxes＝[bbox1,bbox2,
…
,bboxn]，其中，n为所有人体目标的定位框个数，bboxi为第i个人体目标定位框，记为：bboxi(xi,yi,wi,hi)，其中，(xi,yi)为第i个人体目标定位框左上角像素坐标，wi为第i个人体目标定位框的长，hi为第i个人体目标定位框的宽。
[0048]
在一具体的实施例中，预设检测算法为基于深度学习的人体检测算法，包括：fasterrcnn算法、yolo系列算法及ssd算法，仅作为举例，不以此为限。
[0049]
本实施例中，通过抓取画面的像素信息和点名学生的相对位置坐标rp(rx,ry)，确定点名学生在所述抓取画面中的绝对位置tp(tx,ty)，其计算公式为：tx＝rx
×
w,ty＝ry
×
h，其中，w为所述抓取画面的像素长，h为所述抓取画面的像素宽。
[0050]
本实施例中，对检测结果与绝对位置进行位置匹配，过程包括：遍历人体目标定位框列表bboxes，基于包含判定算法，寻找包含绝对位置tp(tx,ty)的人体目标定位框bboxi(xi,yi,wi,hi)，并为包含绝对位置tp(tx,ty)的bboxi(xi,yi,wi,hi)计算中心距离权重，得到包含绝对位置的人体定位框列表tboxes＝[tbox1,tbox2,
…
,tboxm]，其中，m为所有包含绝对位置的人体定位框列表个数，tboxi为第i个包含绝对位置的人体定位框，记为：tboxi(xi,yi,wi,hi,ti)，其中，ti为第i个中心距离权重，对所述包含绝对位置的人体定位框列表tboxes进行判定，选取中心距离权重最大的包含绝对位置的人体定位框，将所述中心距离权重最大的包含绝对位置的人体定位框在所述抓取画面中截取，得到点名学生画面。
[0051]
一具体实施例中，包含判定算法为：
[0052]
(tx》xi)and(tx《xi+wi)and(ty》yi)and(ty《yi+hi)
[0053]
其中，tp(tx,ty)为点名学生在抓取画面中的绝对位置，bboxi(xi,yi,wi,hi)为第i个人体目标定位框。
[0054]
一具体实施例中，中心距离权重的公式为：
[0055][0056]
其中，ti为第i个中心距离权重，tp(tx,ty)为点名学生在抓取画面中的绝对位置，bboxi(xi,yi,wi,hi)为第i个人体目标定位框。
[0057]
一具体实施例中，对于包含绝对位置的人体定位框列表tboxes＝[tbox1,tbox2,
…
,tboxm]，m为所有包含绝对位置的人体定位框列表个数，当该列表为空，即该列表m＝0时，返回空数据，不做处理；当该列表m＝1时，返回tboxes＝[tbox1]；当该列表m》1时，选择该列表中心距离权重最大的包含绝对位置的人体定位框返回，用于后续基于返回的人体定位框在抓取画面中截取，得到点名学生画面。
[0058]
本实施例中，基于预设的长和宽，对点名学生画面进行等比例缩放处理后在学生端显示。一具体实施例中，所述等比例基于不同设备窗口大小进行自由选择，能够满足不同设备要求，适应设备丰富。本实施例中选用的比例大小为640
×
640，仅作为举例，不以此为限。
[0059]
本实施例中，基于预设时间对所述进行等比例缩放处理后的点名学生画面进行显示。一具体实施例中，基于不同的远程视频授课要求，显示时间可自由设置，用于给互动学生时间进行响应，当被点名的学生看到点名显示画面后，就可以回应远端教师的提问。本实施例中预设时间设为5秒钟，仅作为举例，不以此为限。
[0060]
通过本发明提出的远程视频互动点名方法，教师只需要通过点击学生画面的对应位置完成点名操作，将点名的相对位置和点名指令传输到对应学生端后，学生端算法才会进行一次人体检测，基于检测结果和点名学生绝对位置进行计算，得到点名学生画面并显示，以此提醒对应学生回答问题。该点名过程无需实时对画面进行人脸检测，大大减少运算量，响应迅速且高效，用户感受接近线下点名效果，师生互动体验感好。通过本发明，不仅保护了学生的个人隐私，还提升了远程视频师生互动的效率。
[0061]
实施例2
[0062]
本发明实施例提供远程视频互动点名系统，如图2所示，包括：教师端、互动系统云服务器和学生端。
[0063]
本实施例中，教师端用于点击远程视频中的画面触发点名命令，选择点名学生并获得其坐标信息，将所述坐标信息和点名命令发送给互动系统云服务器。
[0064]
一具体实施例中，教师选择点名学生并获得其坐标信息的过程，包括：在教师端获取点名学生的点击画面相对像素坐标cp(x,y)及对应显示分辨率(w,h)，根据所述点击画面相对像素坐标cp(x,y)及对应显示分辨率(w,h)计算相对位置，得到相对位置坐标rp(rx,ry)，其中，rx＝x/w,ry＝y/h。具体地，通过点名学生的相对位置坐标，能够满足不同的视频分辨率、屏幕分辨率和屏幕尺寸导致的点名学生位置的偏差，使得后续点名学生的检测结果更加准确。具体地，教师端通过无线网络将点名学生的相对位置坐标信息和点名命令发
送给互动系统云服务器。
[0065]
本实施例中，互动系统云服务器用于接收所述教师端发送的坐标信息和点名命令并发送给所述学生端。
[0066]
一具体实施例中，互动系统云服务器通过无线网络与教师端和学生端进行通信，接收所述教师端的点名学生的相对位置坐标信息和点名命令发送给学生端。
[0067]
本实施例中，学生端用于根据接收的坐标信息和点名命令，对本地视频抓取画面，基于预设检测算法对所述抓取画面进行人体检测得到检测结果，基于所述抓取画面和所述坐标信息得到点名学生在抓取画面中的绝对位置，对所述检测结果与所述绝对位置进行位置匹配，得到点名学生画面在学生端显示。
[0068]
一具体实施例中，基于预设检测算法对抓取画面进行人体检测，检测抓取画面中的所有人体目标，将抓取画面中的所有人体目标定位框列表作为检测结果，所述定位框列表bboxes为：bboxes＝[bbox1,bbox2,
…
,bboxn]，其中，n为所有人体目标的定位框个数，bboxi为第i个人体目标定位框，记为：bboxi(xi,yi,wi,hi)，其中，(xi,yi)为第i个人体目标定位框左上角像素坐标，wi为第i个人体目标定位框的长，hi为第i个人体目标定位框的宽。具体地，预设检测算法为基于深度学习的人体检测算法，包括：fasterrcnn算法、yolo系列算法及ssd算法，仅作为举例，不以此为限。
[0069]
一具体实施例中，通过抓取画面的像素信息和点名学生的相对位置坐标rp(rx,ry)，确定点名学生在所述抓取画面中的绝对位置tp(tx,ty)，其计算公式为：tx＝rx
×
w,ty＝ry
×
h，其中，w为所述抓取画面的像素长，h为所述抓取画面的像素宽。
[0070]
一具体实施例中，对检测结果与绝对位置进行位置匹配，过程包括：遍历人体目标定位框列表bboxes，基于包含判定算法，寻找包含绝对位置tp(tx,ty)的人体目标定位框bboxi(xi,yi,wi,hi)，并为包含绝对位置tp(tx,ty)的bboxi(xi,yi,wi,hi)计算中心距离权重，得到包含绝对位置的人体定位框列表tboxes＝[tbox1,tbox2,
…
,tboxm]，其中，m为所有包含绝对位置的人体定位框列表个数，tboxi为第i个包含绝对位置的人体定位框，记为：tboxi(xi,yi,wi,hi,ti)，其中，ti为第i个中心距离权重，对所述包含绝对位置的人体定位框列表tboxes进行判定，选取中心距离权重最大的包含绝对位置的人体定位框，将所述中心距离权重最大的包含绝对位置的人体定位框在所述抓取画面中截取，得到点名学生画面。具体地，包含判定算法为：
[0071]
(tx》xi)and(tx《xi+wi)and(ty》yi)and(ty《yi+hi)
[0072]
其中，tp(tx,ty)为点名学生在抓取画面中的绝对位置，bboxi(xi,yi,wi,hi)为第i个人体目标定位框。
[0073]
具体地，中心距离权重的公式为：
[0074][0075]
其中，ti为第i个中心距离权重，tp(tx,ty)为点名学生在抓取画面中的绝对位置，bboxi(xi,yi,wi,hi)为第i个人体目标定位框。
[0076]
具体地，对于包含绝对位置的人体定位框列表tboxes＝[tbox1,tbox2,
…
,tboxm]，m为所有包含绝对位置的人体定位框列表个数，当该列表为空，即该列表m＝0时，返回空数据，不做处理；当该列表m＝1时，返回tboxes＝[tbox1]；当该列表m》1时，选择该列表中心距
离权重最大的包含绝对位置的人体定位框返回，用于后续基于返回的人体定位框在抓取画面中截取，得到点名学生画面。
[0077]
一具体实施例中，基于预设的长和宽，对点名学生画面进行等比例缩放处理后在学生端显示。具体地，所述等比例基于不同设备窗口大小进行自由选择，能够满足不同设备要求，适应设备丰富。本实施例中选用的比例大小为640
×
640，仅作为举例，不以此为限。
[0078]
一具体实施例中，基于预设时间对所述进行等比例缩放处理后的点名学生画面进行显示。具体地，基于不同的远程视频授课要求，显示时间可自由设置，用于给互动学生时间进行响应，当被点名的学生看到点名显示画面后，就可以回应远端教师的提问。本实施例中预设时间设为5秒钟，仅作为举例，不以此为限。
[0079]
通过本发明提出的远程视频互动点名系统，教师点名学生的方式更直接，点名的过程更简单，极大提升了远程视频师生互动的效率，降低对硬件的需求，解决了远程师生互动难的问题。
[0080]
实施例3
[0081]
本发明实施例提供一种计算机设备，包括：教师端和学生端，教师端和学生端的结构均如图3所示，包括：至少一个处理器301，至少一个通信接口303，存储器304和至少一个通信总线302。其中，通信总线302用于实现这些组件之间的连接通信，通信接口303可以包括显示屏和键盘，可选通信接口303还可以包括标准的有线接口、无线接口。存储器304可以是高速易挥发性随机存取存储器，也可以是非不稳定的存储器，还可以是至少一个位于远离前述处理器301的存储装置。其中处理器301可以执行实施例1的远程视频互动点名方法。存储器304中存储一组程序代码，且处理器301调用存储器304中存储的程序代码，以用于执行实施例1的远程视频互动点名方法。
[0082]
其中，通信总线302可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
[0083]
其中，存储器304可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，简称ram)；存储器也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称hdd)或固降硬盘(solid-state drive，简称ssd)；存储器304还可以包括上述种类的存储器的组合。
[0084]
其中，处理器301可以是中央处理器(central processing unit，简称cpu)，网络处理器(network processor，简称np)或者cpu和np的组合。
[0085]
其中，处理器301还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称asic)，可编程逻辑器件(programmable logic device，简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，简称cpld)、现场可编程逻辑门阵列(field programmable gate array，简称fpga)、通用阵列逻辑(generic array logic，简称gal)或其任意组合。
[0086]
可选地，存储器304还用于存储程序指令。处理器301可以调用程序指令，实现如本发明执行实施例1中的远程视频互动点名方法。
[0087]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有教师端和学生端的计算机可执行指令，该计算机可执行指令可执行实施例1的远程视频互动点名方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read only memory，简称rom)、随机存储记忆体(random access memory，简称ram)、快闪存储器(flash memory)、硬盘(hard disk drive，简称hdd)或固降硬盘(solid state drive，简称ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0088]
显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。