课件切换方法、装置、计算机设备和存储介质与流程

文档序号:26501702发布日期:2021-09-04 02:49阅读:89来源:国知局
课件切换方法、装置、计算机设备和存储介质与流程

1.本申请涉及计算机技术领域,特别是涉及一种课件切换方法、装置、计算机设备和存储介质。


背景技术:

2.随着计算机技术的发展,基于视频会议、录播技术的网络互动、直播、录播教学应用越来越广泛。在不同的教学过程中,涉及的场景也越来越多,需要根据不同场景切换相应的图像,以确保观看者看到的图像是正确的。对于互动教学,主讲终端发送给各个听讲终端的图像必须是正确的,使得各个听讲终端能够及时的与主讲终端进行有效的互动。
3.然而,目前的课件切换方式中,课件一般在教学电脑上播放,通过接口输出信号到教学终端,作为课件的视频源。老师讲课时,往往通过翻页笔、键盘、鼠标等来播放课件,即老师需要根据上课场景中的实际上课情况,手动操作切换课件或者手动操作从课件场景切换至其他场景,容易导致课件切换的效率较低。


技术实现要素:

4.基于此,有必要针对上述技术问题,提供一种能够提高课件切换效率的课件切换方法、装置、计算机设备和存储介质。
5.一种课件切换方法,所述方法包括:
6.在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像,并对所述课件图像进行图像变化检测,得到对应的检测结果;所述检测结果包括有变化和无变化;
7.若所述检测结果为有变化,则判断当前场景是否为课件场景;
8.若当前场景为课件场景,则无需切换场景,复位课件切出定时器;所述课件切出定时器用于实现课件自动切出功能;
9.若当前场景不为课件场景,则启动所述课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。
10.在其中一个实施例中,所述对所述课件图像进行图像变化检测,得到对应的检测结果包括:
11.若所述检测结果为无变化,则判断当前场景是否为课件场景;
12.若是,则无需切换场景,结束本次处理;
13.若否,判断当前场景与下一场景是否相同;
14.若当前场景与下一场景不相同,则切出当前场景,切换下一场景,并标记当前场景为下一场景。
15.在其中一个实施例中,所述对所述课件图像进行图像变化检测,得到对应的检测结果包括:
16.利用图像差值法对所述课件图像进行图像变化检测,得到对应的检测结果。
17.在其中一个实施例中,所述方法还包括:
18.当所述课件切出定时器的时间达到预设时间阈值时,触发切出当前课件场景,切换到下一场景,并标记当前场景为下一场景,暂停所述课件切出定时器。
19.在其中一个实施例中,所述方法还包括:
20.判断是否达到预设的下课时间;
21.若否,则进入下一次课件自动切换处理流程;
22.若是,进行下课处理,将各听讲终端请出课堂,结束课程。
23.在其中一个实施例中,所述生成预设的配置规则的方式包括:
24.设置课件源接入口、检测课件变化的时间间隔和课件切出规则,生成对应的配置规则;其中,所述检测课件变化的时间间隔用于指示主讲终端按照所述检测课件变化的时间间隔检测课件图像是否有变化;所述课件切出规则用于指定在多长时间内课件图像无变化时自动切出课件场景。
25.在其中一个实施例中,所述方法还包括:
26.当检测到设备未接入课件源时,则自动切出当前场景,根据接收到的事件码或者控制码切换到下一场景,并标记当前场景为下一场景,等待下一次场景触发;其中,事件码或者控制码用于指示主讲终端切换到相应的场景。
27.一种课件切换装置,所述装置包括:
28.图像采集模块,用于在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像;
29.图像检测模块,用于对所述课件图像进行图像变化检测,得到对应的检测结果;所述检测结果包括有变化和无变化;
30.场景判决模块,用于若所述检测结果为有变化,则判断当前场景是否为课件场景;
31.复位模块,用于若当前场景为课件场景,则无需切换场景,复位课件切出定时器;所述课件切出定时器用于实现课件自动切出功能;
32.场景切换模块,用于若当前场景不为课件场景,则启动所述课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。
33.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
34.在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像,并对所述课件图像进行图像变化检测,得到对应的检测结果;所述检测结果包括有变化和无变化;
35.若所述检测结果为有变化,则判断当前场景是否为课件场景;
36.若当前场景为课件场景,则无需切换场景,复位课件切出定时器;所述课件切出定时器用于实现课件自动切出功能;
37.若当前场景不为课件场景,则启动所述课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。
38.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
39.在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采
集课件图像,并对所述课件图像进行图像变化检测,得到对应的检测结果;所述检测结果包括有变化和无变化;
40.若所述检测结果为有变化,则判断当前场景是否为课件场景;
41.若当前场景为课件场景,则无需切换场景,复位课件切出定时器;所述课件切出定时器用于实现课件自动切出功能;
42.若当前场景不为课件场景,则启动所述课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。
43.上述课件切换方法、装置、计算机设备和存储介质,在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像,并对课件图像进行图像变化检测,得到对应的检测结果,检测结果包括有变化和无变化。若检测结果为有变化,则判断当前场景是否为课件场景;若当前场景为课件场景,则无需切换场景,复位课件切出定时器,课件切出定时器用于实现课件自动切出功能。若当前场景不为课件场景,则启动课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。由此使得,通过检测课件图像是否发生变化,自动切换课件场景,若课件图像长时间无变化,则自动切出课件场景,切到其它场景,实现了上课场景中课件的自动切换功能,解决了传统互动录播终端产品需要主讲老师手动切换课件的问题。即可以实现全自动导播跟踪切换,无需使用传统的控制面板进行控制,减少了繁琐的手动操作流程,从而有效提高了课件切换效率。
附图说明
44.图1为一个实施例中课件切换方法的流程示意图;
45.图2为一个实施例中对课件图像进行图像变化检测,得到对应的检测结果步骤的流程示意图;
46.图3为一个实施例中判断是否达到预设的下课时间步骤的流程示意图;
47.图4a为一个实施例中教学终端对应的硬件接线示意图;
48.图4b为一个实施例中终端软件课件自动切入切出的逻辑流程示意图;
49.图5为一个实施例中课件切换装置的结构框图;
50.图6为一个实施例中计算机设备的内部结构图。
具体实施方式
51.为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
52.在一个实施例中,如图1所示,提供了一种课件切换方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
53.步骤102,在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像,并对课件图像进行图像变化检测,得到对应的检测结果;检测结果包括有变化和无变化。
54.教学终端是指部署在教室(或者机房)里,应用于网络教学的硬件设备,可用于开
展网络互动教学、直播教学、录播教学等。主讲终端是指主讲教室使用的教学终端,将主讲教室教学场景通过音视频采集、编解码、播放等手段展示出来,供在不同物理空间的其他学生(人员)学习参与的一种教学辅助设备。例如,主讲终端可以采集本地教室中的视频、音频信息,编码、录制、推流音视频数据,并发送到远端,或发布到web平台,可与其它远端教室设备进行实时音视频双向交互等。
55.具体的,以主讲终端为例进行说明。在设备(主讲终端)已接入课件源的情况下,主讲终端根据预设的配置规则,从相应的课件源接入口采集课件图像,并对课件图像进行图像变化检测,得到对应的检测结果,检测结果包括有变化和无变化。其中,课件源是指从预先配置好的课件源接入口获取到对应的课件信息。预设的配置规则是指与课件切换相关的规则,可以包括自定义的课件切换规则。例如,配置规则中可以包括预设的课件切出规则,课件切出规则是指用于指定在多长时间内课件图像无变化时自动切出课件,比如预设时长为10秒。课件图像是指教学课件中的每一帧具体的课件图像。主讲终端可以对实时采集到的课件图像进行图像变化检测,当主讲终端检测到课件图像发生变化时,则说明主讲老师在操作课件,此时按照预设的讲课场景,主讲终端应该向课程的所有观看终端显示对应的课件内容,即此时主讲教室中的主讲终端将场景切换为课件场景,并可以按相应的场景切换互动、直播、录制时的目标图像源。
56.步骤104,若检测结果为有变化,则判断当前场景是否为课件场景。
57.在设备(主讲终端)已接入课件源的情况下,主讲终端根据预设的配置规则,从相应的课件源接入口采集课件图像,并对课件图像进行图像变化检测,得到对应的检测结果。若检测结果为有变化,则主讲终端判断当前场景是否为课件场景。其中,课件场景是指将主讲终端显示屏中的目标图像源显示为课件图像的场景。
58.具体的,在设备(主讲终端)已接入课件源的情况下,主讲终端根据预设的配置规则,从相应的课件源接入口采集课件图像,由于课件图像是由电脑输出的,其信号相对稳定,内容绝大多数情况下为ppt等课件,极少数存在视频等,图像内容相对简单。本实施例中图像变化检测算法应用于检测采集到的课件图像是否发生变化,无需准确判断发生变化的位置、内容等。考虑到在较高准确度的前提下,尽可能小的运算量,本实施例中选用了图像差值法。即主讲终端可以利用图像差值法对课件图像进行图像变化检测,得到对应的检测结果。若主讲终端利用图像差值法检测到前后两帧图像的内容有发生变化,则主讲终端进一步的判断当前场景是否为课件场景。
59.可以理解的是,本实施例中采用的图像差值法对课件图像进行图像变化检测的方式包括但不限于图像差值法,还可以为图像回归分析法等其他方式检测,只要能够实现对课件图像进行图像变化检测,对其检测方式不做限定。
60.步骤106,若当前场景为课件场景,则无需切换场景,复位课件切出定时器;课件切出定时器用于实现课件自动切出功能。
61.步骤108,若当前场景不为课件场景,则启动课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。
62.若检测结果为有变化,则主讲终端判断当前场景是否为课件场景。若主讲终端判断当前场景为课件场景,则无需切换场景,主讲终端复位课件切出定时器,课件切出定时器用于实现课件自动切出功能。若主讲终端判断当前场景不为课件场景,则启动课件切出定
时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。其中,课件切出定时器是用于计时课件内容未发生变化的时长的定时器,即当课件内容在预设时长内未发生变化时,则触发课件自动切出功能。
63.具体的,主讲终端响应于上课指令,召集各听讲终端开始上课,主讲终端初始化课件切出定时器,在检测到主讲终端已接入课件源的情况下,主讲终端根据预设的配置规则,从相应的课件源接入口采集课件图像,并实时分析采集到的课件图像,分析其内容是否存在变化。当主讲终端检测到课件图像发生变化时,主讲终端进一步判断当前场景是否为课件场景。若当前场景不为课件场景,则主讲终端启动课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。即主讲终端将当前场景切换为课件场景,并按相应的场景切换互动、直播、录制时的目标图像源,完成课件场景的切入,对图像进行编码、发送、保存为录像文件等操作。若当前场景为课件场景,则无需切换场景,主讲终端复位课件切出定时器,使得课件切出定时器重新开始计时,课件切出定时器用于计算课件内容自上次发生变化后多长时间没有再发生过变化,当时间超过设定的时间阈值时,主讲终端自动切出课件场景模式。即当课件切出定时器的时间达到预设时长(或者超时)时,则表明课件在一定时间内没有发生变化,主讲终端应该自动切出当前课件场景,即此时主讲终端切出课件场景到相应的场景(具体需要切换到的下一个场景由自动跟踪软件判决)。主讲终端在切出课件场景模式后,暂停课件切出定时器,主讲终端重复上述自动对采集到的课件图像进行图像变化检测的过程,直到下课。
64.传统的课件切换方式中,主讲老师在需要切换课件时,需要进行手动操作,例如通过手动操作控制面板上按键切换课件;或者在教学电脑上安装一个捕获鼠标、键盘、翻页笔按键事件的课件小程序,主讲老师在需要切换课件时,晃动鼠标、按键盘上的按键、按翻页笔,此时教学电脑上的课件小程序通知终端软件老师操作了课件,应切换到课件场景。尤其在一些特殊场景下,需要主讲老师经常晃动鼠标等方式手动干预,即需要老师手动操作,无法做到自动切换,导致课件切换的效率较低。
65.而本实施例中,在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像,并对课件图像进行图像变化检测,得到对应的检测结果,检测结果包括有变化和无变化。若检测结果为有变化,则判断当前场景是否为课件场景;若当前场景为课件场景,则无需切换场景,复位课件切出定时器,课件切出定时器用于实现课件自动切出功能。若当前场景不为课件场景,则启动课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。由此使得,通过检测课件图像是否发生变化,自动切换课件场景,若课件图像长时间无变化,则自动切出课件场景,切到其它场景,实现了上课场景中课件的自动切换功能,解决了传统互动录播终端产品需要主讲老师手动切换课件的问题。即可以实现全自动导播跟踪切换,无需使用传统的控制面板进行控制,减少了繁琐的手动操作流程,从而有效提高了课件切换效率。
66.在一个实施例中,如图2所示,对课件图像进行图像变化检测,得到对应的检测结果的步骤,包括:
67.步骤202,若检测结果为无变化,则判断当前场景是否为课件场景。
68.步骤204,若是,则无需切换场景,结束本次处理。
69.步骤206,若否,判断当前场景与下一场景是否相同。
70.步骤208,若当前场景与下一场景不相同,则切出当前场景,切换下一场景,并标记当前场景为下一场景。
71.在设备(主讲终端)已接入课件源的情况下,主讲终端根据预设的配置规则,从相应的课件源接入口采集课件图像,并对课件图像进行图像变化检测,得到对应的检测结果。具体的,若检测结果为无变化,则主讲终端判断当前场景是否为课件场景。若当前场景为课件场景,则无需切换场景,主讲终端结束本次处理。若当前场景不为课件场景,则主讲终端判断当前场景与下一场景是否相同,若当前场景与下一场景不相同,则主讲终端切出当前场景,切换下一场景,并标记当前场景为下一场景。
72.即当主讲终端检测到有接入课件源时,才需要进行课件切换。主讲终端中图像采集模块启用一个线程专门用于图像采集,当有接课件源时,图像采集模块根据课件变化检测的时间间隔和课件源接入口配置,以配置的时间间隔从相应的课件源接入口采集课件图像,将采集到的课件图像送给图像检测模块进行图像变化检测,以判断课件图像是否发生变化(首帧图像初始为未变化),并将结果通知给业务控制模块。业务控制模块接收到课件图像变化检测的结果,进行相应的处理。即当图像有变化时,业务控制模块判断当前场景是否为课件场景。若当前场景为课件场景,则无需切换场景,只需复位课件切出定时器即可;若当前场景不为课件场景,则启动课件切出定时器,并通知场景切换模块切出当前场景,切入课件场景,同时标记当前场景为课件。当图像未发生变化时,业务控制模块判断当前场景是否为课件场景。若当前场景为课件场景,则无需切换场景,本次处理结束;若当前场景不为课件场景,判断当前场景与下一场景是否不同(即是否需要切换场景)。若不同,则通知场景切换模块切出当前场景,切换下一场景,并标记当前场景为下一场景;若相同,本次处理结束。
73.可以理解的是,本实施例中课件变化检测的时间间隔可以预先设置为0.3~1秒,这样既保证足够的灵敏度,又不至于因图像变化检测引入过大的计算量,消耗终端过多的计算资源。由此使得,通过检测课件图像是否发生变化,自动切换课件场景,若课件图像长时间无变化,则自动切出课件场景,切到其它场景,实现了上课场景中课件的自动切换功能,解决了传统互动录播终端产品需要主讲老师手动切换课件的问题。
74.在一个实施例中,对课件图像进行图像变化检测,得到对应的检测结果的步骤,包括:
75.利用图像差值法对课件图像进行图像变化检测,得到对应的检测结果。
76.在设备(主讲终端)已接入课件源的情况下,主讲终端根据预设的配置规则,从相应的课件源接入口采集课件图像,并利用图像差值法对课件图像进行图像变化检测,得到对应的检测结果。其中,图像差值法是将两个不同时期、同一波段图像的对应像元值相减,生成差值图像,来推断变化状况。在差值图像中,图像值为正或为负则是辐射值变化的区域,而没有变化的区域图像值为0。本实施例中图像检测模块需要使用到图像变化检测算法,这就需要消耗终端的计算资源。图像变化检测算法用于实现检测前后两帧图像的内容有没有发生变化,并据此判断是否需要进行课件场景的自动切换。由于图像变化检测可以有很多种算法实现,不同算法的复杂度不一样,准确度也不一样。在选取算法时,需要依据使用场景的特点来进行选取,同时兼顾复杂度和准确度。图像变化检测方法可以分为4类:1)基于简单代数运算的变化检测。主要有图像差值法、图像比值法、植被指数法、图像回归
分析法、变化向量分析法。基于代数运算的变化检测技术的优点是相对简单、直接,关键是确定阀值;不足是难以确定变化的类别和不能对变化信息进行描述;2)基于图像变换的变化检测。主要有主成分分析法、k

t变换法、典型相关分析法;3)基于图像分析的变化检测。主要有分类后比较法、多时相图像同时分类法;4)基于特征描述的变化检测。主要有基于边缘的变化检测法、基于纹理特征的变化检测法。本实施例中课件图像是由电脑输出的,其信号相对稳定,内容绝大多数情况下为ppt等课件,极少数存在视频等,图像内容相对简单。图像变化检测算法应用于检测采集到的课件图像是否发生变化,无需准确判断发生变化的位置、内容等。考虑到在较高准确度的前提下,尽可能小的运算量,选用了图像差值法。由此,既保证足够的灵敏度,又不至于因图像变化检测引入过大的计算量,消耗终端过多的计算资源。
77.在一个实施例中,该方法还包括触发切出当前课件场景,切换到下一场景的步骤,具体包括:
78.当课件切出定时器的时间达到预设时间阈值时,触发切出当前课件场景,切换到下一场景,并标记当前场景为下一场景,暂停课件切出定时器。
79.课件自动切换的基本流程如下:主讲终端负责实现上课过程中的场景判决和场景自动切换,切换过程由各个模块配合完成。1)首先,业务控制模块判断是否开始上课,或根据场景判决模块发送过来的上课指令,开始召集各听讲终端上课。2)当开始上课,且设备(主讲终端)有接课件源时,业务控制模块初始化课件切出定时器,课件切出定时器用于实现课件自动切出功能。当课件在指定的切出时间内没有发生变化时,则认定为课件超时,应该切出课件场景。3)场景切换模块初始化当前场景和下一场景,初始场景均为讲课,切换图像到老师讲课场景,听讲观看图像为老师特写,主讲观看各听讲教室学生多画面图像。4)场景判决模块启用一个线程专门用于接收和处理板书定位器或跟踪摄像机上报的事件码,或控制面板发送的控制码。5)当场景判决模块接收到事件码或控制码时,判断要切换到的场景,并通知到业务控制模块,由业务控制模块通知场景切换模块进行场景切换。场景判决模块通知的场景包括:上课、下课、延课(延长课时)、讲课、板书、课件、巡查、提问、作答、互动、点名(观看指定的听讲教室)等。6)当场景发生变化时,场景切换模块标记下一场景为要切换到的场景。7)当未接课件源时,自动切出当前场景,切换到下一场景,并标记当前场景为下一场景,本次流程结束,等待下一次场景触发。课件之外的场景触发及处理过程重复上述步骤5~7。
80.其中,当课件切出定时器的时间达到预设时间阈值时,触发课件切出时,业务控制模块通知场景切换模块切出课件场景,切换到下一场景,并标记当前场景为下一场景,同时暂停课件切出定时器。此处的下一场景,是在课件场景中由步骤6)标记的下一场景。即当课件切出定时器的时间达到预设时间阈值时,触发切出当前课件场景,切换到下一场景,并标记当前场景为下一场景,暂停课件切出定时器。由此使得,能够实现全自动导播跟踪切换,无需使用传统的控制面板进行控制,减少了繁琐的手动操作流程,从而有效提高了课件切换效率。
81.在其中一个实施例中,如图3所示,该方法还包括判断是否达到预设的下课时间的步骤,具体包括:
82.步骤302,判断是否达到预设的下课时间。
83.步骤304,若否,则进入下一次课件自动切换处理流程。
84.步骤306,若是,进行下课处理,将各听讲终端请出课堂,结束课程。
85.业务控制模块可以判断是否达到预设的下课时间,并进行相应处理。具体的,若业务控制模块判断未达到预设的下课时间,则不需要下课,进入下一次课件自动切换处理流程。若业务控制模块判断达到预设的下课时间,进行下课处理,将各听讲终端请出课堂,结束课程,流程结束。即业务控制模块接收到场景切换模式的下课通知,将各听讲终端请出课堂,结束课程,流程结束。由此,实现了全自动导播跟踪切换,无需使用传统的控制面板进行控制,减少了繁琐的手动操作流程,从而有效提高了课件切换效率。
86.在一个实施例中,生成预设的配置规则的方式的步骤,包括:
87.设置课件源接入口、检测课件变化的时间间隔和课件切出规则,生成对应的配置规则;其中,检测课件变化的时间间隔用于指示主讲终端按照检测课件变化的时间间隔检测课件图像是否有变化;课件切出规则用于指定在多长时间内课件图像无变化时自动切出课件场景。
88.可以预先设置课件源接入口、检测课件变化的时间间隔和课件切出规则,生成对应的配置规则。具体的,用户可以预先配置课件源接入口,终端硬件提供hdmi/dvi/vga形态的接口,可供电脑视频信号输入,终端软件提供课件源接入口配置、信号自动检测、视频预览类功能界面,方便用户设置和确认课件视频源接入是否正常。终端上提供各类音视频接口、串口等外设输入输出接口,供终端采集、输出音视频信息,或对终端进行控制。预先使用匹配接口的线材,将所有配套的外部设备与终端连接好,包括跟踪摄像机、板书定位器、电视/显示器、电脑、麦克风、音箱、控制面板等,并检查连接无误,确保信号和功能正常。进一步的,在终端软件界面上,配置课件源接入口,检查连接无误,确保信号正常;在终端软件界面上,配置课件切出的规则(指定在多长时间内课件图像无变化时自动切出课件),如10秒;在终端软件界面上,配置课件变化检测的时间间隔(默认每秒1次,最高每秒10次,最低每秒0.3次)。
89.由此,当课件图像发生变化时,触发启动课件切出定时器开始计时。课件切出定时器用于计算课件内容自上次发生变化后多长时间没有再发生过变化,当时间超过设定的时长时,终端软件自动切出课件模式,能够实现上课场景中课件的自动切换功能,解决了传统互动录播终端产品需要老师手动切换课件的问题。
90.在一个实施例中,当检测到设备(主讲终端)未接入课件源时,则主讲终端自动切出当前场景,根据接收到的事件码或者控制码切换到下一场景,并标记当前场景为下一场景,等待下一次场景触发;其中,事件码或者控制码用于指示主讲终端切换到相应的场景。课件场景之外的场景触发及处理过程需要根据接收到的事件码或者控制码进行判断。场景判决模块:负责从rs232/485串口或rj45网口接收板书定位器或跟踪摄像机上报过来的事件码,从rs232/485串口接收控制面板发送过来的控制码,即场景判决模块根据事件码或控制码,结合课件当前状态,进行下一场景的判决。例如,事件码:老师走上讲台(对应下一场景:讲课)、老师走下讲台(对应下一场景:巡查)、老师丢失(对应下一场景:巡查)、老师出现(对应下一场景:讲课)、学生起立(对应下一场景:作答)、学生坐下(对应下一场景:讲课)、开始板书(对应下一场景:板书)、停止板书(对应下一场景:讲课)。控制码:上课(对应场景为上课,对应下一场景为讲课)、下课(对应场景为下课)、讲课(对应场景为讲课,对应下一
场景为讲课)、课件(对应场景为课件,对应下一场景为讲课)、教室x(对应场景为点名,对应下一场景为讲课)、讨论(对应场景为互动,对应下一场景为讲课)。可以理解的是,本实施例中对下一场景进行判决的方式包括但不限于上述方式,实际软件可以实现为用户可配置的,这样可以满足一些特殊使用场景时的切换需要。由此使得,当检测到设备(主讲终端)未接入课件源时,也能够根据事件码或控制码,结合课件当前状态,进行下一场景的判决,实现全自动导播跟踪切换,无需使用传统的控制面板进行控制,减少了繁琐的手动操作流程,从而有效提高了课件切换效率。
91.在一个实施例中,如图4a所示,为教学终端对应的硬件接线示意图。本实施例提供的课件切换方法,可以应用于如图4a所示的应用环境中,具体以该方法应用于图4a中的教学终端为例进行说明。
92.如图4a所示,该应用环境包括教学终端、控制面板、pc导播台、一体机、老师跟踪摄像机、板书定位器、学生跟踪摄像机、音频处理器和监视屏等。其中,老师跟踪摄像机用于捕捉老师的视频画面。学生跟踪摄像机用于捕捉学生的视频画面。
93.基于视频会议、录播技术的网络互动、直播、录播教学应用很普遍。教学过程中,涉及场景比较多,需要根据场景切换相应的图像,以确保观看者看到的图像是正确的。对于互动教学,主讲终端发送给各个听讲终端的图像必须是正确的;对于直播教学,主讲终端发送给流媒体平台的图像必须是正确的;对于录播教学,主讲终端本地录制的课程录像图像必须是正确的。这里的正确指的是图像的合理性、有效性。例如:1)老师板书时,最好切换到板书镜头,保证听课的学生能看清板书。2)老师讲授时,最好切换到老师特写,保证听课的学生能看清老师的表情和动作。3)老师在讲台上走动时,最好切换老师全景,保证听课的学生能看清讲台的全貌。4)老师讲课件时,最好切换到课件,保证学生能看见老师正在讲的课件;或者将课件和老师作为画中画,老师是小画面,课件是大画面;或者在远端有条件时直接以辅流形式发送课件给远端的一体机。5)老师提问学生举手时,最好切换到所有教室的学生全景多画面,保证学生能看见所有参课学生参与回答问题的积极性;6)学生起立作答时,最好切换到学生特写,保证学生能看见参与回答问题的学生的表情、动作;或者切换到老师和学生的二分屏画面,以产生老师、学生双向交互的感觉;7)老师走下讲台,在教室内巡视,与学生互动时,最好切换到所有教室的学生全景多画面,保证学生能看见所有参课教室的互动情况;8)在进行分组讨论时,最好切换到所有教室的学生全景多画面,保证学生能看见所有参课教室的讨论情况。
94.其中,如图4b所示,为终端软件课件自动切入切出的逻辑流程示意图。本实施例中终端软件有以下核心模块负责场景切换:1)业务控制模块:负责进行业务控制,包括上课、下课、视频图像采集、声音采集、编码、解码、码流发送、码流接收、场景切换等业务的控制;2)场景判决模块:负责从rs232/485串口或rj45网口接收板书定位器或跟踪摄像机上报过来的事件码,从rs232/485串口接收控制面板发送过来的控制码,即根据事件码或控制码,结合课件当前状态,进行下一场景的判决;3)场景切换模块:根据场景需要,切出当前场景,切入下一场景,实现主讲终端、听讲终端实时视频图像、声音的场景切换;4)图像采集模块:负责从摄像机、课件源等视频源接口采集视频图像;
95.5)图像检测模块:负责对图像采集模块采集到的图像进行变化检测,并返回检测结果(检测结果包括有变化和无变化)。
96.如图4b所示,开始上课后,终端根据本地配置,处理以下事务:
97.1)终端从本地各个视频输入源、音频输入源采集视频、音频数据,根据教学场景及终端主听讲属性,进行相关业务处理,包括:编码、发送给远端,解码、播放,解码与本地画面一起组合成多画面后再编码发送给远端,解码与本地音频一起混音后发给远端等。2)同时,终端响应控制面板的控制,对控制码进行处理,切换到相应的场景;3)终端处理板书定位器/跟踪摄像机(老师跟踪摄像机或学生跟踪摄像机)上报的事件码,判断应该切换到的场景,并切换到相应的场景;4)终端检测课件是否发生变化,自动切入课件场景;课件长时间无变化时,自动切出课件场景,切到其它场景。其中,响应控制面板的控制指的是与控制面板相连的终端(一般采用rs232/485串口连接)上的软件,在老师按了控制面板上的按键时,会相应的接收到一个与按键相对应的控制码,此时,终端软件需要对控制码进行处理。根据控制码(也就是老师所按的按键)的不同,对应的场景也不同。
98.本实施例中将控制面板控制技术与自动检测课件内容变化并切换课件技术相结合,应用在产品中,即通过检测课件图像是否发生变化,自动切换课件场景,若课件图像长时间无变化,则自动切出课件场景,切到其它场景,实现了上课场景中课件的自动切换功能,解决了传统互动录播终端产品需要主讲老师手动切换课件的问题。同时也实现了全自动导播跟踪切换,减少了繁琐的手动操作流程,从而有效提高了课件切换效率。
99.应该理解的是,虽然图1

4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1

4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
100.在一个实施例中,如图5所示,提供了一种课件切换装置,包括:图像采集模块502、图像检测模块504、场景判决模块506、复位模块508和场景切换模块510,其中:
101.图像采集模块502,用于在设备已接入课件源的情况下,根据预设的配置规则,从相应的课件源接入口采集课件图像。
102.图像检测模块504,用于对课件图像进行图像变化检测,得到对应的检测结果;检测结果包括有变化和无变化。
103.场景判决模块506,用于若检测结果为有变化,则判断当前场景是否为课件场景。
104.复位模块508,用于若当前场景为课件场景,则无需切换场景,复位课件切出定时器;课件切出定时器用于实现课件自动切出功能。
105.场景切换模块510,用于若当前场景不为课件场景,则启动课件切出定时器,并切出当前场景,切入课件场景,并标记当前场景为课件场景。
106.在一个实施例中,场景判决模块还用于若检测结果为无变化,则判断当前场景是否为课件场景;若是,则无需切换场景,结束本次处理;若否,判断当前场景与下一场景是否相同;场景切换模块还用于若当前场景与下一场景不相同,则切出当前场景,切换下一场景,并标记当前场景为下一场景。
107.在一个实施例中,图像检测模块还用于利用图像差值法对课件图像进行图像变化检测,得到对应的检测结果。
108.在一个实施例中,场景切换模块还用于当课件切出定时器的时间达到预设时间阈值时,触发切出当前课件场景,切换到下一场景,并标记当前场景为下一场景,暂停课件切出定时器。
109.在一个实施例中,该装置还包括:判断模块。
110.判断模块用于判断是否达到预设的下课时间;若否,则进入下一次课件自动切换处理流程;若是,进行下课处理,将各听讲终端请出课堂,结束课程。
111.在一个实施例中,该装置还包括:生成模块。
112.生成模块用于设置课件源接入口、检测课件变化的时间间隔和课件切出规则,生成对应的配置规则;其中,检测课件变化的时间间隔用于指示主讲终端按照检测课件变化的时间间隔检测课件图像是否有变化;课件切出规则用于指定在多长时间内课件图像无变化时自动切出课件场景。
113.在一个实施例中,该装置还包括:检测模块。
114.检测模块用于当检测到设备未接入课件源时,则自动切出当前场景,根据接收到的事件码或者控制码切换到下一场景,并标记当前场景为下一场景,等待下一次场景触发;其中,事件码或者控制码用于指示主讲终端切换到相应的场景。
115.关于课件切换装置的具体限定可以参见上文中对于课件切换方法的限定,在此不再赘述。上述课件切换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
116.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种课件切换方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
117.本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
118.在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各个方法实施例的步骤。
119.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read

only memory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。
120.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
121.以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1