专利名称：网络摄像机系统的制作方法
技术领域：
本发明涉及一种网络摄像机系统，该网络摄像机系统在网络终端再现图像的窗口显示及与之关联的音频；一种网络摄像机，其构成网络摄像机系统；一个网络终端；和一种音频再现方法，其再现图像的窗口显示及与之关联的音频。
背景技术：
数字科技和网络科技最近进步显著，并已实践连接多媒体终端，例如，个人计算机到因特网，以及接收和再现来自不同站点的图片和音频。在这种场合，个人计算机或诸如此类既拥有作为网络终端的功能又拥有作为AV设备的功能。
同时，在像这样的传统的多媒体终端包括仅一个用于输出音频的扬声器，及同时接收多个站点的音频数据和图像数据的情形下，单独的音频数据被混合并输出。当多内容的音频混合并输出时，就存在不能抓住内容的问题。
关于这一点，推荐一种多媒体终端设备，当接收多种类的内容时，其自动选择并输出多个内容的音频信号中的一个(参考JP-A-2001-94965)。图9是相关技术中多媒体终端设备的框图。
在图9中，传统的多媒体终端设备从天线102接收数字广播信号并通过调谐器103分离多路复合数据，或者它通过网络104由网络控制设备105接收主页的内容等。此外，多媒体终端设备包括节目类型获取设备112，用于根据各个内容的节目类型确定音频信号的优先级别；音频属性分析设备113，用于从音频信号的信号标准来检测每个音频信号的无声部分的比例及用于当该比例很高时降低优先级别；以及用户指令获取设备114，用于存储用户通过输入设备115输入的输出格式。利用从节目类型获取设备112和音频属性分析设备113发送来的优先级别，以及从用户指令获取设备发送来的音频信号输出格式，音频信号选择设备109确定目标，使得从解码设备106、107发送来的音频信号中的一个通过扬声器111输出，并使得另一个作为字符串，通过显示器件108显示。
图9阐明的多媒体终端设备是这样的，如多个图像同时排列并平行显示在诸如广播节目的导向屏上，以及如从单独内容的音频信号中选择一个以输出。在选择中，优先级别(例如，符合音乐节目、戏剧、体育和新闻的优先顺序)由节目类型获取设备112和音频属性分析设备113确定。相应地，规划方案与引导多个不同的广播节目这样的情形相称，但是在，例如与多个同样性质的平等服务器通讯中选择音频的情形，自动选择音频是很困难的。
例如在其中使用连接到网络的个人计算机或诸如此类的网络终端的网络摄像机系统的情形，由安装在网络终端的浏览器，通过网络访问多个摄像机，以通过摄像机获得图像和音频，用于显示各个摄像机的图像的窗口通过浏览器重叠并显示，而且来自各个摄像机的音频信号混合并作为音频输出。
在这种场合，即使当打算应用在JP-A-2001-94965种公开的技术时，图像的显示格式也不同，且对于完全平等的摄像机，优先等级不能预先设置。相应地，通过像这样的设备如节目类型获取设备和音频属性分析设备来确定优先等级也很困难。
如上所描述，在多媒体终端设备包括一个扬声器的情形，当从多个站点同时接收音频数据和图像数据时，通过混合各个音频数据来输出音频。当多个内容的音频混合并输出时，涉及到显示屏幕，就有不能抓住内容尽管期望优先抓住一部分的问题存在。
此外，对于多媒体终端，在其中当已经接收多种类的内容时，根据优先等级，从多个内容中选择音频信号中的一个以输出所选择的音频信号，多个图像同时排列并平行显示在如广播节目的导向屏上，且根据当前的优先等级(例如，以用户想要观看的音乐节目、戏剧、体育和新闻那样的顺序)来确定音频的选择。
然而，在与多个平等的网络摄像机或者具有相同性质的相似服务器同时通讯输出音频的情形，应用这种规划方案很困难。在这种情形下，图像相互平等并因此以多窗口重叠的方式显示，而且音频简单地混合并输出。此外，内容完全平等且不拥有预先分配到其上的优先等级，所以基于内容而利用优先等级是困难的。当将用于输出音频的摄像机强制固定时，该摄像机的音频能够传递，但是这种情况缺乏方便性。如此，现有技术的网络摄像机系统存在难以判断音频是从那个摄像机输出的问题，并且存在其操作性能低劣的问题。据此看来，如果像这样具有相同性质的平等服务器的情形能够极好地处理，即使在牵涉到不同服务器的情形，也应该获得最好的处理。
发明内容
考虑到上述相关技术的问题，本发明的目的是提供一种网络摄像机系统，在其中当图像呈窗口显示时，图像和音频能够结合输出而不需要任何特殊操作。
为了实现这个目的，本发明的网络摄像机系统具有以下特征包括一个或多个网络摄像机，和能再现来自每个接收到的网页的图像及音频的网络终端，每个网络摄像机包括一个applet/plugin传输单元，其传输用于在网络终端再现图像显示窗口及与之关联的音频的applet。因而，当图像在网络终端呈窗口显示时，图像和音频能够结合输出而不需要任何特殊操作。仅来自网络摄像机中所期望的一个的音频能够以这样一种方式，例如用户通过移动光标并点击窗口的操作仅指定相应于该网络摄像机的窗口，来输出。因此避免因为音频混合且再现而不能分辨某个音频相应于哪个图像的情况是可能的。
此外，本发明的网络终端具有以下特征包括浏览器设备、能够窗口显示图像的显示控制设备、用于再现音频的音频控制设备、及音频功能扩展单元，当已接收一个网页时，其扩展浏览器设备的功能并再现与图像的窗口显示相关联的音频。因而，当图像呈窗口显示时，图像和音频能够结合输出而不需要任何特殊操作。
图1是本发明实施例1中的网络终端和网络摄像机的系统结构图。
图2是本发明实施例1中的applet的框图。
图3是本发明实施例1中的网络摄像机的框图。
图4是本发明实施例1中的用于将窗口显示和音频结合起来的处理的流程图。
图5A是本发明实施例2中的applet的框图。
图5B是在每一个上标示显示顺序输入按钮的窗口显示屏幕的解释图。
图6是本发明实施例2中的用于将窗口显示和音频结合起来的处理的流程图。
图7是本发明实施例3中的applet的框图。
图8是本发明实施例3中的用于将窗口显示和音频结合起来的处理的流程图。
图9是现有技术的多媒体终端设备的框图。
具体实施例方式
现在，将参照绘图描述本发明的实施例。
(实施例1)在本发明实施例1中将描述一种网络摄像机系统及其音频输出方法和为此的applet。图1是本发明实施例1中的网络终端和网络摄像机的系统结构图，图2是本发明实施例1中applet的功能框图，以及图3是本发明实施例1中的网络摄像机的框图。
在如图1所示的网络摄像机系统的一般结构中，数字1标明网络终端，如个人计算机，其能够在显示设备上显示图像并能够发出音频。标记2、2a、2b、2c表示能够从网络终端1访问的每个具有作为成像服务器功能的网络摄像机，并且其响应访问，传输由稍后将陈述的摄像机单元22成像的图片数据。数字3标明管理网络摄像机2、2a、2b、2c的路由器，以及数字4标明网络如因特网。
数字5标明DHCP服务器，其在连接网络终端1到网络4中为这个网络终端分配一个全局IP地址。数字6示出的是DNS服务器，当已获取全局IP地址的网络终端1通过主机名和端口号或者诸如此类访问它时，其将主机名译成路由器3的全局IP地址。网络服务器7能下载plugin软件，以及特别如稍后将解释的Java(R)applet或诸如此类(“Java(R)”是注册商标，以下将称为“applet”)到网络终端1，用于通过扩展浏览器的功能再现音频和活动图片。
在这样的网络摄像机系统中，当网络终端1通过其主机名和端口号请求网络摄像机2、2a、2b、2c传输图像时，它首先从DNS服务器6获取全局IP地址并向路由器3发送请求。该请求根据由路由器3指定的端口号服从端口转发，并传输到网络摄像机2、2a、2b、2c。相反地，图像发送至路由器3，并由于路由器3的NAT功能，以路由器3作为数据源通过网络4将他们传递到网络终端1。
现在将描述构成这样的系统的网络摄像机系统的内部结构，以及网络终端1。参照图1，数字11标明控制网络终端1和网络4通讯的网络控制单元。当通过网络控制单元11访问连接到因特网或者类似网络4的服务器时，浏览器设备12接收由，如文本数据和基于HTML，或者图片及音频文件或通过链接信息嵌入到文档里的活动图片文件或诸如此类的版面信息，组成的网页，并通过显示器件和扬声器再现该网页。
图1中数字13标明显示控制设备，用于在显示设备上显示接收到的图片文件或者任何其他图片文件如活动图像，而数字14标明音频控制设备，用于再现接收到的音频文件或任何其他音频数据。为了扩展浏览器设备12的功能，音频控制设备14和显示控制设备13可以从网络服务器7适当地插入。接收到网页后，浏览器设备12促使显示控制设备13和音频控制设备14再现图片和音频。附带地，音频控制设备14包括A/D和D/A转换器，放大器等等，并且它扩展编码音频数据，将扩展的数据进行D/A转换并由放大器调整音量后输出结果数据。
其次，数字15标明存储各种各样的控制程序和各种各样的数据于其中的存储单元，且其包括嵌套数据区15a。当通过网络终端1的用户操作将多个浏览器屏幕窗口显示在一个屏幕上时，嵌套数据区15a将单独窗口显示的显示顺序信息存储于其中。更特殊地，例如在三个浏览器屏幕呈窗口显示的情形，显示顺序信息指示屏幕在显示设备上如何重叠，可以这样的方式如浏览器屏幕(1)位于“最上面的位置”，浏览器屏幕(2)位于“最后面的位置”以及浏览器屏幕(3)位于“中间的位置”。数字16标明控制网络终端1的控制单元。控制单元16用一个中央处理单元构成，且其运行从存储单元15读出的各种各样功能的控制程序。即，它作为功能实现设备而构造。数字17标明输入控制设备，用于接收通过鼠标或键盘的输入。
此外，为了根据窗口显示的屏幕的显示顺序信息选择音频，实施例1中的网络终端1配备有以下结构在图1中，数字18标明音频功能扩展单元，其由通过网络4从网络摄像机2接收的applet构成。附带地，音频功能扩展单元18不必总是由applet构成，而是可以像plugin一样适当地预先安装，该plugin下载自网页服务器7或者网络摄像机2。
如图2所示，在音频功能扩展单元18中，标记18a表示与浏览器设备12的接口设备。此外，遵照来自浏览器设备12的请求，接口设备18a具有通过网络控制单元11访问网络摄像机2的功能，以接收来自网络摄像机2的音频数据。附带地，从浏览器设备12到音频功能扩展单元18的请求是根据浏览器设备12从网络摄像机2接收到的网页的陈述(statement)而做出的。当多个浏览器屏幕由浏览器设备12分别窗口显示时，音频选择设备18b选择相应于浏览器屏幕中排列在最上面位置(显示顺序中最上面的位置)的一个的音频文件并从音频控制设备14再现所选择的音频文件。此外，当多个浏览器屏幕呈窗口显示时，嵌套获取设备18c从嵌套数据区15a获取指示窗口显示的各自显示顺序信息的嵌套数据。音频选择设备18b仅选择从网络摄像机2传输来的及相应于窗口显示在最上面位置的浏览器屏幕的音频数据，并且将所选择的音频数据传输给音频控制设备14。
在通过浏览器设备12开动多个浏览器屏幕，从各个浏览器屏幕相继访问网络摄像机2、2a、2b、2c，并且将从这些网络摄像机传输来的网页显示在多个窗口中的情形，实施例1中的网络终端1通过扬声器再现来自相应于窗口显示中排列在最上面位置的窗口(浏览器屏幕)的网络摄像机2的音频。音频选择设备18b选择从网络摄像机2传输来的且相应于显示在最上面位置的图片的音频数据。
随后，将描述组成网络摄像机系统的网络摄像机2。参照图3，网络摄像机2包括网络控制单元21，其控制网络摄像机2和网络4的通讯；网络服务器部分(本发明的成像服务器)21a，其遵照来自网络终端1的请求传输网页；摄像机单元22；图像控制单元23，其压缩由摄像机单元22拍摄到的图像数据；扩音器24，其为采集来自网络摄像机2的音频服务；扬声器24a，其为输出由网络终端1输入的音频服务；及音频控制单元25，其通过A/D转换将来自扩音器24的音频模拟信号转换成数字信号，并将该数字信号变成压缩码，以将该压缩码传送到网络控制单元21。同样还配置了一个放大器。驱动控制单元26进行网络摄像机2的驱动控制，例如左右随动或者上下转动。存储单元27存储控制程序和各种各样的数据于其中。
附带地，图3所示的网络摄像机2具有applet下载功能或者plugin下载功能。标记27a表示程序存储区，其将applet程序或plugin程序(在下文，一般称为“applet”)存储于其中，用于在网络终端1发出最上面窗口的音频。数字28标明applet/plugin传输单元，而数字29标明用于下载applet到网络终端1的下载设备。下载设备29将applet附加到HTML文件上(通过例如，applet存储位置的链接目的地陈述，嵌入该applet)，并通过网络4传输该附加的applet到网络终端1。applet/plugin传输单元28由用于传输applet的applet传输单元构成，以及/或者在使用plugin下载功能的情形，由plugin传输单元构成。在没有配备applet下载功能的普通网络摄像机2的情形，具有如图2所示的上述applet相同功能的plugin软件能够从网络服务器7的那个下载plugin传输单元下载到网络终端1，该网络服务器7包括源程序存储单元和下载设备(他们两者都未示出)。
接下来，将描述图1中，在网络摄像机2已经传输了所拍摄的图像和记录的音频的情形下，在网络终端1的再现处理。图4是本发明实施例1中用于将窗口显示和音频结合起来的处理的流程图。网络终端1的浏览器设备12请求网络摄像机2发送包含图像和音频的网页，并等待请求响应的传输，即，网页的版面信息(如HTML文件)。浏览器设备12检查响应是否已经到达。当响应还未传输时，浏览器设备12又返回到等待状态，而当响应已传输时，浏览器设备12根据接收到的版面信息，请求网络摄像机2传输图像数据和applet(步骤1)。网络终端1接收applet(步骤2)，并激活该applet以在网络终端1形成音频功能扩展单元18。此后，浏览器设备12根据接收到的版面信息，请求音频功能扩展单元18接收来自网络摄像机2的音频数据。已经接受了音频数据接收请求的音频功能扩展单元18，通过网络控制单元11，请求网络摄像机2传送音频数据(步骤3)。已经接受请求的网络摄像机2，从而传输由扩音器24采集到的实时音频数据到网络终端1的音频功能扩展单元18。音频功能扩展单元18的接口设备18a接收传输来的音频数据(步骤4)。
另一方面，嵌套获取设备18c以规律的周期接收来自嵌套数据区15a的嵌套数据，从而保留相应于音频数据的数据源网络摄像机2的浏览器屏幕的显示顺序信息。利用由嵌套获取设备18c获取的信息，音频选择设备18b根据音频数据的数据源IP地址或诸如此类，判断已经传输了该音频数据的网络摄像机2是否就是已经传输了网页到窗口显示在最上面位置的浏览器屏幕的网络摄像机(步骤5)。在该网络摄像机2为窗口显示在最上面位置的网页的数据源网络摄像机的情形，音频选择设备18b选择从这个网络摄像机传输来的音频数据并将该音频数据传输至音频控制设备14(步骤6)。相反，在该网络摄像机2不是窗口显示在最上面位置的网页的数据源网络摄像机的情形，从这个网络摄像机传输来的音频数据就会被丢弃(除去)(步骤7)。其后，步骤4直到步骤7重复迭代。附带地，在分别访问多个网络摄像机2的情形，对于每个网络摄像机2进行步骤1-7的操作，并且音频功能扩展单元18进行多个网络摄像机2的音频数据的选择控制。
附带地，使窗口显示的一个浏览器屏幕处于显示顺序的最高级别并以其屏幕显示部分由鼠标计时这样的方式显示在最上面的位置。在这种场合，连续地切换显示顺序的最高级别并直接地改变到显示顺序的较低级别，可以这样的方式如在被点击之前位于最上面位置的另一个浏览器屏幕变成显示顺序的第二级别，以及位于显示屏幕第二级别的另一个浏览器屏幕变成第三级别。由于显示顺序的改变，将要输出的音频数据改变为已经再一次被切换为显示顺序最高级别的网络摄像机的音频。
在从网络摄像机2传输来的网页上显示音频再现开始和音频再现停止按钮作为GUI也是可能的。这样，当利用鼠标或诸如此类按下标示在窗口屏幕上的音频再现停止按钮时，按压信息传递到音频功能扩展单元18，则不顾显示顺序信息如何，音频再现停止按钮为之按下的来自网络摄像机2的那个音频信号不被选择。因此，这个措施在，例如用户想继续听仅仅一个网络摄像机的音频，但是他/她想观看其它两个或更多网络摄像机的图片的情形，尤其有效。附带地，当在音频再现停止按钮处于按下的状态按下音频再现开始按钮时，网络终端1的常规操作重新开始。
如此，根据实施例1的网络摄像机系统和其音频输出方法，及为此的applet，当音频伴随着图像同时窗口显示时，相应于显示在最上面窗口的图像的音频能够在无任何特殊操作下输出。而且，仅只所期望听到的音频能够通过简单的操作输出。
applet/plugin传输单元是网络摄像机中程序发送器的一个实际例子。
(实施例2)在本发明实施例2中将描述一种网络摄像机系统和其音频输出方法，及为此的applet。图5A是本发明实施例2中applet的框图，图5R是各自标示显示顺序输入按钮的窗口显示屏幕的解释图，以及图6是本发明实施例2中用于将窗口显示和音频结合起来的处理的流程图。实施例2中的网络摄像机系统和其音频输出方法，及为此的applet在基本结构上和实施例1一样，而他们仅在音频功能扩展单元的内容上不同。因此，在实施例2中也将参照图1和图3。
在图5A所示的音频功能扩展单元18中，标记18a表示和实施例1类似的接口设备，以及标记18c表示嵌套获取设备。标记18d所示的是显示顺序选择设备，用于促使显示控制设备13指示稍后将解释的显示顺序输入按钮42。单独的窗口显示在显示器件上，且其嵌套通过控制单元15存储于嵌套数据区15a。
标记18e表示音频形成设备，用于根据各个窗口的嵌套，创建如再现在网络终端1的单独窗口的音频。音频形成设备18e通过混合接收到的单独的音频数据形成音频，并通过提供给显示在最上面位置的窗口的音频最大权重，第二个窗口第二大权重，第三个窗口第三大权重，...，而混合该单独的音频数据。加权的音频数据发送到音频控制设备14且由放大器调整音量，并且他们以125微秒为单位相继从扬声器再现。除音量外，频率等也能调整。
图5B是用于解释多个窗口显示的浏览器屏幕重叠显示的情况的视图。数字41标明每一个窗口屏幕，以及数字42标明在每个窗口提供的显示顺序输入按钮。
在浏览器设备12相继访问网络摄像机2、2a、2b、2c，以及显示多个窗口41的情形，实施例2中的网络终端1从扬声器再现混合音频，该混合音频的声音以点击显示顺序输入按钮42的顺序变大。
随后，将描述接收由网络摄像机2、2a、2b、2c拍摄并记录的多个图像和音频，并从网络终端1再现该音频的步骤。如图6所示，网络终端1的浏览器设备12请求网络摄像机2发送包含图像和音频的网页，并等待请求响应的传输，即，网页的版面信息(如HTML文件)。浏览器设备12检查响应是否到达。当响应还未传输时，浏览器设备12又返回到等待状态，而当响应已传输时，浏览器设备12根据接收到的版面信息，请求网络摄像机2传输图像数据和applet(步骤8)。网络终端1接收applet(步骤9)，并激活该applet以在网络终端1形成音频功能扩展单元18。其后，浏览器设备12根据接收到的版面信息，请求音频功能扩展单元18接收来自网络摄像机2的音频数据。已经接受了音频数据接收请求的音频功能扩展单元18，通过网络控制单元11，请求网络摄像机2传输音频数据(步骤10)。已经接受了请求的网络摄像机2，从而传输由扩音器24采集到的实时音频数据至网络终端1的音频功能扩展单元18。音频功能扩展单元18的接口设备18a接收传输来的音频数据(步骤11)。
另一方面，嵌套获取设备18c以规律的周期接收来自嵌套数据区15a的嵌套数据，从而保留相应于音频数据的数据源网络摄像机2的浏览器屏幕的显示顺序。利用由嵌套获取设备18c获取的信息，音频形成设备18e根据已经传输音频数据的网络摄像机2的嵌套信息，判断音频数据音量的调整量并增加或减少音频数据的音量。其后，音频形成设备18e混合作为结果的音频数据和服从音量调整的其它网络摄像机2的音频数据，并传输混合的音频数据至音频控制设备14(步骤12)。此后，步骤11和12的操作重复迭代。
附带地，在已点击了显示顺序输入按钮42的情形，相应于被点击的窗口显示的网络摄像机的音频数据，优先于符合嵌套信息的网络摄像机的音频数据。即，即使当任一个网络摄像机具有符合嵌套信息的显示顺序的最高级别(位于屏幕上最上面的位置)时，较大的权重结果也提供给显示顺序输入按钮为之按下的网络摄像机。此外，显示顺序输入按钮42不一定总是需要由显示顺序选择设备18d显示，而是能自然而然地作为GUI预先显示在由网络摄像机2传输来的网页上。在这种场合，当通过鼠标或诸如此类点击任一个显示顺序输入按钮42时，按下按钮42的信息通过浏览器设备12通知给音频功能扩展单元18，并且到音频控制设备14的音频数据的输出的优先级别由音频功能扩展单元18判断。
如此，根据实施例2中的网络摄像机系统和其音频输出方法，及为此的applet，在访问多个网络服务器如网络摄像机，及在网页作为多个窗口显示给出的情形，能够输出音频，以使相应于最上面位置的窗口的图像的音频可变得最大声，而由于位于窗口较后面位置的较小的权重的缘故，相应于显示在后面的剩下的窗口的图像的音频可变得较低声。
此外，当点击任何窗口的显示顺序输入按钮时，相应音频的权重能够优先变大。因此，即使在用户想继续听音频，但他/她为了浏览其图像，已经将另一个窗口移动到最上面位置的情形，也能大声地听到显示顺序输入按钮被点击的窗口的音频。
(实施例3)在本发明实施例3中将描述一种网络摄像机系统和其音频输出方法，及为此的applet。图7是本发明实施例3中applet的框图，以及图8是本发明实施例3中用于将窗口显示和音频结合起来的处理的流程图。实施例3中的网络摄像机系统和其音频输出方法，及为此的applet在基本结构上与实施例1和2中的每一个都一样，而他们仅在音频功能扩展单元的内容上不同。因此，在实施例3中也将参照图1和图3。
参照图7，标记15b表示窗口位置数据区，其存储单独浏览器的窗口屏幕显示的位置于其中。此外，音频功能扩展单元18中的组成部分18a是接口设备以及组成部分18e是音频形成设备。音频形成设备18e通过根据单独窗口的中心位置和显示器件的中心位置之间的距离提供权重来扩展单独的接收到的音频数据，并混合该扩展的数据。附带地，采用显示器件侧面宽度方向的距离作为用于权重的距离是合适的。混合音频数据发送到音频控制设备14，并从扬声器再现。
标记18g所示的是窗口位置获取设备，用于获取来自窗口位置数据区15b的各个窗口屏幕的显示位置。根据由窗口位置获取设备18g探测到的各个窗口的位置，音频形成设备18e发送已加权的音频数据到音频控制单元14，且相应音频由放大器调整其音量并以125微秒为单位相继再现。
随后，将描述接收由网络摄像机2、2a、2b、2c拍摄并记录的多个图像和音频，并在网络终端1通过改变窗口的位置再现音频的步骤。如图8所示，网络终端1请求网络摄像机2发送图像和音频，并等待请求响应的到达。具体地，网络终端1的浏览器设备12请求网络摄像机2发送图像和音频，并等待请求响应的传输，即，网页的版面信息(如HTML文件)。浏览器设备12检查响应是否已到达。当响应还未传输时，浏览器设备12又返回到等待状态，而当响应已传输时，浏览器设备12根据接收到的版面信息，请求网络摄像机2传输图像数据和applet(步骤13)。网络终端1接收applet(步骤14)，并激活该applet以在网络终端1形成音频功能扩展单元18。其后，浏览器设备12根据接收到的版面信息，请求音频功能扩展单元18接收来自网络摄像机2的音频数据。已经接受了音频数据接收请求的音频功能扩展单元18，通过网络控制单元11，请求网络摄像机2传输音频数据(步骤15)。已经接受了请求的网络摄像机2，从而传输由扩音器24采集到的实时音频数据至网络终端1的音频功能扩展单元18。音频功能扩展单元18的接口设备18a接收传输来的音频数据(步骤16)。
另一方面，窗口位置获取设备18g以规律的周期接收来自窗口位置数据区15b的单独的窗口屏幕的位置数据。根据窗口屏幕位置数据，音频形成设备18e加权从单独的网络摄像机2接收的音频数据，即，调整各个音频数据的音量。此外，服从音量调整的音频数据通过音频形成设备18e累加及混合，并且该混合的音频数据输出到音频控制设备14(步骤17)。其后，步骤16和17重复迭代。
附带地，窗口显示的一个浏览器屏幕能够通过鼠标或诸如此类改变其显示屏幕位置，并且位置改变信息必要时存储于窗口位置数据区15b。此外，通过结合嵌套信息和窗口位置信息，可适当地加权音频数据。而且，当对右扬声器和左扬声器分别加权音量时，从网络摄像机输出的音频相应于哪个窗口屏幕能够顺利容易地分辩。如此，根据实施例3的网络摄像机系统和其音频输出方法，及为此的applet，当在同时窗口显示音频伴随图像的情形下接收响应时，能不需任何特殊操作输出音频以使相应于离屏幕中心最近的窗口的图像的音频变得最大声，而剩下的较远窗口的音频具有相应于各个窗口离屏幕中心的距离的较低级别。
<工业适用性>
如上所描述，根据本发明的网络摄像机，从网络摄像机下载的applet或plugin进行控制以发出从网络摄像机发送来的显示在网络终端的音频。因此，在将由某一个网络摄像机拍摄或记录的图像/音频再现在网络终端的情形，通过指定这个网络摄像机的图像，仅来自该网络摄像机的音频能够输出。因为图像和音频能够由applet或plugin结合输出，由于音频混合及再现而不能分辨某个音频相应于哪个图像的情况能够避免而不需要在终端一端的任何特殊操作。
当多个分别显示图像的窗口显示在网络终端时，applet或plugin进行控制以致仅再现最上面窗口的音频。因而，在将由某一个网络摄像机拍摄和记录的图像/音频再现在网络终端的情形，仅通过定位显示这个网络摄像机的图像的窗口于最上面的位置，就能够输出仅来自该网络摄像机的音频。
此外，applet或者plugin在每个窗口屏幕上指示能够输入窗口显示顺序的输入设备，用于在网络终端显示图像，并且进行控制以调整，以及之后再现与通过输入设备输入的窗口显示顺序一致的音频。因而，仅通过在网络终端进行简单的操作，根据显示顺序，最上面窗口的图像的音频大声地再现，以及较后面窗口的图像的音频较低声地再现。因此，可获得音频的调整，并能够再现已平衡的音频。
此外，applet或plugin在每个窗口屏幕上指示音频再现开始按钮和音频再现停止按钮，用于在网络终端显示图像，并进行控制以通过按钮选择音频的输出和停止。因而，仅通过在网络终端进行简单的按下按钮的操作，就能再现仅期望听到的音频。在用户想继续听仅只一个网络摄像机的音频，但他/她又想观看多个其它网络摄像机的图片的情形，这方面是很有效的。
而且，当显示多个窗口时，applet或plugin计算用于在网络终端显示图像的每个窗口的中心位置和显示器件的中心位置之间的距离，并进行控制以根据计算出的距离调整及再现音频。因而，仅通过进行简单的操作，具有离显示器件中心最短距离的窗口的音频大声地再现，以及具有较长距离的窗口的音频较低声地再现。因此，可获得音频的调整，并能够再现已平衡的音频。
更进一步，在网络摄像机中，包括了用于再现从网络终端传输来的音频数据的扬声器，由此从网络终端发送的音频能够通过网络摄像机再现。
另外，applet或者plugin在每个窗口屏幕上指示能够输入窗口显示顺序的输入按钮，用于在网络终端显示图像，它根据通过输入按钮输入的窗口显示顺序加权音频，并进行控制以根据权重调整及再现音频。因而，仅通过进行简单的操作，根据显示顺序，最上面窗口的图像的音频大声地再现，而较后面窗口的图像的音频较低声地再现。因此，可获得音频的调整，并能够再现已平衡的音频。
再则，在网络终端，当由网络摄像机拍摄和记录的图像及音频将再现在网络终端时，网络终端的浏览器设备由从网络摄像机传输的applet扩展。因此，图像和音频能够结合输出而不需要在网络终端一端的任何特殊操作，并且避免因为音频混合且再现而不能分辨某一音频相应于哪个图像的情况是可能的。
再另外，在网络终端，根据由嵌套获取设备获取的多个网页的显示顺序信息选择音频数据，并且再现所选择的音频数据。因此，图像和音频能够结合输出而不需要在网络终端一端的任何特殊操作，并且避免因为音频混合且再现而不能分辨某个音频相应于哪个图像的情况是可能的。而且，因为仅只最上面窗口的图像的音频再现，避免因为音频混合且再现而不能分辨该音频相应于哪个图像的情况是可能的。而且，根据显示顺序信息，最上面窗口的图像的音频大声地再现，而较后面窗口的图像的音频较低声地再现。因此，可获得音频的调整，并能够再现已平衡的音频。
此外，在网络终端安装了一个程序，用于起接口设备的作用，能够遵照来自浏览器的请求访问多个成像服务器，以及能够具有分别接收来自多个成像服务器的音频数据的功能；起嵌套获取设备的作用，用于获取从多个成像服务器传输来的单独的网页的显示顺序信息；以及起音频选择设备的作用，用于根据如由嵌套获取设备获取的多个网页的显示顺序信息选择并再现音频数据。因而，根据如由嵌套获取设备获取的多个网页的显示顺序信息选择并再现音频数据。因此，图像和音频能够结合输出而不需要在网络终端一端的任何特殊操作，以及避免因为音频混合且再现而不能分辨某个音频相应于哪个图像的情况是可能的。
此外，在上述的音频选择设备中，仅只相应于其显示顺序信息规定为最上面位置的网页的成像服务器的音频被选择。因而，仅只最上面窗口的图像的音频能够再现而不进行任何特殊操作，并且避免因为音频混合且再现而不能分辨该音频相应于哪个图像的情况是可能的。
而且，在上述的音频选择设备中，根据显示顺序信息，分别加权从多个成像服务器接收的音频数据，并再现已加权的音频数据，而不是就选择该音频数据。因而，根据显示顺序信息，最上面窗口的图像的音频大声地再现，而较后面窗口的图像的音频较低声地再现。因此，可获得音频的调整，并能够再现已平衡的音频。
权利要求
1.一种网络摄像机系统，包括网络终端；至少一个通过网络连接到所述网络终端的网络摄像机；及其中，所述网络摄像机包括摄像机单元；扩音器；程序发送器，其传输applet或plugin至所述网络终端；所述网络摄像机传输附有图像数据和/或者音频数据的网页至所述网络终端；及其中所述网络终端，其可通过所述applet或者所述plugin操作以再现基于与所述图像数据关联的所述音频数据的声音。
2.根据权利要求1的所述网络摄像机系统，其中，所述applet或者所述plugin仅再现基于关于在所述网络终端显示的多个图像显示窗口中最上面窗口的所述音频数据的声音。
3.根据权利要求1的所述网络摄像机系统，其中，所述applet或者所述plugin指示显示顺序输入按钮，其可在显示于所述网络终端的图像显示窗口屏幕上操作以输入窗口显示顺序，并且根据通过所述显示顺序输入按钮输入的所述窗口显示顺序调整及再现所述音频数据。
4.根据权利要求1的所述网络摄像机系统，其中，在显示于所述网络终端的图像显示窗口屏幕上，所述applet或者所述plugin指示音频再现开始按钮和音频再现停止按钮，并且根据通过所述音频再现开始按钮和所述音频再现停止按钮的输入分别选择所述音频数据的输出和停止。
5.根据权利要求1的所述网络摄像机系统，其中，所述applet或者所述plugin计算显示在所述网络终端中的每个图像显示窗口的中心位置和所述网络终端的显示器件的中心位置之间的距离，并且在显示多个窗口的情形，根据所计算的距离调整及再现所述音频数据。
6.一种连接到网络终端的网络摄像机，所述网络摄像机包括摄像机单元，其拍摄图像数据；扩音器，其采集音频数据；及程序发送器，其传输用于在所述网络终端再现基于与所述图像数据关联的所述音频数据的声音的applet或者plugin至所述网络终端。
7.根据权利要求6的所述网络摄像机，进一步包括扬声器，其再现基于传输自所述网络终端的所音频数据的声音。
8.一种连接到至少一个网络摄像机的网络终端，包括浏览器，与网络连接，其能接收来自所述网络摄像机的网页；显示控制器，其能窗口显示图像数据；音频控制器，其再现基于音频数据的声音；及音频功能扩展单元，在已经接收网页的情形，其扩展所述浏览器的功能并再现基于与所述图像数据关联的所述音频数据的声音。
9.一种音频再现方法，包括步骤传输附有由每个网络摄像机拍摄的图像数据的网页和音频至网络终端；将applet或者plugin附加到所述网页；通过所述applet或者所述plugin，在所述网络终端再现基于与所述图像数据关联的所述音频数据的声音。
10.根据权利要求9的所述音频再现方法，进一步包括步骤通过所述applet或者所述plugin，仅再现基于关于在所述网络终端显示的多个图像显示窗口中最上面窗口的所述音频数据的声音。
11.根据权利要求9的所述音频再现方法，进一步包括步骤在显示于所述网络终端中的图像显示窗口屏幕上，指示关于图像数据显示的显示顺序输入按钮，其能够输入窗口显示顺序；根据通过所述显示顺序输入按钮输入的所述窗口显示顺序，加权每个音频数据；及根据所述的权重，调整并再现所述的每个音频数据，其中，通过所述applet或者所述plugin实现指示、加权、调整及再现。
12.根据权利要求9的所述音频再现方法，进一步包括步骤计算显示在所述网络终端中的每个图像显示窗口的中心位置和所述网络终端的显示器件的中心位置之间的距离；在显示多个窗口的情形，根据所计算的距离加权所述的声音；及根据所述权重，调整及再现所述音频数据，其中，通过所述applet或者所述plugin实现计算、加权、调整及再现。
13.根据权利要求9的所述音频再现方法，进一步包括步骤在显示于所述网络终端中的图像显示窗口屏幕上，指示音频再现开始按钮和音频再现停止按钮；及根据通过所述音频再现开始按钮和所述音频再现停止按钮的输入选择所述音频数据的输出和停止，其中，通过所述applet或者所述plugin实现指示和选择。
14.一种用于音频再现的程序，包括接口，其具有遵照来自浏览器的请求，允许计算机访问多个成像服务器的功能，以及接收来自各个成像服务器的音频数据；嵌套获取部分，其获取传输自所述多个成像服务器的单独的网页的显示顺序信息；及音频选择器，其根据由嵌套获取部分获取的所述多个网页的显示顺序信息，选择及再现所述音频数据。
15.根据权利要求14的所述程序，其中，所述音频选择器仅选择音频数据，该延伸相应于显示顺序信息指定最上面位置的所述网页的成像服务器。
16.根据权利要求14的所述程序，其中，代替选择该音频数据，所述选择器根据所述显示顺序信息，加权从所述多个成像服务器接收的各个音频数据，并根据所述权重再现所述音频数据。
全文摘要
本发明提供一种网络摄像机系统，在其中当图像呈窗口显示时，图像和音频能够结合输出而不需要任何特殊操作。该网络摄像机系统包括一个或者多个网络摄像机(2、2a、2b、2c)，其中每一个包括applet/plugin传输单元，其传输用于在网络终端(1)再现图像显示窗口及与之关联的音频的applet。该网络终端(1)窗口显示包含于接收到的网页中的音频伴随图像，并从摄像机下载applet或诸如此类。该applet或诸如此类进行控制以发出相应于用户在网络终端通过，例如，移动光标至该窗口并点击窗口，而指定的窗口的网络摄像机的音频。仅只来自所期望的网络摄像机的音频能够以这样的一种方式，例如，用户通过移动光标并点击窗口的操作仅定位相应于该网络摄像机的窗口于最上面的位置，来输出。
文档编号H04N5/225GK1708989SQ20038010243
公开日2005年12月14日 申请日期2003年10月29日 优先权日2002年10月29日
发明者有马佑二, 吉贝规, 木原寿之 申请人:松下电器产业株式会社