专利名称：图像传输设备、图像传输方法、记录介质及图像传输程序的制作方法
技术领域：
本发明涉及传输从图像源抽取的图像的图像传输方法、图像传输方法、使计算机担当起所述图像传输设备的工作的图像传输程序、以及在其上记录着上述程序的记录介质，尤其是，涉及根据网络带宽的情况实时传输最新图像数据的图像传输设备，以及图像传输方法和记录介质，还有图像传输程序。
背景技术：
随着近年来网络技术的发展，网络图像传输系统开始广泛使用，这种系统通过网络传输图像，并可以回放接收方接收的图像。一般来说，图像数据量是很大的。这样，为了通过网络传输图像，必须保留用于传输图像的宽带网。近来的一些新技术即使在没有一定带宽保证的网络环境中也能够降低回放图像时的延时。
日本专利特许公开No.123456/1997中公开了一种技术，该技术用于降低由于图像回放侧不足的回放能力或者不足的网络带宽所引起的回放时间的延时，以保持实时特性。根据这一技术，为了避免接收图像的客户机在接收和解码数据包时花费时间，客户机放弃那些解码不完全的数据包，而从服务器接收最近的数据包，从而保持了实时特征。
根据日本专利特许公开No.123456/1997的网络运动图像分配系统(以后被称为相关技术图像传输设备)以后将参照附图31-37进行描述。
如图31所示，相关技术图像传输设备包括服务器3101，用于传输图像；客户机3102，用于接收数据，并显示图像；以及网络3103，执行服务器3101与客户机3102之间的数据通信。
服务器3101包括运动图像数据存储处理器3111，用于从记录介质，例如硬盘，抽取图像数据；服务器装载数据包传输处理器3112，用于将图像数据分割为数据包，并通过网络3103将数据包传输给客户机3102；以及刷新数据检测器3113，用于检测可被解码的图像的第一部分。
客户机3102包括运动图像显示处理器3121，用于显示接收的图像；解码处理器3122，用于解码接收的图像数据，并将结果数据转换成可以显示在显示设备上(例如显示器)，的格式；数据包请求/接收处理器3123，用于通过网络接收从服务器3101传输的数据；解码延时检测器3124，用于根据存储在数据包中的时间信息，计算从服务器3101传输的数据包的解码延时；以及传输延时检测器3125，用于根据数据包自身拥有的时间信息计算从服务器3101传输的数据包的传输延时。
接下来，将参照附图32-34描述从服务器3101通过网络3103传输给客户机3102的数据结构。附图32是示意图，表示由帧间编码数据串和刷新数据构成的编码数据比特串。附图33是示意图，表示分离成如图32所示的大量数据包的编码数据的比特串。附图34是示意图，表示在每一数据包的前面加首标(header)的编码数据的数据结构。
当服务器3101通过网络3103将图像数据传输给客户机3102时，服务器3101使用例如H.261或者MPEG基于帧间差的编码系统进行图像数据的编码。在即将传输给客户机3102的图像数据中，循环帧内编码的图像帧(以后被称为刷新数据)重复地插入到如图32所示的帧间编码数据串3201中。通过编码系统例如H.261或者MPEG提供的编码数据以比特串的方式表示。如图33所示的编码数据分离成合适大小的数据包3301，以利于在网络3103上传输。
接下来，如图34所示，首标3402加在从编码数据分离出来的每一数据包3301，形成包数据3401。这样形成的一组包数据3401在服务器3101中作为单独的图像数据片断而保存。各个包数据3401的首标3402包含时间索引3411，表示在正常执行比特流的最新编码的情况下包数据3401的传输时间以及编码结束时间；以及标识符3412，用于确定数据包是否包含帧内编码数据。
接下来，将参照附图35和36描述在降低传输延时或者编码延时的同时，由如图31所示的图像传输设备传输图像的机制。图35是在单个数据包的传输时间或解码结束时间比时间索引3411表示的传输时间或解码结束时间短的情况下使用的传输的概念图。图36是在单个数据包的传输时间或解码结束时间比时间索引3411表示的传输时间或解码结束时间长的情况下使用的传输的概念图。
数据包请求/接收处理器3123通过网络3103与服务器装载数据包传输处理器3112相连，并限定需要的图像的内容名称。数据包请求/接收处理器3123请求以数据包的形式从服务器装载数据包传输处理器3112进行数据传输。数据包请求/接收处理器3123接收的数据包存储在数据包请求/接收处理器3123的接收缓存器中(图中未示出)。解码处理器3122顺序读出并解码数据包。在客户机3102，解码延时检测器3124以及传输延时检测器3125在从服务器装载数据包传输处理器3112接收到第一数据包的同时，开始测量传输和解码所用的时间。
传输延时检测器3125测量从接收到第一数据包开始到接收到新的数据包时经过的时间。解码延时检测器3124在完成解码包含在从数据包请求/接收处理器3123接收的数据包中的图像数据的时候，测量从数据包请求/接收处理器3123的接收缓存器读出第一数据包的时间开始经过的时间。经传输延时检测器3125或者解码延时检测器3124测量的每个经过时间都要与记录在每一数据包的首标3402中的时间索引3411相比较。
如图35所示，当经传输延时检测器3125或者解码延时检测器3124测量的经过时间3502比时间索引3411表示的解码结束时间或者传输时间3501短时，解码处理器3122以及数据包请求/接收处理器3123将暂停处理步骤，直到经过时间3502达到时间索引3411表示的时间为止。
如图36所示，当经解码延时检测器3124或者传输延时检测器3125测量的解码结束时间或者传输时间3603、3604比时间3601、3602长，而且在时间3601、3602与检测时间3603、3604之间的时间差3611、3612小于允许的值(3611)的情况下，解码处理器3122以及数据包请求/接收处理器3123继续处理步骤。另一方面，在时间差3611、3612大于允许的值(3612)的情况下，解码处理器将暂停处理步骤，执行接下来的延时降低操作。
下文将参照附图37描述在差值，例如时间差3612大于允许值的情况下采用的降低延时的方法。在差值大于允许值例如差值3612的情况下，客户机3102将暂停解码处理器3122的处理，清除数据包请求/接收处理器3123接收的数据包3711、3712、3713、3714，然后从服务器装载数据包传输处理器3112请求刷新数据3202，该数据出现在下一个传输暂停数据包之后。当请求刷新数据的时候，客户机3102将差值3702通知给服务器3101。
在服务器3101中，响应于客户机3102的刷新数据请求，刷新数据检测器3113检测数据包3722，该数据包包含刷新数据，刷新数据出现在从下一个规定传输数据包的时间索引传输给客户机3102的差值3702之后，然后刷新数据检测器传输数据包3722和下一个数据包给客户机3102。在客户机3102，根据请求接收刷新数据3202，数据包请求/接收处理器3123请求跟在接收的数据包之后的数据包。解码处理器3122暂停解码处理，直到记录在数据包中的开始时间以消除延时，当开始时间到达时，重新启动解码处理。
以这种方式，根据相关技术图像传输设备，当客户机3102向服务器3101请求传输图像时，服务器3101根据请求抽取需要的数据包，并将其传输给客户机3102。除了上面提及的相关技术的例子，还有另一个例子，当传输数据包的时候，服务器从记录介质，例如硬盘，读出数据包，从而提供下一个即将传输的数据包，以保证一旦接收到客户机的数据包请求就可以立即传输数据包。
前面描述的图像传输设备编码服务器3101抽取的图像数据，并将得到的图像数据传输给客户机3102。为了避免编码或者抽取图像数据花费时间，服务器3101不能在从编码开始到编码结束的时间给客户机3102传输编码的数据。这样就使分配的网络带宽空闲一段时间，使得客户机3102接收的图像的帧速率(每秒能够传输的帧数)保持较低。
而且，在编码数据传输与图象数据编码各自并行地进行的情况下，从图象数据编码结束到编码数据传输开始产生等待时间。这一等待时间在客户机3102中引起回放图像延时。
当网络中出现突然的抖动(变化)时，作为测量传输时间的结果，客户机3102请求服务器3101放弃太多的帧。这可以导致能够被传输给分配的网络带宽的帧在服务器3101中被放弃。
当网络带宽变化时，除了在服务器3101中准备传输的帧被放弃，或者具有大延时的数据包将被传输以外，其他变化是不会跟着发生的。
在服务器3101在编码之前抽取图像数据的情况下，图象数据编码所花费的时间取决于中央处理器(CPU)的负载，以至于当CPU执行图像数据编码时，编码数据传输是不允许的。这样就存在着分配的网络带宽未被使用的时间，客户机3102接收的图像数据的帧速率就会持续较低。
还有，在编码数据传输与图象数据编码各自并行地进行的情况下，从图像数据编码结束到编码数据传输开始之间产生等待时间。这一等待时间导致了客户机3102重放图像时的延时。
在服务器3101抽取图像数据并在随后编码抽取的图像数据的情况下，编码必须在较短的时间内进行，从而使客户机3102已请求刷新数据时，服务器3101无延时地向客户机3102传输编码数据。在这种情况下，服务器3101不能进行高质量的编码，也就是不能获得高质量的压缩数据。
当抽取图像数据的位置发生变化时，例如从硬盘变化为录像带，服务器3101花费时间从录像带抽取客户机3102请求的数据包。这导致了图像回放时的延时。
更进一步，当服务器3101使用同样的网络从另一服务器接收图像数据并将其传输给客户机3102时，服务器3101接收图像数据的所需时间与服务器3101传输图像的所需时间是不同的。这样服务器3101不能将接收到的图像传输给客户机3102，从而不能被传输的图像将在服务器3101中放弃。
特别是，在通过网络执行远程监测的监测系统中，表明最新情况的图像对于监测侧是重要的。但是，用于传输图像数据的网络的传输速度可能会有所波动。当监测侧通过远程控制将摄像机安装在指定的方向或者执行放大/缩小操作时，监测侧的图像回放设备不能同时显示需要的图像。特别是，除了这个问题之外，当由于网络波动而引起传输速度降低时，在监测侧的图像回放设备上显示的图像缺少实时特征。在监测系统中，即使仅一两秒的延时都是致命的。必需这样一种图像传输设备，其能够不依赖于网络环境提供最新的高精度图像。
本发明就是为了解决现有的相关技术的问题而提供图像传输设备，当通过网络传输图像时能够根据网络带宽的情况降低图像回放时的延时，也就是说，提供的图像传输设备能够实时地传输最新的图像数据，并且提供一种图像传输方法、和记录介质、以及图像传输程序。
发明内容
为了解决前面提及的问题，根据本发明的图像传输设备的特征在于所述图像传输设备包括图像转换装置，将包含多个帧的图像转换成可以传输给另一设备的格式，以产生基于每帧的转换图像；图像传输装置，将所述图像转换装置基于每一图像帧产生的转换图像传输给经网络连接的预定图像接收装置；传输时间测量装置，用于基于每一图像帧测量从所述图像传输装置传输的转换图像的传输时间；传输时间预测装置，预测所述图像传输装置传送传输候选帧中的转换图像所需的传输时间，并根据被所述传输时间测量装置测量的过去帧的传输时间产生预测传输时间；以及操作定时控制装置，根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间，控制所述图像转换装置开始转换候选帧的转换的定时。
这样，从图像转换结束到图像开始传输的等待时间就被去除了。这使从图像转换结束到图像开始传输的所需时间最小。结果是使从作为客户机的图像接收装置接收到图象传输请求到图象传输完成的时间最小。就是说，因为最新转换的图像能够实时地传输，所以图像接收装置就能够回放最新的图像。这可减少网络的占用时间，从而提高网络的利用率，并提高图像接收装置接收的图像的帧速率(每秒能够传输的帧数)。
根据本发明的图像传输设备的特征在于，所述传输时间测量装置包括抖动确定装置，根据每一测量的传输时间的长度，确定在所述过去帧的传输期间在所述网络中是否有抖动发生，并且，其中，所述传输时间预测装置根据除了经所述抖动确定装置确定出的抖动发生的传输时间以外的传输时间，预测所述预测传输时间。
这样，传输时间预测装置可以不考虑发生抖动的传输时间就能够计算预测的传输时间，从而能够正确地预测图像传输所需的时间。这样就可设定图像转换的最佳开始时间，从而使从图像转换开始到图象传输结束的所需时间最小。
根据本发明的图像传输设备的特征在于，所述传输时间测量装置包括带宽变化确定装置，根据每一测量的传输时间的长度，确定在所述过去帧的传输期间在所述网络中是否有变化，并且，其中，所述传输时间预测装置根据在所述带宽变化确定装置确定网络带宽发生变化以后推算的传输时间，预测所述预测传输时间。
这样就可设定图像转换的最佳开始时间，甚至在网络带宽发生变化的情况下也是如此，从而使从图像转换开始到图象传输结束的所需时间最小。
根据本发明的图像传输设备还包括转换时间测量装置，测量经所述图像转换装置根据每一帧进行图像转换的转换时间；以及转换时间预测装置，根据所述转换时间测量装置测量的过去帧的传输时间，预测所述图像转换装置转换转换候选帧中的图像所需的转换时间，从而产生预测转换时间，其中，所述操作定时控制装置控制所述图像转换装置开始转换所述转换候选帧的定时，这是根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间以及所述转换时间预测装置产生的所述转换候选帧的预测转换时间进行的。
根据本发明的图像传输设备包括CPU负载测量装置，用于根据所述转换时间测量装置测量的过去帧的转换时间测量当每一帧的图像被转换时推算的中央处理器(CPU)的负载，其中，所述转换时间预测装置根据所述转换时间测量装置测量的过去帧的转换时间以及所述CPU负载测量装置测量的负载，预测所述转换候选帧的预测转换时间。
这样，根据图像转换的所需时间以及图像传输的所需时间，图像转换的开始时间被控制。因而，即使在图像转换所需的时间由于CPU负载的波动而发生变化的情况下，通过在图像转换结束的同时开始图像传输，也可以减少从图像转换开始到图像传输结束的所需时间。
根据本发明的图像传输设备包括转换计算量变化装置，用于根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间与所述转换时间预测装置产生的所述转换候选帧的预测转换时间之间的比较，指示所述图像转换装置改变转换所述转换候选帧的所需的计算量，其中，所述转换计算量变化装置指示所述图像转换装置减少所述传输候选帧的预测传输时间以及所述转换候选帧的预测转换时间之间的差。
通过这个指令，图像转换装置在图像传输的同时开始图像转换，并且控制图像转换的所需的工作量，从而使图像转换可以同图像传输同时结束。尤其是，在图像转换的工作量增加的情况下，图像转换需要较长的时间，这将产生高质量的图像。结果是可向图像接收设备传输适于图像传输时间的高质量的压缩图像。
根据本发明的图像传输设备包括转换系统变化装置，用于根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间与所述转换时间预测装置产生的所述转换候选帧的预测转换时间之间的比较，指示所述图像转换装置改变所述转换候选帧的转换系统；以及转换系统通知装置，用于通知所述转换系统变化装置指示的转换系统给所述预定图像接收设备，其中，所述转换系统变化装置指示所述图像转换装置减少所述传输候选帧的预测传输时间与所述转换候选帧的预测转换时间之间的差。
这样，除非转换候选帧的预测转换时间超出传输候选帧的预测传输时间，否则，通过产生高质量压缩图像的转换系统来转换转换候选帧是可能的。由此可传输适于图像传输时间的图像质量的压缩图像并同时保持帧速率。
根据本发明的图像传输设备的特征在于，所述图像传输设备包括图像读出装置，用于从存储转换成能够显示在经网络相连的图像接收设备上的格式的转换图像的转换图像存储器中以一帧为基础读出转换的图像；图像传输装置，把所述图像读出装置以一帧为基础读出的转换图像传输到经所述网络相连的预定图像接收设备；传输时间测量装置，用于测量以一帧为基础从所述图像传输装置传输的转换图像的传输时间；传输时间预测装置，用于根据由所述传输时间测量装置测量的过去帧的传输时间，预测所述图像传输装置传输传输候选帧所需的传输时间，并产生预测传输时间；图像读出位置调查(investigating)装置，调查被所述图像读出装置读出的转换图像的存储位置；读出时间测量装置，以读出时间帧为基础测量由所述转换图像存储装置读出的转换图像的读出时间；读出时间预测装置，用于根据所述读出时间测量装置测量的过去帧的读出时间以及所述图像读出位置调查装置的调查结果，预测所述图像读出装置读出读出候选帧中的转换图像的所需读出时间，并产生预测读出时间；以及操作定时控制装置，根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间以及所述读出时间预测装置产生的所述读出候选帧的预测读出时间，控制所述读出时间预测装置开始读出所述转换候选帧的定时。
这样，即使由于转换图像提供给图像读出装置的读出位置(转换图像存储器)发生变化而使图像读出所需的时间也有所变化，但是，通过控制图像读出的开始定时也可降低网络的使用时间，以至于图像在图像读出结束的同时开始传输，从而可以有效地利用网络，并且提高帧速率。结果是，从接收到作为客户机的图像接收装置的图象传输请求到完成图像传输的时间会最小。这样，可以使图像接收装置中的图像回放延时最小。这就是说，可以实时传输最新的转换图像，从而图像接收装置可以回放最新的转换图像。
依据本发明的图像传输设备的特征在于，所述图像传输设备包括图像抽取装置，用于通过网络，从通过所述网络与所述图像传输设备相连的存储所述图像的图像传输设备接收图像；接收时间测量装置，以一帧为基础测量所述图像抽取装置接收的图像的接收时间；接收时间预测装置，用于根据所述接收时间测量装置测量的过去帧的传输时间，来预测所述图像抽取装置接收候选帧所需的接收时间，并产生预测接收时间；以及处理操作控制装置，用于控制所述图像抽取装置开始接收所述接收候选帧的定时、所述图像转换装置开始转换所述转换候选帧的定时、以及所述图像传输装置开始传输所述转换候选帧的定时，这种控制是根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间以及所述接收时间预测装置产生的所述传输候选帧的预测接收时间来进行的。
这样，即使在图像传输装置与图像抽取装置使用同一网络时，图像转换以及图像接收或者图像传输与图像转换各自的开始定时通过预测图像接收以及图像传输所需的时间而受到控制。这样不仅能提高帧速率，还能够减少网络的使用时间，提高网络的使用效率。
依据本发明的图像传输设备的特征在于，所述传输时间预测装置调整取样的数目，通过计算所述过去帧的标准传输偏差来产生所述预测传输时间。
依据本发明的图像传输设备的特征在于，所述传输时间预测装置按时间顺序移去取样，直到所述计算标准偏差低于预定值为止。
这样，使用具有较小标准偏差即小差量的取样组可预测传输时间。相应的，即使在传输速度渐渐增加或者渐渐降低的时候，也可以预测接近真实值的传输时间。
依据本发明的图像传输设备的特征在于，所述传输时间预测装置从与平均值的差最大的取样值开始移去取样值，直到所述计算标准偏差低于预定的值为止。
这样，在发生抖动的时候移去取样点是可能的。因此，使用具有较小标准偏差即小差量的取样组可预测传输时间。相应的，即使抖动发生，也可以预测接近真实值的传输时间。
依据本发明的图像传输方法的特征在于，所述图像传输方法包括以下步骤图像转换步骤，将由多个帧组成的图像转换成可以传输给另一个设备的格式，以一帧为基础，产生转换图像；图像传输步骤，将在所述图像转换步骤中以一帧为基础产生的转换图像传输给通过网络连接的预定图像接收设备；传输时间测量步骤，测量在所述图像传输步骤中以一帧为基础传输的转换图像的传输时间；传输时间预测步骤，根据所述传输时间测量步骤测量的过去帧的传输时间，来预测所述图像传输步骤传输传输候选帧中的转换图像所需的传输时间，并产生预测传输时间；以及操作定时控制步骤，根据所述传输时间预测步骤产生的所述传输候选帧的预测传输时间，控制所述图像转换步骤开始转换转换候选帧的定时。
依据本发明的计算机可读记录介质在其上记录着图像传输程序，用于使计算机完成本发明中的图像传输设备的工作。
依据本发明的图像传输程序使计算机完成本发明的图像传输设备的工作。
图1是包括根据本发明第一实施例的图像传输设备的网络图像传输系统的方框图；图2是表示第一实施例中图象传输与图像转换的开始定时示意图；图3是表示在第一实施例中预测图像传输所需的传输时间(传输时间)的方法流程图；图4是表示在第一实施例中确定的图象转换开始定时的示意图；图5是表示包括基于第一实施例的图像传输设备的网络图像传输系统的另一种结构的方框图；图6是表示包括基于第二实施例的图像传输设备的网络图像传输系统的方框图；图7是表示着重于抖动确定的第二实施例的图像传输方法的流程图；图8是表示在第二实施例中确定的图象转换开始定时的示意图；图9是表示包括基于第二实施例的图像传输设备的网络图像传输系统的另一种结构的方框图；图10是表示包括基于第三实施例的图像传输设备的网络图像传输系统的方框图；图11是表示着重于带宽变化的第二实施例的图像传输方法的流程图；图12是表示在第三实施例中确定的图象转换开始定时的示意图；图13是表示包括基于第三实施例的图像传输设备的网络图像传输系统的另一种结构的方框图；图14是表示包括基于第四实施例的图像传输设备的网络图像传输系统的方框图；图15是表示在第四实施例中预测图象转换所需时间(转换时间)的方法的流程图；图16是表示第四实施例中确定的图象转换的开始定时的示意图；图17是表示包括基于第四实施例的图像传输设备的网络图像传输系统的另一种结构的方框图；图18是表示包括基于第二实施例的图像传输设备的网络图像传输系统的方框图；图19是表示第五实施例中确定的图像转换开始定时的示意图；图20是表示改变图像转换计算量的方法的流程图；图21是表示在图像压缩的计算量变化前后的预测时间的示意图；图22是表示包括基于第五实施例的图像传输设备的网络图像传输系统的另一种结构的方框图；图23是表示包括基于第六实施例的图像传输设备的网络图像传输系统的方框图；图24是表示在第六实施例中预测图像读出所需的传输时间(读出时间)的方法的流程图；图25是表示在第一实施例中确定的图象读出的开始定时的示意图；图26是表示包括基于第七实施例的图像传输设备的网络图像传输系统的方框图；图27是表示着重于处理操作控制的第七实施例的图像传输方法的流程图；图28是表示当预测的传输时间比预测的接收时间长时，图像传输、图像转换以及图像接收的操作时间的示意图；图29是表示当预测的传输时间比预测的接收时间短，并且Vest比Test与Ttrans的总和大时，图像传输、图像转换以及图像接收的操作时间的示意图；图30是表示当预测的传输时间比预测的接收时间短，并且Vest等于或小于Test与Ttrans的总和时，图像传输、图像转换以及图像接收的操作时间的示意图；图31是表示相关技术的图像传输设备的方框图；图32是表示包含帧间编码数据串与刷新数据的比特串的示意图；图33是表示分成图32所示的大量数据包的比特串的示意图；图34是表示在每一包上加首标的编码数据的数据结构示意图；图35是表示在单个数据包的传输时间或者解码结束时间比时间索引表示的传输时间或者解码结束时间短时使用的传输示意图；图36是表示在单个数据包的传输时间或者解码结束时间比时间索引表示的传输时间或者解码结束时间长时使用的传输示意图；图37是表示相关技术中图象传输设备的降低延时的处理方法示意图；图38是表示包括基于第二实施例的图像传输设备的网络图像传输系统的方框图。
具体实施例方式
根据本发明的图像传输设备从例如摄像机、硬盘、录像带这样的记录介质中或者诸如通过网络连接的服务器这样的图像记录部分中抽取所存储的想要的图像，将抽取的图像转换成适于传输给图像接收设备的格式，然后将转换的图像通过网络传输给图像接收设备。在下面的描述中，由图像记录部分、图像传输设备、网络以及图像接收设备组成的系统被称为网络图像传输系统。
根据本发明的图像传输设备的实施例将在下文参照附图1-30以及附图38详细描述，下文的描述以以下的顺序进行第一实施例、第二实施例、第三实施例、第四实施例、第五实施例、第六实施例、第七实施例、第八实施例、第九实施例、第十实施例、和第十一实施例。尽管每个实施例的描述详细叙述了根据本发明的图像传输设备以及图像传输方法，但根据本发明的记录介质的描述被包含在下文有关图像传输方法的描述当中，这是因为所述记录介质记录着执行图像传输方法的程序。
本发明的图像传输设备的第一实施例将在下文中描述，它通过过去图像传输所需的时间预测目前图像传输所需的时间，以控制在图像传输之前执行的开始图像转换的定时。图1示出的是包括基于本实施的图像传输设备的网络图像传输系统的方框图。
在图1中，网络图像传输系统包括摄像机101、根据本实施例的图像传输设备110、网络102、以及图像接收设备120。
摄像机101用于记录并存储图像。图像传输设备110转换从摄像机101接收的图像，它包括对应于本发明中的图像抽取装置的图像抽取部分111、对应于图像转换装置的图像转换器112、对应于图像传输装置的图像传输器113、对应于传输时间测量装置的传输时间测量部分114、对应于传输时间预测装置的传输时间预测部分115、以及对应于操作定时控制装置的操作定时控制器116。
图像抽取装置111抽取存储在摄像机101中的图像。图像转换器112把图像抽取部分111抽取的图像转换成可以通过网络102传输给图像接收设备120的格式。特别是，图像转换器112使用图像压缩系统，例如H.261或者MPEG执行图像转换，如压缩，并执行分辩率转换。图像传输器113将图像转换器112转换的图像通过网络120传输给图像接收设备120。这一过程在下文中被称为图像传输。
传输时间测量部分114测量图像传输所需的时间，并保存测量结果。传输时间预测部分115利用保存在传输时间测量部分114中的预定数目的测量结果来预测图像传输所需的时间。操作定时控制器116用于根据图像传输所需的时间以及图像转换所需的时间确定图像转换器112开始进行图像转换的定时。操作定时控制器116使用的确定图像转换的开始定时的方法将在下文中详细描述。
网络102将图像传输设备110中转换的图像传输给图像接收设备。图像接收设备120接收从图像传输设备110通过网络102传输的图像，并显示接收图像或将其存储在内部硬盘上(图中未示出)。
根据本发明的图像传输设备110使用的图像传输方法将在下文参照附图2-4进行描述。首先，图像抽取部分111从摄像机101以一帧为单位抽取图像。接着，图像转换器112根据操作定时控制器116确定的定时执行图像转换，下文将详细描述，并将产生的图像传输给图像传输器113。图像传输器113传输转换的图像给网络102，然后传输给预定图像接收设备120。传输时间测量部分114测量图像传输器113执行图像传输所需的时间，并保存测量结果。
为了使操作定时控制器116控制在图像转换器112中转换图像的开始定时，传输时间预测部分115必须首先预测传输时间。这样，传输时间预测部分115采用下文描述的方法计算进行图像传输所需的预测时间(预测传输时间)。接下来，操作定时控制器116根据下文描述的方法决定再次进行图像转换的开始定时。
在图2中，标号301代表图象传输的操作时间(传输时间)。标号302代表图象转换的操作时间(转换时间)。标号303代表图象转换的开始时间。标号304代表图象转换的结束时间。标号305代表图象传输的开始时间。标号306代表图象传输的结束时间。标号307代表从图像转换开始到图象传输结束的所需时间。
如图2所示，为了将最新图像传输给图像接收设备120，必须在图像转换结束时立即开始图像传输。操作定时控制器116控制在图像转换器112中进行图像转换的开始定时，从而无延时地传输最新图像。为了使这种控制更有效，必须预先得到图像传输所需的时间301以及图像转换所需的时间302。
只要相同数据量的图像从图像抽取部分111传输，图像转换所需的时间302就保持不变。这样就足以使用先前获得的数据。但是，图像传输所需的时间301并不是常数，因为在图像传输中可用的网络带宽在网络102用于图象传输以及其他数据通信时会有所波动。假设网络102是一条用于图象传输的专线，而且图像传输装置110传输同样数据量的图像，则从图像传输开始到图象传输结束所需的时间根据在这条专线上负载的其它图像的传输情况而可能不是常数。这样，图像传输所需的时间301的预测在传输时间预测部分115中进行。
传输时间预测部分115使用的预测传输时间的方法将参照附图3的流程图进行描述。
在步骤S401中，传输时间预测部分115接收传输时间测量部分114测量的传输时间，并将其作为取样值。在步骤S402中，传输时间预测部分115检查是否已接收到了预测传输时间所需的所有传输时间，如果没有，操作回到步骤S401。如果用于预测传输时间所需的所有传输时间都已经接收到，则操作前进到步骤S403。
在步骤S403，传输时间预测部分115根据该传输时间计算图像传输所需的预测时间(预测传输时间)。例如，如下面示出的公式(1)，传输时间预测部分115获得先前传输的N帧图像的传输时间T1到Tn的平均值，假设这为传输一帧图像所需的预测传输时间Test。在步骤S404中，传输时间预测部分115将这样计算的预测传输时间Test传输给操作定时控制器116，从而完成有关传输时间预测的处理。如下式(1)所示的预测传输时间计算方法只是示例，还可以通过其他的计算方法来得到预测传输时间。Test=Σn=1NTn/N---(1)]]>接下来，操作定时控制器116根据预测传输时间Test以及图像转换的所需时间Ttrans确定图像转换器112开始进行图像转换的定时。这里假定从传输开始到图象转换开始的等待时间为Twait，该等待时间Twait可以通过下述的公式(2)得到Twait＝Test-Ttrans(2)操作定时控制器116根据上面获得的等待时间Twait控制图像转换器112进行图像转换的开始定时，使得图像转换可以在图像传输开始以后经过了等待时间Twait时开始。因此，图像转换器112在图像开始传输以后经过了等待时间Twait时开始图像转换。
下面是示例。假设传输时间预测部分115根据以前10帧的传输时间计算预测传输时间，以及传输时间T1到T10分别是T1＝90[ms]、T2＝100[ms]、T3＝90[ms]、T4＝100[ms]、T5＝110[ms]、T6＝100[ms]、T7＝120[ms]、T8＝110[ms]、T9＝100[ms]、T10＝110[ms]。然后，预测传输时间Test可以通过下面的公式(3)得到Test＝(90+100+90+100+110+100+120+110+100+110)/10＝103[ms] (3)这里假设图像转换所需的时间Ttrans为Ttrans＝50[ms]，则直到图像开始转换的等待时间Twait可以用公式(4)进行计算Twait＝103-50＝53[ms](4)这样，图像转换器112在前一帧图象传输结束以后经过了53[ms]时开始候选帧的图像传输。
如前所述，在本实施例的图像传输设备110和图像传输方法中，图像传输所需时间根据从开始向网络102传输图像至图象传输结束所需时间的测量结果进行预测，图像转换与图像传输分别进行，并且图像转换是受控的，从而使图像传输可在图像转换结束的同时开始。
这样，可以消除从图像转换结束到图像传输开始之间的等待时间，从而使从图像转换结束到图像传输开始所需的时间最小。因而可使从接收到作为客户机的图像接收设备120发出的图象传输请求到图象传输结束的时间最小。这样就可以使图像接收设备120中的回放延时最小。也就是说，最新的图像可以从图像传输设备110中实时地传输，从而使图像接收设备120可以回放最新的图像。
还可减少网络的使用时间，从而提高网络的使用效率，并提高图像接收设备120接收的图像的帧速率(每秒传输的帧数)。
如图5所示，根据本实施例的图像传输设备110也可以被图像传输设备110’所取代，图像传输设备110’包括用于存储转换的图像数据的记录介质201，例如硬盘以及录像带；存储图像读出部分211，用于从记录介质201读出图像；图像传输器113；传输时间测量部分114；传输时间预测部分115；操作定时控制器116，这里操作定时控制器116控制从存储的图像读出部分211读出图像数据的定时。
尽管根据本发明第一实施例的图像传输设备110通过传输时间测量部分114测量的结果预测图像传输所需的时间，以控制图像转换的开始定时，但在根据该第二实施例的图像传输设备中，传输时间预测部分115消除了抖动的影响，从而预测了更精确的图像传输所需时间，即使是在网络中突然发生抖动(变化)的情况下也是如此。在图6中示出的是包括基于这一实施例的图像传输设备的网络图像传输系统的方框图。在图6中，与图1中相同的部分采用同样的标号，相应部分的描述也将省略。
在图6中，根据本实施例的网络图像传输系统包括摄像机101、根据本实施例的图像传输装置610、网络102以及图像接收设备120。本实施例中的图像传输装置610包括抖动确定部分611，其对应于本发明中的抖动确定装置，用于确定网络中突然发生的抖动，其位置在第一实施例的图像传输设备110的元件的上部。本实施例中的传输时间测量部分114将图像传输所需时间的测量结果传输到抖动确定部分611。
抖动确定部分611将来自传输时间测量部分114的图像传输所需时间(传输时间)与一门限值进行比较，并确定传输时间是否与在假设抖动发生的情况下图像传输所需的时间相应。当抖动确定部分611确定出从传输时间测量部分114得到的传输时间比门限值短，并且传输时间是在没有抖动发生时的正常值，则抖动确定部分611转发该传输时间给传输时间预测部分115。当抖动确定部分611确定出从传输时间测量部分114得到的传输时间比门限值长，并且在抖动发生的时候在图像传输涉及传输时间时，抖动确定部分611不向传输时间预测部分115传送传输时间。
在第一实施例中，在传输时间预测部分115需要N帧的传输时间来预测传输时间的情况下，传输时间预测部分115从传输时间测量部分114读出过去的N帧的传输时间。但是，根据本实施例的传输时间预测部分115从抖动没有发生的剩余帧的传输时间预测图像传输所需的时间，这是因为抖动发生的帧的传输时间没有从抖动确定部分611传输。
着重于抖动确定部分的操作的根据本实施例的图像传输方法将在下文参照附图7的流程图进行描述。
在步骤S701中，抖动确定部分611接收传输时间测量部分114测量的传输时间作为取样值。在步骤S702中，抖动确定部分611将每一传输时间与一门限值进行比较。在传输时间短于门限值的情况下，处理前进到步骤S703。在传输时间长于门限值的情况下，处理前进到步骤S704。在步骤S702中使用的门限值可被客户机提前定义，或者由图像传输设备110根据例如“当抖动没有发生的时候为传输时间测量部分114测量的传输时间的两倍”这样的标准来确定。
在步骤S703中，抖动确定部分611假设该传输时间用于在传输时间预测部分115中计算预测传输时间，并将该传输时间传输给传输时间预测部分115，以终止处理。在步骤S704中，假设该传输时间是被突然抖动影响的数据，则抖动确定部分611不向传输时间预测部分115传送传输时间，以终止处理。
根据本实施例的传输时间预测部分115仅根据从抖动确定部分611接收的传输时间来预测图像传输所需的时间。例如，如下式(5)所示，传输时间预测部分115将从抖动确定部分611接收的总传输时间Tn除以传输次数N，并假定其结果作为传输单个帧所需的预测传输时间Test。计算公式(5)所示预测传输时间的方法仅是示例，预测传输时间可以通过其他计算方法得到。Test=Σn=1NTn/N---(5)]]>接下来，与第一实施例相同，操作定时控制器116利用公式(2)根据预测传输时间Test和预测部分115计算的图像转换传输时间所需的时间Ttrans获得直到图像转换开始的等待时间Twait。获得了等待时间Twait的操作定时控制器116控制图像转换器112开始图像转换的定时，从而可在图像传输开始之后经过了等待时间Twait时开始图像转换。这样，图像转换器112在图像传输开始以后经过了等待时间Twait时开始图像转换。
下面是示例。假设传输时间预测部分115根据过去10帧没有抖动发生的正常图像传输时间计算预测传输时间，并且假设传输时间T1到T10为T1＝90[ms]、T2＝100[ms]、T3＝90[ms]、T4＝100[ms]、T5＝110[ms]、T6＝100[ms]、T7＝750[ms]、T8＝110[ms]、T9＝100[ms]、T10＝110[ms]。
假设抖动确定部分611用来确定是否有突然抖动发生的门限值为400[ms]，则抖动确定部分611就确定T7为抖动发生时测量的数据。抖动确定部分611将除了T7(＝750[ms])以外的九个传输时间传输给传输时间预测部分115。在这种情况下，传输时间预测部分115计算的预测传输时间Test就可以通过下式(6)得到Test＝(90+100+90+100+110+100+110+100+110)/9＝101[ms] (6)这里公式(6)的计算结果缩减到第一位小数的位置。
假设转换所需时间Ttrans＝50[ms]，直到转换开始的等待时间可以通过下式(7)得到Twait＝101-50＝51[ms](7)这样，在先前帧的图像传输结束后经历51[ms]时，图像转换器112开始候选帧的图像转换。
如前面所述，根据本实施例的图像传输设备610以及图像传输方法，在网络中已经发生抖动的情况下，抖动确定部分611根据图像已传输的传输时间长度确定抖动是否发生。传输时间预测部分115不考虑有抖动发生的传输时间而计算预测传输时间，从而可以预测更精确的图象传输的所需时间。
这样，即使在抖动发生的情况下，也可设定图像转换的最佳开始定时，从而使从图像开始转换到图像传输结束之间的所需时间最小。结果是可使从接收到作为客户机的图像接收设备120发出的图象传输请求到图像传输结束之间的时间最小。这样，使在图像接收设备120中回放图像的延时最小。就是说，最新的图像可以从图像传输设备610实时地传输，从而图像接收设备120也可以回放最新的图像。
还可减少网络102的占用时间，从而提高网络102的使用效率，并提高图像接收设备120接收的图像的帧速率。
如图9所示，根据本实施例的图像传输设备610也可以用图像传输设备610’来代替，它包括用于记录转换图像数据的记录介质201，例如硬盘和录像带；存储图像读出部分211，用于从记录介质201读出图像；图像传输器113；传输时间测量部分114；抖动确定部分611；传输时间预测部分115；以及操作定时控制器116，它控制从存储图像读出部分211读出图像数据的时间。
尽管根据第一实施例的图像传输设备110根据传输时间测量部分114的测量结果预测图像传输所需的时间，但在网络可用带宽发生变化以前根据测量结果计算预测传输时间会产生预测传输时间与实际传输时间之间的差。根据第三实施例的图像传输设备根据网络带宽的这一变化预测更精确的图像传输所需时间。图10示出的是包括根据这一实施例的图像传输设备的网络图像传输系统的框图。在图10中与图1(第一实施例)相似的部分采用相同的标号，并且相应部分的描述将被省略。
在图10中，根据本实施例的网络图像传输系统包括摄像机101、根据本发明的这一实施例的图像传输设备1010、网络102、以及图像接收设备120。本实施例中的图像传输设备1010包含对应于本发明的带宽变化确定装置的带宽变化确定部分1011，用于根据传输时间的测量结果确定网络带宽的变化，它位于第一实施例的图像传输设备110的元件的顶部。根据本实施例的传输时间测量部分114将图像所需时间的测量结果传输到带宽变化确定部分1011。
带宽变化确定部分1011参考传输时间测量部分114测量的传输时间中在网络带宽变化以前的传输时间，并且确定网络带宽是否发生变化。当网络带宽确定部分1011确定在网络带宽中发生了变化时，这一结果通知给传输时间预测部分115，它在网络带宽发生变化以后根据该传输时间计算预测传输时间。
带宽变化确定部分1011有用于确定网络中是否发生带宽变化的标准。带宽变化确定部分1011在标准满足预定运行次数时确定网络带宽发生变化。满足标准的次数可以用确定值M来表示。当确定值M低于或者等于门限值预定的运行次数时，带宽变化确定部分1011确定网络带宽已经发生了变化。该标准以及确定值M的门限值可以由用户定义，也可以根据例如“当前帧的传输时间花费两倍于先前帧的传输时间(标准)，以及五次运行(门限)”这样的标准由图像传输设备110来决定。带宽变化确定部分1011将网络带宽发生变化的确定结果通知给传输时间预测部分115。
着重于带宽变化确定部分1011的操作的基于本实施例的图像传输方法将在下文参照附图11的流程图进行描述。
在步骤S1101中，带宽变化确定部分1011接收保存在传输时间测量部分114中的传输时间，作为抽样值。在步骤S1102中，带宽变化确定部分1011比较接收的传输时间以及过去的传输时间，并且在比较结果不满足标准的情况下，操作前进到步骤S1106。在标准满足的情况下，操作前进到步骤S1103。在步骤S1106，带宽变化确定部分1011确定在网络带宽中没有发生变化，并且假设确定值M为0，结束处理过程。
在步骤S1103中，带宽变化确定部分1011将确定值M加1。在步骤S1104，带宽变化确定部分1011比较确定值M与门限值。当确定值M小于或者等于门限值时，带宽变化确定部分1011终止处理过程。当确定值M大于门限值时，操作前进到步骤S1105。在步骤S1105中，根据网络中带宽已经发生变化的确定，传输时间预测部分115减少用于预测传输时间的传输时间测量部分114测量的传输次数作为取样值。传输给传输时间预测部分115的传输时间是在网络带宽变化以后的数值。这样，传输时间预测部分115根据带宽变化确定部分1011的确定结果确定传输次数作为取样数目，并且预测传输图像的所需时间。
根据本实施例的传输时间预测部分115仅根据带宽变化确定部分1011规定的传输时间预测图像传输所需的时间。例如，如下面的等式(8)所示，传输时间预测部分115将带宽变化确定部分1011指定的传输时间的总数Tn除以传输次数N，并假设结果是传输一帧图象所需的预测传输时间Test。如式(8)所示的计算预测传输时间的方法仅是举例，预测传输时间还可以通过其他方法计算得到Test=Σn=1NTn/N---(8)]]>接下来，与第一实施例相同，操作定时控制器116使用公式(2)根据预测传输时间Test以及在传输时间预测部分115计算的图像转换所需的时间Ttran，获得直到图像转换开始的等待时间Twait。获得了等待时间Twait的操作定时控制器116控制图像转换器112中图像转换的开始定时，使得图像转换可以在图像开始传输以后经过了等待时间Twait时开始。这样，图像转换器112可以在图像传输以后经过了等待时间Twait时进行。
下面是举例。假设从T1到T10的传输时间为T1＝90[ms]、T2＝100[ms]、T3＝90[ms]、T4＝100[ms]、T5＝110[ms]、T6＝100[ms]、T7＝320[ms]、T8＝350[ms]、T9＝360[ms]、T10＝340[ms]。并且假设在该实施例中带宽变化确定部分1011标准，即“当传输时间等于或大于先前帧的传输时间的两倍，或者，等于或小于先前帧的传输时间的一半时，网络带宽发生变化”。
当传输时间T6与T7相比较时，传输时间T7大于传输时间T7的两倍。传输时间T6用作网络带宽变化的确定标准数据，并且确定值M加1。然后，带宽变化确定部分1011选择传输时间T6作为用于在图11所示的处理步骤1003中的传输时间比较的控制值。当在确定结果等于或者大于3的情况下确定发生变化的时候，对于候选帧的传输时间Test，确定值大于3，从而带宽变化确定部分1011确定网络带宽发生了变化。
在计算候选帧的传输时间Test时，传输时间预测部分115在传输时间T7以前并不使用传输时间T1到T6。这样传输时间预测部分115计算的预测传输时间Test可以通过下式(9)得到Test＝(320+350+360+340)/4＝343[ms] (9)假设转换所需的时间Ttrans＝50[ms]，直到转换开始的等待时间可以通过下式(10)得到Twait＝343-50＝293[ms] (10)这样，图像转换器112在先前帧的图像传输结束以后经过了93[ms]时开始候选帧的图像传输。
如上所述，当网络带宽发生变化的时候，根据本实施例的图像传输设备1010以及图像传输方法，带宽变化确定部分1011根据传输时间测量部分114测量的传输时间确定网络带宽已经发生变化。通过图像传输开始传输到网络102到传输结束的所需时间的测量结果，传输时间预测部分115仅参考网络带宽变化后的传输时间。这样，传输时间预测部分115可以设定图像转换的合适的开始定时，甚至在网络带宽发生变化的情况下也是如此，从而使从图像开始转换到图像传输结束的所需时间最小。结果是，可使从接收到作为客户机的图像接收设备120的图象传输请求到图像传输结束的时间最小。以这种方式，在图像接收设备120中的图像回放延时将会最小。就是说，最新转换的图像可以被图像传输设备1010实时地传输，从而图像接收设备120能够回放最新的图像。
这样，降低网络102的利用时间，从而提高网络的使用效率，以及提高图像接收设备120接收的图像的帧速率都是可能的。
如图13所示，根据本实施例的图像传输设备1010可以被图像传输设备1010’所取代，它包括用于记录转换的图像数据的记录介质201，例如硬盘以及录像带；存储图像读出部分211，用于从图像记录介质201读出图像；图像传输器113；传输时间测量部分114；带宽变化确定部分1011；传输时间预测部分115；操作定时控制器116，这里操作定时控制器116控制从存储图像读出部分211读出图像数据的定时。
尽管根据本发明第一实施例的图像传输设备110通过传输时间测量部分114的测量结果预测图像传输所需的时间，以控制图像转换的开始定时，但根据本发明第四实施例的图像传输设备不仅考虑图像传输所需的定时，还要考虑图像转换所需的时间，来控制图像转换的开始时间。在图14中示出的是包含基于这一实施例的图像传输设备的网络图像传输系统的方框图。在图14中与图1(第一实施例)中相同的部分采用同样的标号，相应部分的描述也将省略。
在图14中，根据本实施例的网络图像传输系统包括摄像机101、根据本实施例的图像传输设备1410、网络102以及图像接收设备120。本实施例中的图像传输设备1410包括转换时间测量部分1411，对应于本发明中的转换时间测量装置；CPU负载测量部分1412，对应于CPU负载测量装置；以及转换时间预测部分1413，对应于转换时间预测装置，其在第一实施例中的图像传输设备110的元件的上面。
转换时间测量部分1411测量图像转换器112执行图像转换的所需时间，并保存测量结果。CPU负载测量部分1412测量图像传输设备1410中未示出的中央处理器(CPU)的负载。这一负载以后被称为CPU使用率。CPU执行有关图像传输以及图像转换的处理，或者控制图像传输设备1410的各部件。转换时间预测部分1413根据转换时间测量部分1411测量的图像转换所需的时间以及CPU负载测量部分1412测量的CPU使用率，预测图像转换器112转换图像所需的时间。
在第一实施例中，传输时间预测部分115根据传输时间测量部分114测量的过去帧的传输时间预测图像传输所需的时间，但本实施例中，当图像转换器112中的图像转换所需时间由于CPU负载的变化而有所波动时，图像转换的开始定时将被控制，这样可使从图像开始转换到图像传输结束的所需时间最小。为了使这种控制有效，需要提前知道图像传输所需的时间以及图像转换所需的时间。
根据本实施例的图像传输装置1410执行的图像传输方法将在下文描述。首先，图像抽取部分111以一帧为单位从摄像机101抽取图像。接下来，图像转换器112采用操作定时控制器116确定的定时进行图像转换。图像传输器113将转换的图像传输给网络102，以传输给预定的图像接收设备120。传输时间测量部分114测量图像传输器113进行图像传输所需的时间，并保存结果。转换时间测量部分1411测量图像转换器112进行图像转换所需的时间，并保存其测量结果。
为了使操作定时控制器116控制图像转换器112中进行图像转换的开始定时，传输时间预测部分115必须首先预测传输时间。然后，转换时间预测部分1413必须预测转换时间。这样，传输时间预测部分115根据第一实施例中的方法计算图像传输所需的预测时间(预测传输时间)。然后转换时间预测部分1413根据下面描述的方法计算图像转换所需的预测时间(预测转换时间)。在这样的计算以后，操作定时控制器116根据下述的方法利用预测传输时间以及预测转换时间确定将被再次转换的图像的图像转换开始时间。
下文将参照附图15的流程图详细描述由转换时间预测部分1413用来预测转换时间的方法。
在步骤S1501中，转换时间预测部分1413从转换时间测量部分1411接收测量的转换时间，作为取样值。在步骤S1502，转换时间预测部分1413检查是否用于预测转换时间的所有转换时间都已被接收，在没有都接收的情况下，操作回到步骤S1501。在预测转换时间所需的所有转换时间都已被接收的情况下，操作前进到步骤S1503。
在步骤S1503，转换时间预测部分1413从CPU负载测量部分1412接收对应于每一转换时间的CPU使用率数据。接下来，在步骤S1504中，转换时间预测部分根据转换时间以及对应于每一转换时间的CPU使用率来计算预测转换时间。例如，如下式(11)所示，通过先前转换的N帧S1到Sn的转换时间除以各个相应的CPU使用率Cn得到的值被求和，并且所产生的值除以转换次数N。该值乘以在预测时的CPU使用率Cest，然后，其结果作为转换一帧所需的预测转换时间Sest。在公式(11)中，假设CPU的使用率Cn与转换所需时间Sn成正比。Sest=((Σn=1NSn/Cn))/N×Cest---(11)]]>在步骤S1505中，转换时间预测部分1413传输计算的预测转换时间Sest给操作定时控制器116，以结束关于预测转换时间的处理过程。在公式(11)中所示的计算预测转换时间的方法只是示例，预测转换时间还可以通过其他方法获得。
接下来，操作定时控制器116根据预测转换时间Sest以及传输时间预测部分115计算的预测传输时间Test确定图像转换器112开始进行图像转换的定时。这里假设从图像开始传输到图像开始转换的等待时间为Twait，等待时间Twait通过下式(12)获得Twait＝Test-Sest(12)操作定时控制器116根据这样获得的等待时间控制图像转换器112开始进行图像转换的定时，从而可以使图像转换在图像传输开始以后经过了等待时间Twait时开始。相应的，图像转换器112在图像开始传输以后经过了等待时间Twait时开始进行图像转换。
下面是示例。假设转换时间预测部分1413根据过去10帧的转换时间计算的预测转换时间，过去10帧的转换时间S1到S10是S1＝40[％]、S2＝30[％]、S3＝30[％]、S4＝30[％]、S5＝60[％]、S6＝70[％]、S7＝80[％]、S8＝70[％]、S9＝40[％]、S10＝40[％]，假设CPU的使用率C1到C10分别是C1＝10[％]、C2＝10[％]、C3＝10[％]、C4＝10[％]、C5＝20[％]、C6＝20[％]、C7＝20[％]、C8＝20[％]、C9＝10[％]、C10＝10[％]。在这种情况下，预测转换时间Sest可利用下式(13)获得Sest＝(40/10+30/10+30/10+30/10+60/20+70/20+80/20+70/20+40/10+40/10)/10×10＝35[ms](13)这里假设图像传输所需的时间为Test＝103[ms]，与第一实施例相同，直到图像转换开始所需的等待时间Twait可通过下式(14)获得Twait＝103-35＝68[ms] (14)这样，图像转换器112在先前帧的图像传输结束以后经历68[ms]时开始候选帧的图像传输。
如前面所述，在根据本实施例的图像传输设备1410以及图像传输方法中，根据图像传输所需的时间以及图像转换所需的时间，图像转换的开始定时被控制，从而使图像传输可以在图像转换结束的同时开始。这样，即使在图像转换器112中进行图像转换所需的时间因为CPU负载的变化而产生波动的时候，也可使从图像开始转换到图像传输结束所需的时间最小。其结果是，可使从接收到作为客户机的图像接收装置发出的图象传输请求到图像传输结束的时间最小。以这种方式，图像接收设备120的回放图像延时就会减少。就是说，图像传输设备1410可以实时地传输最新的图像，从而使图像接收设备120能够回放最新的图像。
这样，减少网络的使用时间，从而提高网络的使用效率，以及提高图像接收设备120接收的图像的帧速率都是可能的。
如图17所示，根据本实施例的图像传输设备1410可以被图像传输设备1410’所取代，它包括用于记录转换的图像数据的记录介质201，例如硬盘以及录像带；存储图像读出部分211，用于从记录介质201读出图像；图像传输器113；传输时间测量部分114；传输时间预测部分115；操作定时控制器116；转换时间测量部分1412；以及转换时间预测部分1413，这里，操作定时控制器116控制从存储图像读出部分211读出图像数据的时间。
尽管根据第四实施例的图像传输设备1410通过传输时间测量部分114测量的结果预测图像传输所需的时间，并通过转换时间测量部分1411的测量结果预测图像转换所需的时间，以控制图像转换的开始定时，但在根据该第五实施例的图像传输设备中，图像转换的工作量被控制，从而使图像转换可以与图像传输同步地开始，图像转换与图像传输同步地结束。在图18中示出的是包含基于这一实施例的图像传输设备的网络图像传输系统的方框图。在图18中与图14(第四实施例)中相同的部分采用同样的标号，相应部分的描述也将省略。
在图18中，根据本实施例的网络图像传输系统包括摄像机101、根据本实施例的图像传输设备1810、网络102以及图像接收设备120。本实施例中的图像传输设备1810包括转换计算量变化部分1811，对应于本发明中的转换计算量变化装置，代替了第四实施例中的图像传输设备中的CPU负载测量部分。图像传输设备1810还包含CPU负载测量部分1412。
根据传输时间预测部分115计算的预测传输时间以及转换时间测量部分1411计算的预测转换时间，转换计算量变化部分1811指示图像转换器112以一定的量改变图像转换所需的计算量。通过至少一个来自转换计算量变化部分1811的单个指令，图像转换所需的时间1901变得与图像传输所需的时间1902相等。
当如图19所示的图像转换(1902)与图2所示的图像转换(302)相比较的时候，就可以看出本实施例中图19所示的图像转换(1902)要使用更长的时间，并且因为图像转换所需的时间较长，所以图像转换(1902)就可以传输高质量的图像给图像传输设备113。例如，在图像抽取部分111抽取的图像在图像转换器112中进行MPEG编码的情况下，计算量可以通过增加运动矢量的量而增加，从而产生高质量的P帧。
改变转换计算量变化部分1811进行图像转换的计算量的方法将在下文参照附图20的流程图详细描述。
首先，在步骤S2001，转换计算量变化装置1811接收来自传输时间预测部分115的预测传输时间。接下来，在步骤S2002，转换计算量变化装置1811接收来自转换时间预测部分1413的预测转换时间。
在步骤S2003，转换计算量变化装置1811比较预测传输时间与预测转换时间。在预测传输时间比预测转换时间长的情况下，操作前进到步骤S2004。在预测传输时间比预测转换时间短的情况下，操作前进到步骤S2005。在步骤S2004中，转换计算量变化装置1811指示图像转换器112增加图像转换所需的计算量，以终止处理。在步骤S2005，转换计算量变化装置1811指示图像转换器112减少图像转换所需的计算量，以终止处理。
例如，图21是示意图，表示在图像压缩的计算量变化前后的预测时间。假设预测传输时间2101是150[ms]，在图像压缩的计算量变化前的预测转换时间是100[ms]。在这种情况下，转换计算量变化装置1811指示图像转换器112以特定量改变图像转换所需的计算量，从而产生高质量的压缩图像。作为该指令的结果，在预测转换时间不等于预测传输时间2101(150[ms])的情况下，转换计算量变化装置1811指示图像转换器112在下一次图像转换和图像传输时再次改变图像转换所需的计算量。通过重复该指令，在图像压缩的计算量发生改变以后假定的预测转换时间变为150[ms]。
如前所述，在根据本实施例的图像传输设备1810以及图像传输方法中，图像转换的工作量被控制，从而图像转换可以与图像传输同步地开始，图像转换可以与图像传输同步地结束。尤其是，在图像转换的工作量增加的情况下，图像转换要花费更长的时间，这样能产生高质量的压缩图像。结果是，可以在保持帧速率的情况下，传输图像质量与图像传输时间相应的压缩图像。
这样，可以减少网络102的使用时间，从而提高网络102的使用效率，以及提高图像接收设备120接收的图像的帧速率。
尽管在这一实施例中通过转换计算量变化部分1810改变图像压缩计算量的指令是“改变一特定量”，并且改变计算量的指令被重复，直到图像传输时间2101与改变计算量之后的图像转换时间2103相等为止，但另一种配置也是可以的，它在转换计算量变化部分1811中提供图像转换时间与图像转换所需的计算量之间的对应表，转换计算量变化部分1811参考该表，并指示图像转换器112改变从图像传输所需的时间与图像转换所需的时间之间的差获得的计算量。
可以改变图像转换系统，例如从MPEG1到MPEG4，这取决于根据传输时间预测部分115计算的预测传输时间与转换时间预测部分计算的预测转换时间。在这种情况下，如图22所示，提供对应于本发明的转换系统变化装置的转换系统变化部分2211来代替转换计算量变化部分1811，用于指示图像转换器112改变图像转换系统，以及提供对应于转换系统通知装置的转换系统通知部分2212，用于将图像转换系统中的变化通知给图像接收设备。根据这种结构的图像传输装置1810’，可改变图像转换所需的时间，这与本实施例中图象传输装置1810是相同的。
尽管根据第一实施例的图像传输装置110根据传输时间测量部分114的测量结果预测图像传输所需的时间，以控制图像转换的开始定时，但在第六实施例的图像传输装置中，图像转换的开始定时通过调查图像被读出的位置以及图像传输所需的时间，进而预测图像传输所需的时间而受到控制。包含根据本实施例的图像传输装置的网络图像传输系统如图23所示。在图23中与图1(第一实施例)相同的部分采用同样的标号，相应部分的描述将被省略。
在图23中，根据本实施例的网络图像传输系统包含有录像带2301，其上记录着经过图像转换的图像数据；根据本实施例的图像传输设备2310；网络102；以及图像接收设备120。本实施例的图像传输设备2310包含有记录介质201，例如硬盘以及录像带；对应于本发明的图像读出装置的图像读出部分2314；图像传输器113；传输时间测量部分114；传输时间预测部分115；操作控制时间器116；对应于图像读出位置调查装置的图像读出位置调查部分2311；对应于读出时间测量装置的读出时间测量部分2312；以及对应于读出时间预测装置的读出时间预测部分2313。
图像读出部分2314从录像带2301或者记录介质201读出图像数据。图像读出位置调查装置2311调查存储图像读出部分2314读出的图像数据的存储位置(例如摄像机，硬盘，或录像带)。读出时间测量部分2312测量读出图像所需的时间，并记录测量结果。读出时间预测部分2313使用存储在读出时间测量部分2312中的预定数目的测量结果预测读出图像的所需时间。图像传输设备2310的其他部分与第一实施例中的图像传输装置110的相应部分相同。
尽管在第一实施例中，传输时间预测部分115根据传输时间测量部分114测量的过去10帧的传输时间预测图像传输所需的时间，但在这一实施例中，在图像读出部分2314例如从录像带2301到记录介质201读出图像数据的位置发生变化时，图象开始读出的时间被控制，从而使从图像开始读出到图像传输结束的所需时间最小，为了使这一控制有效，必须提前知道图像传输所需的时间与图像转换所需的时间时必须的。
本实施例的图像传输设备使用的图像传输方法将在下文中详细描述。首先，图像读出部分2314从录像带2301读出经图像转换的图像数据。在这一操作中，读出时间测量部分2312测量图像读出部分2314中读出图像所需的时间，并保存测量结果。在这种事件发生的情况下，图像读出位置调查部分2311将图像读出部分2314读出图像数据的位置已经变化的消息通知读出时间预测部分2313。读出时间预测部分2313根据下述的方法计算读出图像所需的预测传输时间(预测传输时间)。
图像传输器113把图像读出部分2314读出的图像数据传输给网络102，并传输到预定的图像接收设备120。在这一操作中，传输时间测量部分114测量图像传输所需的时间，并保存测量结果。传输时间预测部分115根据本发明的第一实施例中的方法计算图像传输所需的预测时间(预测传输时间)。在这样的计算以后，操作定时控制器116根据下文描述的方法利用预测读出时间以及预测传输时间确定要读出的图像的图像读出开始定时。
读出时间预测部分2313使用的预测读出时间的方法将在下文参照附图24详细描述。
在步骤S2401中，读出时间预测部分2313接收读出时间测量部分2312测量的读出时间以作为取样值。在步骤S2402中，读出时间预测部分2313检查是否所有预测读出时间所需的预定数目的预测时间都被接收，在没有都被接收的情况下，操作回到步骤S2401。在所有预测读出时间所需的读出时间都被接收的情况下，操作前进到步骤S2403。
在步骤S2403，图像读出位置调查部分2311调查图像数据的存储位置。在步骤S2404，图像读出位置调查部分2311调查是否图像读出部分2314读出的图像数据的读出位置已发生变化。在位置没有发生变化的情况下，操作前进到步骤S2409。在步骤S2409中，图像读出位置调查部分2311根据读出时间计算图像读出所需的时间(预测时间)，然后步骤前进到S2410。计算预测读出时间的方法如下式(15)所示，这样就获得被读出的过去帧的读出时间U1到UN的平均值，该值作为读出一帧图象所需的预测读出时间Uest。式(15)示出的计算预测读出时间的方法仅是示例，预测读出时间也可以通过其他方法获得。Uest=Σn=1NUn/N]]>在步骤S2405，图像读出位置调查部分2311通知读出时间预测部分2313数据读出的位置已经发生变化。在步骤S2406，读出时间测量部分2312测量的图像读出所需时间的测量结果被接收，并作为取样值。
在步骤S2407，检查是否所有预测读出时间所需的预定数目的读出时间都已被接收，在没有接收的情况下，操作回到步骤S2406。在所有预测读出时间所需的读出时间都接收的情况下，操作前进到步骤S2408。
在步骤S2408，与步骤S2409相同，取样值用于计算读出图像所需的预测时间(预测读出时间)。在步骤S2410，这样计算的预测读出时间Uest传输给操作定时控制器116，并且有关预测读出时间的过程结束。
接下来，操作定时控制器116根据读出时间预测部分2313计算出来的预测读出时间Uest以及传输时间预测部分115计算的预测传输时间Test，确定图像读出部分2314读出图像的开始定时。这里，假设从图像开始传输到图像开始读出的等待时间为Twait，等待时间Twait可通过下式(16)得到Twait＝Test-Uest(16)操作定时控制器116根据这样得到的等待时间Twait控制图像读出部分2314读出图像的开始定时，从而使得在图像开始传输以后经过了等待时间Twait时开始图像读出。相应的，图像读出部分2314在图像传输开始以后经过了等待时间Twait时开始读出图像。
下面是例子。假设读出时间预测部分2313根据过去10帧的图像读出时间计算预测读出时间，并假设读出时间从U1到U10分别是U1＝30[ms]、U2＝20[ms]、U3＝30[ms]、U4＝30[ms]、U5＝80[ms]、U6＝70[ms]、U7＝80[ms]、U8＝70[ms]、U9＝90[ms]、U10＝80[ms]。假设图像数据传输给图像读出部分2314的读出位置已经从摄像机2301变化到记录介质201。在这种情况下，读出时间预测部分2313计算的预测读出时间Uest可以利用公式(17)计算Uest＝(80+70+80+70+90+80)/6＝78[ms](17)这里公式(17)的计算结果取到第一位小数点。
这里，假设预测传输时间Test＝103[ms]，到图像读出开始的等待时间Twait可用下式(18)计算Twait＝103-78＝25[ms](18)这样，在图像开始传输以后经历25[ms]时，图像读出部分2314开始图像转换。
如上文所述，在依据本实施例的图像传输设备2310以及图像传输方法中，图像传输的开始时间被控制，从而使图像传输与图像读出结束同步地开始，甚至在图像读出的所需时间已经变化的时候也是如此，这是因为提供图像数据给图像读出部分2314的读出位置。
这样，可以减少网络102的使用时间，提高网络102的使用效率，以及提高帧速率(每秒传输的帧数目)。结果是，可使从接收到作为客户机的图像接收设备120的图像传输请求到图像传输完成的时间最小。这样，可使图像接收设备中的回放延时最小。也就是说，图像传输设备2310能够实时地传输最新的图像，图像接收设备120可以回放最新的图像。
尽管根据第一实施例的图像传输设备110根据传输时间测量部分114的测量结果预测图像传输所需的时间，以控制图像转换的开始定时，但在第七实施例的图像传输设备中，图象转换与图像接收的开始定时或者图像传输与图像转换的开始定时通过预测图像接收与图像传输的所需时间而被控制，当图像抽取部分111通过网络接收图像时，图像传输器113使用与由图像抽取部分111使用的网络相同的网络，并且图像接收、图像转换、以及图像传输操作并行地进行。
在图26中示出的包含有根据本实施例的图像传输设备的网络图像传输系统。在图26中，与图1(第一实施例)相同的部分使用相同的标号，相应的描述将被省去。在图26中，根据本实施例的网络图像传输系统包括网络102、至少一个图像提供设备2601、根据本实施例的图像传输设备2610、以及图像接收设备。图像提供设备2601通过网络102将图像提供给图像传输设备。
根据本实施例的图像提供设备2610包含有操作处理控制器2613，其对应于本发明中的处理操作控制装置，取代了操作定时控制器116。图像提供设备2610还包括接收时间测量部分2611，对应于接收时间测量装置；以及接收时间预测部分2612，对应于接收时间预测装置。接收时间测量部分2611测量图像抽取部分111接收图像所需的时间，并保存测量结果。接收时间预测部分2612使用保存在接收时间测量部分2611中的测量结果中的预定数目的测量结果来预测接收图像所需的时间。
操作处理控制器2613一直进行图像传输或者图像接收，并根据操作处理控制进行非操作处理和图像转换处理的开始定时。图像传输设备2610的其他部分与第一实施例中的图像传输设备110的相应部分相同。
根据本实施例的图像传输设备2610所使用的图像传输方法将在下文中描述。首先，图像抽取部分111通过网络102从图像提供设备2601接收图像。在这一过程中，接收时间测量部分2611测量图像抽取部分111从图像提供设备2601接收图像所需的时间。接收时间预测部分2612根据第一实施例中的方法计算图像接收所需的预测时间(预测接收时间)。
图像转换器112根据操作处理控制器2613确定的定时执行图像转换。图像传输器113传输转换的图像给网络102，以传输给预定的图像接收设备120。在这一过程中，传输时间测量部分114测量图像传输所需的时间，并保存测量结果。传输时间预测部分115根据第一实施例中的方法计算图像传输所需的预测时间(预测传输时间)。
在这样的计算以后，操作定时控制器116根据下文将描述的方法，利用预测接收时间以及预测传输时间，确定图像转换以及图像接收或者图像传输以及图像转换的开始定时。
着重于操作处理控制器2613的操作的本实施例的图像传输设备2610所使用的图像传输方法将参照附图27的流程图进行描述。
在步骤S2701，操作处理控制器2613从接收时间预测部分2612接收预测接收时间。在步骤S2702，操作处理控制器2613从传输时间预测部分115接收预测传输时间。在步骤S2703，预测接收时间与预测传输时间相比较。在预测传输时间比预测接收时间长的情况下，操作前进到步骤S2704。在预测传输时间比预测接收时间短的情况下，操作前进到步骤S2706。
在图像传输设备110从图像提供设备2601接收图像并传输在图像转换器112中经过图像转换的图像的情况下，图像抽取部分111接收的数据量比图像传输器113传输的数据量大。这样，接收时间一般要比传输时间长。在图像传输设备110从多个图像提供设备2601接收图像并且以一帧为基础传输在图像转换器111中合成的图像的情况下，图像传输器113传输的数据量要比图像抽取部分111接收的数据量大，因此，接收时间一般要比传输时间长。
在步骤S2704(在预测传输时间比预测接收时间长的情况下)，图像转换的开始定时被确定。图像转换的开始定时是根据第一实施例中示出的公式(2)确定的(式中，Ttrans是图像转换所需的时间，Test是预测传输时间，Twait是从图像开始传输到图像开始转换的等待时间)。这样，图像在图像传输开始以后经过了等待时间Twait时开始转换。在当经过等待时间Twait以后图像接收没有完成的情况下，操作进行等待，直到图像接收完成为止。
在步骤S2705，确定图像接收的开始定时。图像接收的开始定时是根据下式(19)进行的，假设预测接收时间为Vest。操作处理控制器2613通知图像提供设备2601等待时间Twait的值，以结束处理过程，从而使图像接收在图像开始传输以后经过了等待时间Twait时开始。在等待时间Twait为负值的情况下，设定Vwait＝0，从而使图像接收与图像传输的开始同步地开始。
Vwait＝Test-Ttrans-Vest(19)在图28中示出的是在预测传输时间比预测接收时间长时推算的图像传输、图像转换、以及图像接收的操作时间的示意图。在图28中，标号2801表示图象传输的操作时间(传输时间)，标号2802表示图像转换的操作时间(转换时间)，标号2803表示图像接收的操作时间(接收时间)。
在步骤S2706(预测传输时间比预测接收时间短)，操作处理控制器2613将预测传输时间Test与图像转换所需的时间Ttrans之和与预测接收时间Vest比较。在Vest比Test和Ttrans之和长的情况下，操作前进到步骤S2707。在Vest等于或者比Test和Ttrans之和小的情况下，操作前进到步骤S2710。
在步骤S2707(Vest比Test和Ttrans的和长的情况下)，操作处理控制器2613指示图像提供设备2601连续地传输图像从而保持有效的图像接收。在步骤S2708，操作处理控制器2613指示图像转换器112在图像接收完成以后立刻开始图像转换。接下来，在步骤S2709中，操作处理控制器2613指示图像传输器113在图像转换器112完成图像转换以后立即开始图像传输。
在图29中示出的是在如上所述预测传输时间比预测接收时间短并且Vest大于Test和Ttrans的和时推算的图像传输、图像转换、以及图像接收的操作时间的示意图。在图29中，参考符号2901表示图象传输的操作时间(传输时间)，参考符号2902表示图像转换的操作时间(转换时间)，参考符号2903表示图像接收的操作时间(接收时间)。
在步骤S2710(在Vest等于或者比Test和Ttrans的和小的情况下)，图像接收的开始定时被确定。图像接收的开始定时是通过下式(20)确定的。操作处理控制器2613通知图像提供设备2601等待时间Twait的值，从而使图像接收在图像开始转换以后经过了等待时间Twait时开始。
Vwait＝Test+Ttrans-Vest(20)在步骤S2711，操作处理控制器2613指示图像转换器112在完成图像接收以后立刻开始图像转换。接下来，在步骤S2712，操作处理控制器2613指示图像传输器113在图像转换器112完成图像转换以后立即开始图像传输，以终止处理。
在图30中示出的是在如上所述预测传输时间比预测接收时间短并且Vest等于或者比Test和Ttrans的和小的情况下推算的图像传输、图像转换、以及图像接收的操作时间示意图。在附图30中，标号3001表示图象传输的操作时间(传输时间)，标号3002表示图像转换的操作时间(转换时间)，标号3003表示图像接收的操作时间(接收时间)。
下面将举一实例。假设预测传输时间为Test＝120[ms]，图像转换的所需时间为Ttrans＝40[ms]，预测接收时间为Vest＝60[ms]。
在步骤S2703中，当预测传输时间Test与预测接收时间Vest相比较时，预测接收时间Vest长。这样，如图28所示，图象转换在图像开始传输以后经过了等待时间Twait时开始，从而使图像传输在图像转换完成以后立刻开始。在这种情况下，等待时间Twait利用第一实施例中的等式进行计算，也就是说，Twait＝120-40＝80[ms]。当经过了等待时间Twait时，如果图像接收没有完成，则操作进行等待，直到等到图像接收完成为止。
接下来，在步骤S2705，操作处理控制器2613通知图像提供设备2601等待时间Twait的值，以作为图像传输定时，从而使图像接收在图像传输开始以后经过了Vwait-120-40-60＝20[ms](参看公式(19))的等待时间时开始。
如前所述，根据本实施例的图像传输设备2610以及图像传输方法，图像转换及图像接收或者图像传输以及图像转换的开始定时被控制，这种控制是通过预测经过图像接收以及图像转换的并行操作进行图像接收以及图像转换所需的时间实现的，甚至在图像抽取部分111通过网络接收图像以及图像传输器113使用与图像抽取部分111使用的网络同样的网络的时候也是如此。
这样也可以减少网络的使用时间，从而提高网络的使用效率，提高帧速率。结果是，可使从接收到作为客户机的图像接收设备120的图像传输请求到图像传输完成的时间最小。以这种方式，可使图像接收设备120中的回放图像延时最小。也就是说，图像传输设备2610实时地传输最新的图像，图像接收设备120能够回放最新的图像。
尽管在根据本发明第一实施例的图像传输设备110中，传输时间预测部分115获得先前传输的N帧图象的平均传输时间，以计算预测传输时间，但在本发明的第八实施例的图像传输设备中，最新数据要分配加权值，因为它比过去的数据更可靠。根据这一实施例的图像传输设备的结构与实施例一中的图像传输设备110是相同的。图像传输方法也与第一实施例相同。其差别仅在于传输时间预测部分115在步骤S403中使用不同的计算方法来获得预测传输时间。
根据本实施例的传输时间预测部分115计算传输时间的方法将在下文描述。如下式(21)所示，根据本实施例的传输时间预测部分115把加权值W2指定给传输时间测量部分114接收的预定数目的N帧图象中的最近的m帧的传输时间(N＞m)，给其它帧的传输时间的加权值为W1，然后计算传输一帧图像所需的预测传输时间TestTest=W1Σn=1N-mTn+W2Σn=N-m+1NTnW1(N-m)+mW2---(21)]]>下面是示例。假设传输时间预测部分115根据过去10帧的传输时间计算预测传输时间，并假设图12所示过去10帧的传输时间T1-T10为T1-T6＝40[ms]，T7-T10＝100[ms]。并假定加权系数W1＝1，W2＝2，取样值为10(N＝1)，最新5帧的测量结果加权值为W2。在这种情况下，传输时间预测部分115计算的预测传输时间Test通过下式(22)计算Test＝{1×(40+40+40+40+40+40)+2×(40+100+100+100+100)}/(1×5+2×5)＝72[ms] (22)与第一实施例中的相同，这样计算的预测传输时间Test由操作定时控制器116使用。操作定时控制器116使用公式(2)并利用传输时间预测部分115计算的传输时间Test以及图像转换的所需时间Ttrans获得直到图像开始转换的等待时间Twait。已得到等待时间Twait的操作定时控制器116控制图像转换器112中图像转换的开始定时，从而使图像转换在图像开始传输以后经过了等待时间Twait时开始。这样，图像转换器112在开始图像传输以后经过了等待时间Twait时开始图像转换。
在前面的例子中，在传输时间预测部分115不是使用公式(22)，而是使用第一实施例中的公式(1)计算的情况下，预测传输时间Test是(40×6+100×4)/10＝64[ms]。考虑到通过本实施例的公式(22)获得的预测传输时间Test是72[ms]，在传输速度突然改变且没有回到初始值的情况下，这一实施例将给出比第一实施例更接近真实值的数值。
尽管在根据本发明第一实施例的图像传输设备110中，传输时间预测部分115获得先前传输的N帧的传输时间的平均值来计算预测传输时间，但在该第九实施例的图像传输设备中，使用标准偏差值检查测量值的偏差，并根据取样值的数目通过平均测量值来预测传输时间。本实施例的图像传输设备的结构与第一实施例中的图像传输设备110的结构相同，图像传输方法也与第一实施例中的相同。其差别仅在于在步骤S403中传输时间预测部分115使用了不同的计算方法获得预测传输时间。
传输时间预测部分115使用的计算传输时间的方法将在下文中描述。根据本实施例的传输时间预测部分115通过平均多个帧的传输时间来计算预测传输时间，同时调整用于计算预测传输时间的取样值的数目，这使用标准偏差(s)的公式，如公式(23)所示s=(T1-Tavg)2+(T2-Tavg)2+...+(Tn-Tavg)2n-1---(23)]]>其中，Tavg=Σn=1NTnN]]>本实施例的传输时间预测部分115随着取样数目n的减少重复标准偏差值的计算，直到标准偏差s低于特定值为止。在标准偏差值因为取样数目的减少而有所提高的情况下，取样值将重置为先前的值。取样以时间顺序去除。该特定值是通过将预定数目的取样值的平均值除以10或5而预先得到的。
下面是示例。假设过去10帧的传输时间T1到T10分别是T1＝10[ms]、T2＝30[ms]、T3＝50[ms]、T4＝70[ms]、T5＝75[ms]、T6＝80[ms]、T7＝85[ms]、T8＝90[ms]、T9＝95[ms]、T10＝110[ms]。并且假设标准偏差的门限值为(前面提到的特定值)在下面的例子中设定为15。
传输时间预测部分115根据过去10帧的(取样值n为10)传输时间获得标准偏差。n＝10时推算的传输时间的平均值Tavg10可以通过下式(24)计算Tavg10＝(10+30+50+70+75+80+85+90+95+100)/10＝68.5[ms](24)n＝10时推算的标准偏差值S10可以通过下式(25)计算S10=√{(58.5^2+38.5^2+18.5^2+1.5^2+6.5^2+11.5^2+16.5^2+21.5^2+26.5]]>^2+31.5^2)/9}＝29.54(25)当n＝10时推算的标准偏差值S10比标准偏差“15”的门限值大，所以这个值是不能够使用的。
当两个旧取样值被移去从而设定取样值n＝8时推算的标准偏差被获得。n＝10时推算的平均值Tavg8可以利用下式(26)得到Tavg8＝(50+70+75+80+85+90+95+100)/8＝80.625[ms] (26)n＝8的时候的标准偏差值s8可以通过下式(27)得到S8=√{(30.625^2+10.625^2+5.625^2+0.625^2+4.375^2+9.375^2+14.375^2]]>+19.375)/7}＝15.91(27)当n＝8的时候推算的标准偏差值S8比标准的偏差“15”的门限值大，所以这个值也是不能够使用的。
当另外移去取样值以设定取样值n＝7的时候推算的标准偏差值被获得。通过下式(28)计算n＝7时的平均值Tavg7Tavg7＝(70+75+80+85+90+95+100)/7＝85[ms] (28)n＝7的时候的标准偏差值s7可以通过下式(29)得到S7=√{(15^2+10^2+5^2+0^2+5^2+10^2+15^2)/6}=10.80---(29)]]>当n＝7的时候推算的标准偏差值S7比标准的偏差“15”的门限值小，所以平均值Tavg7(＝85[ms])可被用作预测传输时间Test。
与第一实施例一样，这样获得的预测传输时间由操作定时控制器116使用。操作定时控制器116利用公式(2)根据传输时间预测部分115计算的Test与图像转换所需的时间Ttrans获得直到图像开始转换的等待时间Twait。得到了等待时间Twait的操作定时控制器116控制图像转换器112中图像转换的开始定时，从而使得在图像开始传输以后经过了等待时间Twait的时候开始图像转换。这样，图像转换器112就在图像开始传输以后经过了等待时间Twait时开始转换。
根据本实施例，传输时间是利用有较小偏差，即具有小差量的取样组进行预测的。相应的，在传输速度逐渐增加或者逐渐下降的情况下，可以获得比第一实施例的值更为接近真实值的值。
在本发明的第二实施例的图像传输设备610中，抖动确定部分611确定是否有抖动发生，传输时间预测部分115避免抖动的影响，以预测图像传输所需的时间，即使是在网络中突然发生抖动的情况下也是如此。与第九实施例相同，根据本发明的第十实施例的图像传输设备使用标准偏差检查检测值的偏离，并且根据取样值的调整计算测量结果的平均值来预测传输时间。它与第九实施例的区别在于取样值的去除是以其平均值与取样值之间的差最大的取样值开始的，而并不仅是以过去的取样值(测量值)开始。
本实施例中的图像传输设备的结构与第一实施例中的图像传输设备110相同。其图像传输方法也与第一实施例中的相同。其区别仅在于在步骤S403中，传输时间预测部分115使用了不同的计算方法获得预测传输时间。
下文将描述传输时间预测部分115计算传输时间的方法。根据本实施例的传输时间预测部分115通过平均多个帧的传输时间来计算预测传输时间，同时使用公式(23)所示的标准偏差公式调整用于计算预测传输时间的取样(n)的数目，这与第九实施例相同。
与第九实施例相同，根据本实施例的传输时间预测部分115在减少取样数目n的同时重复标准偏差的计算，直到标准偏差s低于一特定值为止。在标准偏差因取样值的减少而有所增加的情况下，取样值被重置为先前的值。与第九实施例不同，取样值的移去是以其平均值与取样值的偏差最大的取样开始的。该特定值通过预定数目的取样值的平均值除以5或者10预先得到。
下面是示例。假设过去10帧的传输时间T1到T10分别是T1＝60[ms]、T2＝30[ms]、T3＝50[ms]、T4＝60[ms]、T5＝65[ms]、T6＝150[ms]、T7＝70[ms]、T8＝60[ms]、T9＝40[ms]、T10＝50[ms]。并假设标准偏差的门限值(先前提到的特定值)在下面的例子中为10。
传输时间预测部分115根据过去10帧的传输时间得到标准偏差(取样数为10)。n＝10时推算的传输时间的平均值Tavg10可以利用下式(30)获得Tavg10＝(60+30+50+60+65+150+70+60+40+50)/10＝63.5[ms] (30)n＝10时推算的标准偏差S10可以利用等式(31)得到S10=√{(3.5^2+33.5^2+13.5^2+3.5^2+1.5^2+86.5^2+6.5^2+3.5^2+23.5^2+]]>13.5^2)/9}＝32.7(31)n＝10时推算的标准偏差S10大于标准偏差的门限值“10”，所以不采用这个值。
获得当与平均值Tavg10之间的差最大的取样T6＝150[ms]被去除从而设置取样值n＝9时推算的标准偏差S10。n＝9时推算的平均值Tavg9可以利用等式(32)计算Tavg9＝(60+30+50+60+65+70+60+40+50)/9＝53.89[ms](32)n＝9时推算的标准偏差s9可以利用等式(33)得到S9=√{(6.11^2+23.89^2+3.89^2+6.11^2+11.11^2+16.11^2+6.11^2+13.89^2]]>+3.89^22)/8}＝12.7(33)n＝9时推算的标准偏差S9大于标准偏差的门限值“10”，所以不采用这个值。
当移去如公式(32)计算出的其与平均值Tavg7间的差最大的取样T2＝30[ms]以设定取样值n＝8时推算的标准偏差被获得。n＝8时的平均值Tavg8可以利用等式(34)计算Tavg8＝(60+50+60+65+70+60+40+50)/8＝56.88[ms](34)n＝8时推算的标准偏差s8可以利用等式(35)得到S7=√{(3.12^2+6.88^2+3.12^2+8.12^2+13.12^2+3.12^2+16.88^2+6.88^2)/]]>7}＝9.6(35)n＝8时推算的标准偏差值s8小于标准偏差的门限值“10”并且低于n＝8时的门限。在此例中，平均值Tavg8(＝56.88[ms])被用作预测传输时间Test。
与第一实施例中相同，这样获得的预测传输时间Test由操作定时控制器116使用。操作定时控制器116根据传输时间预测部分115计算的Test以及图像传输所需的时间Ttrans利用公式(2)计算得到直到图像开始转换时的等待时间Twait。得到等待时间Twait的操作定时控制器116控制图像转换器112进行图像转换的开始定时，从而使得图像转换在图像开始传输以后经过了等待时间Twait时开始。这样，图像转换器112在图像传输开始以后经过了等待时间Twait时开始图像转换。
在本实施例中，传输时间是通过移去在抖动发生时获得的取样值(检测值)进而使用一组具有较小标准偏差、即具有小差量的取样值组(检测值)获得的。这样，即使在发生抖动时，该实施例也保证比第一实施例更精确的传输时间。尽管传输时间预测部分115使用前述的方法计算预测传输时间，但根据第二实施例的图像传输装置611中的抖动测量部分611可代之以执行同样的操作。
如图38所示，根据该第十一实施例的图像传输设备3810包括位于第一实施例的图像传输设备110的顶部的计算方法选择控制器3801。计算方法选择控制器3801指示传输时间预测部分115根据由保存在传输时间测量部分中的传输时间测量结果确定的网络102中传输速度的变化以改变计算预测传输时间的方法。
例如，计算方法选择控制器3801指示传输时间预测部分115在传输速度突然改变而没有回到初始值的情况下，利用第八实施例中的计算方法预测传输时间；在传输速度缓慢增加或者缓慢降低的情况下，利用第九实施例中的计算方法预测传输时间；在抖动发生的情况下，利用第十实施例中的计算方法预测传输时间。
这样，根据本实施例的图像传输设备3810可以根据网络102的状况使用最佳的计算方法预测传输时间。
计算方法选择控制器3801不必在第一实施例的图像传输设备110中提供，而是可以设置在图14所示的第四实施例的图像传输设备1410或者图17所示的图像传输设备1410’、图18所示的第五实施例的图像传输设备1810或者图12所示的图像传输设备1810’、图23所示的第六实施例的图像传输设备2310或者图27所示的第七实施例中的图像传输设备2610。
如上所述，根据本发明的图像传输设备、图像传输方法、记录介质和图像传输程序，从图像转换结束到图像开始传输的等待时间可以被消除，从而可以使从图像开始转换到图像传输结束的所需时间最小。结果是可使从接收到作为客户机的图像接收设备发出的图象传输请求到图象传输结束之间的时间最小。以这种方式，可使图像接收设备中的回放延时最小。亦即，最新的图像被实时地传输，从而使得图像接收设备能够回放最新的图像。可以减少网络102的使用时间，从而提高网络102的使用效率，并提高图像接收设备接收的图像的帧速率(每秒可传输的帧数)。
权利要求
1.一种图像传输设备，其特征在于所述图像传输设备包括图像转换装置，将包含多个帧的图像转换成适于传输给另一设备的格式，以基于每帧产生转换图像；图像传输装置，将所述图像转换装置产生的转换图像根据每一图像帧传输给经网络连接的预定图像接收装置；传输时间测量装置，用于根据每一图像帧测量从所述图像传输装置传输的转换图像的传输时间；传输时间预测装置，根据被所述传输时间测量装置测量的过去帧的传输时间，预测所述图像传输装置传输传输候选帧中的转换图像所需的传输时间，并产生预测传输时间；以及操作定时控制装置，根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间，控制所述图像转换装置转换候选帧的转换的开始定时。
2.如权利要求1所述的图像传输设备，其特征在于，所述传输时间测量装置包括抖动确定装置，用于根据每一测量的传输时间的长度，确定在所述过去帧的传输期间在所述网络中是否有抖动发生，并且，所述传输时间预测装置根据除了经所述抖动确定装置确定出抖动发生的传输时间以外的传输时间，预测所述预测传输时间。
3.如权利要求1所述的图像传输设备，其特征在于，所述传输时间测量装置包括带宽变化确定装置，用于根据每一测量的传输时间的长度，确定在所述过去帧的传输期间在所述网络中是否有变化，并且，所述传输时间预测装置根据在所述带宽变化确定装置确定网络带宽发生变化以后推算的传输时间，预测所述预测传输时间。
4.如权利要求1所述的图像传输设备，还包括转换时间测量装置，以每一帧为基础测量经所述图像转换装置转换的图像的转换时间；以及转换时间预测装置，用于根据所述转换时间测量装置测量的过去帧的传输时间，预测所述图像转换装置转换转换候选帧中的图像所需的转换时间，从而产生预测转换时间，其特征在于，所述操作定时控制装置根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间以及所述转换时间预测装置产生的所述转换候选帧的预测转换时间，控制所述图像转换装置转换所述转换候选帧的开始定时。
5.如权利要求4所述的图像传输设备，包括中央处理单元(CPU)负载测量装置，用于根据所述转换时间测量装置测量的过去帧的转换时间，测量当每一帧的图像被转换时推算的CPU的负载，其特征在于，所述转换时间预测装置根据所述转换时间测量装置测量的过去帧的转换时间以及所述CPU负载测量装置测量的负载，预测所述转换候选帧的预测转换时间。
6.如权利要求4所述的图像传输设备，包括转换计算量变化装置，用于根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间及所述转换时间预测装置产生的所述转换候选帧的预测转换时间之间的比较，指示所述图像转换装置改变所述转换候选帧的转换所需的计算量，其特征在于，所述转换计算量变化装置指示所述图像转换装置减小所述传输候选帧的预测传输时间与所述转换候选帧的预测转换时间之间的差。
7.如权利要求4所述的图像传输设备，包括转换系统变化装置，用于根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间与所述转换时间预测装置产生的所述转换候选帧的预测转换时间之间的比较，指示所述图像转换装置改变所述转换候选帧的转换系统；以及转换系统通知装置，用于向所述预定图像接收设备通知由所述转换系统变化装置指示的转换系统，其特征在于，所述转换系统变化装置指示所述图像转换装置转换到使所述传输候选帧的预测传输时间与所述转换候选帧的预测转换时间之间的差最小的转换系统。
8.一种图像传输装置，其特征在于所述图像传输设备包括图像读出装置，用于从存储转换成能够显示在经网络相连的图像接收设备上的格式的转换图像的转换图像存储器中，以一帧为基础读出转换的图像；图像传输装置，把所述图像读出装置读出的转换图像以一帧为基础传输到与所述网络相连的预定图像接收设备中；传输时间测量装置，以一帧为基础测量从所述图像传输装置传输的转换图像的传输时间；传输时间预测装置，用于根据由所述传输时间测量装置测量的过去帧的传输时间，预测所述图像传输装置传输传输候选帧所需的传输时间，并产生预测传输时间；图像读出位置调查装置，调查被所述图像读出装置读出的转换图像的存储位置；读出时间测量装置，以每个读出时间帧为基础测量由所述转换图像存储装置读出的转换图像的读出时间；读出时间预测装置，用于根据所述读出时间测量装置测量的过去帧的读出时间以及所述图像读出位置调查装置的调查结果，预测所述图像读出装置读出读出候选帧中的转换图像所需的读出时间，并产生预测读出时间；以及操作定时控制装置，用于根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间以及所述读出时间预测装置产生的所述读出候选帧的预测读出时间，控制所述读出时间预测装置开始读出所述转换候选帧的定时。
9.如权利要求1所述的图像传输设备，其特征在于，所述图像传输设备包括图像抽取装置，用于通过网络从通过所述网络与所述图像传输设备相连的用于存储图像的第二图像传输设备接收图像；接收时间测量装置，以一帧为基础测量所述图像抽取装置接收的图像的接收时间；接收时间预测装置，用于根据所述接收时间测量装置测量的过去帧的接收时间，预测所述图像抽取装置接收接收候选帧所需的接收时间，并产生预测接收时间；和处理操作控制装置，用于根据所述传输时间预测装置产生的所述传输候选帧的预测传输时间以及所述接收时间预测装置产生的所述传输候选帧的预测接收时间，控制所述图像抽取装置开始接收所述接收候选帧的定时、控制所述图像转换装置开始转换所述转换候选帧的定时、以及所述图像传输装置开始传输所述转换候选帧的定时。
10.如权利要求1所述的图像传输设备，其特征在于，所述传输时间预测装置通过计算所述过去帧的传输时间的标准偏差，来调整取样数，并产生所述预测传输时间。
11.如权利要求10所述的图像传输设备，其特征在于，所述传输时间预测装置按时间顺序移去取样，直到所述计算的标准偏差低于一预定值为止。
12.如权利要求10所述的图像传输设备，其特征在于，所述传输时间预测装置移去从与平均值的差最大的取样开始的取样值，直到所述计算标准偏差低于一预定值为止。
13.一种图像传输方法，其特征在于所述图像传输方法包括以下步骤图像转换步骤，将由多个帧组成的图像转换成适于传输给另设备的格式，从而以一帧为基础产生转换图像；图像传输步骤，把在所述图像转换步骤中产生的转换图像通过网络以一帧为基础传输给预定图像接收设备；传输时间测量步骤，以一帧为基础测量在所述图像传输步骤中传输的转换图像的传输时间；传输时间预测步骤，根据所述传输时间测量步骤测量的过去帧的传输时间，预测所述图像传输步骤传输传输候选帧中的转换图像所需的传输时间，并产生预测传输时间；以及操作定时控制步骤，根据在所述传输时间预测步骤中产生的所述传输候选帧的预测传输时间，控制所述图像转换步骤开始转换转换候选帧的定时。
14.如权利要求8所述的图像传输设备，其特征在于，所述传输时间预测装置通过计算所述过去帧的传输时间的标准偏差，调整取样数，并产生所述预测传输时间。
15.如权利要求14所述的图像传输设备，其特征在于，所述传输时间预测装置按时间顺序移去取样值，直到所述计算的标准偏差低于预定值为止。
16.如权利要求14所述的图像传输设备，其特征在于，所述传输时间预测装置移去从与平均值的差最大的取样开始的取样值，直到所述计算标准偏差低于一预定值为止。
17.一种计算机可读记录介质，在其上记录着图像传输程序，用于使计算机完成基于权利要求1-12以及14-16之任一的图像传输设备的工作。
18.一种用于使计算机完成基于权利要求1-12以及14-16之任一的图像传输设备的工作的图像传输程序。
全文摘要
一种图像传输设备、图像传输方法和记录介质及图像传输程序,能根据网络带宽的情况实时地传输最新的图像数据。该图像传输设备包括:图像抽取部分111,用于抽取存储在摄像机101中的图像,图像转换器112,用于将所述图像转换成适于通过网络102被图像接收设备120接收的格式;图像传输器113,通过网络102传输转换图像到图像接收设备120;传输时间测量部分114,测量图像传输所需的时间;并保存测量结果;传输时间预测部分115,使用所存储的预定数目的测量结果预测图像传输所需的时间;以及操作定时控制器116,根据所述预测传输时间以及图像转换所需的时间,确定图像转换器112开始图像转换的定时。
文档编号H04N7/24GK1349349SQ0113761
公开日2002年5月15日 申请日期2001年9月12日 优先权日2000年9月12日
发明者冈田晋, 野岛晋二 申请人:松下电器产业株式会社