管理装置和管理方法与流程

本技术涉及管理装置和管理方法。

背景技术：

在传统公开的系统中，将诸如运动图像和语音的内容数据从分发服务器分发到终端装置(例如，参考专利文献1)。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2011-66916号

技术实现要素：

本发明要解决的问题

在这样的领域中，期望内容数据被有效地上传到分发服务器。

本技术旨在解决这样的问题，并且提供用于有效地将内容数据上传到分发服务器的管理装置和管理方法。

问题的解决方案

为了解决上述问题，本技术例如是：一种管理装置，包括：存储管理单元，所述存储管理单元被配置为根据优先级在存储单元中存储通过划分多个内容数据而生成的多个发送数据当中具有对应时间信息的多个发送数据，所述多个内容数据是针对每个信道而编码的。

本技术还例如是：一种管理方法，其中，存储管理单元根据优先级在存储单元中存储通过划分多个内容数据而生成的多个发送数据当中具有对应时间信息的多个发送数据，所述多个内容数据是针对每个信道而编码的。

本发明的效果

根据本技术的至少一个实施例，例如，提供了一种用于有效地将内容数据上传到分发服务器的管理装置。注意，本文中描述的效果不必受限制，并且可以应用说明书中描述的任何效果。

附图说明

图1是示出根据本技术的实施例的内容分发系统的配置的框图。

图2是示出根据本技术的实施例的内容分发系统的配置的框图。

图3是示出根据第一实施例的发送装置的配置的框图。

图4是示出根据第一实施例的发送装置的配置的框图。

图5是示出根据实施例的分发装置和终端装置的配置的框图。

图6是示出示例性播放列表的图。

图7是示出从发送装置上传到分发装置的处理的流程图。

图8是示出播放列表的更新处理的流程图。

图9是示出从分发装置到终端装置的分发处理的序列图。

图10是示出通过单个网络上传和通过并行网络上传之间的比较结果的图。

图11是示出根据第二实施例的发送装置的配置的框图。

图12是用于描述根据第二实施例的队列管理单元的示例性操作的图。

图13是用于描述根据第二实施例的队列管理单元的示例性操作的图。

图14是用于描述由根据第二实施例的发送装置执行的示例性处理的流程图。

图15是用于描述修改的图。

图16是示意性地示出手术室系统的整体配置的图。

图17是示出集成操作面板的操作屏幕上的示例性显示的图。

图18是示出应用了手术室系统的手术的示例性情形的图。

图19是示出图17中所示的摄像头和ccu的示例性功能配置的框图。

具体实施方式

下面将参考附图来描述本技术的实施例。注意，将按以下顺序给出描述。

<1、第一实施例>

<2、第二实施例>

<3、修改>

<4、示例性应用>

<1、第一实施例>

[1-1、内容分发系统的配置]

图1是示出根据本技术的内容分发系统100的整体配置的示意图。内容分发系统100包括发送装置10、多个路由器2a、2b和2c、被配置为分发内容的分发装置20以及作为由内容观看者(下文中被简称为观看者或用户)使用的内容回放终端的终端装置30。

在图1中，分发装置20通过多个路由器(在本实施例中，三个路由器2a、2b和2c)和多个网络nw(在本实施例中，三个网络nw1、nw2和nw3)与发送装置10连接，以在它们之间进行通信。此外，分发装置20通过网络nw4与终端装置30连接。在本实施例中，内容分发系统100通过http实况流传输(hls)执行内容实时实况分发。注意，路由器的数量和网络的数量仅仅是示例性的，并不限于三个。尽管稍后将详细地描述，但是数字可以是等于或大于2的任何数字。

hls是用于将实况视频作为内容进行流式分发的协议，以及是用于通过使用超文本传输协议(http)从正常网页(web)服务器发送音频和视频并且通过回放终端恢复音频和视频的功能。hls可用于实况分发(广播)和已记录的内容(视频点播)并且支持具有不同比特率的多个替选流，以及客户端软件可以根据网络带宽变化智能地切换流。

发送装置10与外部装置(在该实施例中为视频摄像机1)连接。发送装置10通过路由器2a、2b和2c以及网络nw1、nw2和nw3，将包括由视频摄像机1捕获的实况视频、实况语音等的内容数据发送(上传)到分发装置20。注意，视频摄像机1的数量不限于一个，而是可以为两个或更多个。

终端装置30是具有通信功能的计算机，并且是能够接收(下载)和回放从分发装置20分发的内容的终端。终端装置30的示例包括诸如智能电话或蜂窝电话的便携式通信终端、平板终端、便携式游戏机、膝上型个人计算机、台式个人计算机、可穿戴终端等。终端装置30可以是能够通过网络nw4与分发装置20进行通信并且恢复内容的任何终端。在该实施例中，分发装置20可以与多个终端装置30连接，每个终端装置30能够通过浏览器基本上同时观看相同内容。注意，通过使用通常的通信协议来执行分发装置20与终端装置30之间的通信。

分发装置20通过路由器2a、2b和2c以及网络nw1、nw2和nw3接收并且存储从发送装置10上传的内容数据。然后，分发装置20从通过网络nw4连接的终端装置30接收内容分发请求，以及将相应的内容分发给终端装置30。可以通过使用云系统和云计算服务来实现分发装置20。

注意，网络nw1、nw2和nw3可以各自是任何有线或无线通信网络，例如无线局域网(lan)、广域网(wan)或wifi(无线保真)，其例如允许通过使用因特网协议技术来进行相互连接。

路由器2a、2b和2c是通信设备，该通信设备被配置为通过使用传输控制协议/因特网协议(tcp/ip)作为通信协议，通过网络在发送装置10与分发装置20之间执行数据中继。路由器2a、2b和2c可以各自是能够通过特定网络在发送装置10与分发装置20之间中继数据发送和接收的任何网络接口，诸如移动路由器、无线lan路由器、宽带路由器或长期演进(lte)路由器。

在该实施例中，发送装置10和分发装置20通过多个路由器2a、2b和2c以及与多个相应路由器2a、2b和2c对应的网络nw1、nw2和nw3彼此连接。通过捆绑多个网络来实现虚拟宽频带宽带线路。由于内容数据是通过多个路由器2a、2b和2c以及多个网络nw1、nw2和nw3来上传的，而不是通过单个路由器和单个网络来上传的，因此在任何网络变得不稳定或断开连接的时候，内容数据上传既不会延迟也不会断开连接。因此，本技术特别适用于实时实况分发。

此外，在该实施例中，多个网络nw1、nw2和nw3是由彼此不同的通信运营商(通信业务运营商)提供的网络。因此，当由任意通信运营商提供的网络发生诸如通信速度降低或网络中断之类的异常时，可以通过由没有发生异常的其他通信运营商提供的网络来继续内容上传。因此，可以防止实况分发中断和实况分发的实时特性的劣化。

网络nw4是由这样的通信运营商提供的网络，其中使用终端装置30的观看者与该通信运营商签订合同；并且网络nw4可以采用有线通信或无线通信的任何通信方案。

虽然稍后将详细描述，但是在该实施例中，从发送装置10到分发装置20的内容数据上传是以如图1中所示的被称为分段的单位或者如图2中所示的被称为子分段的单位来执行的。分段和子分段各自对应于权利要求中的示例性发送数据。

[1-1-1、发送装置的配置]

下面参考图3和图4来描述发送装置10的配置。发送装置10包括编码器11、多路复用器12、第一分段器13、第二分段器14、流队列15、上传器16a、16b和16c、以及控制单元17。注意，图3至图5中连接块的每条实线示出了诸如分段和子分段之类的内容数据的流动，而每条虚线是示出控制信号等的流动的控制线。

编码器11将由外部连接的视频摄像机1捕获的视频数据编码为h.264、divx等的视频流。此外，编码器11将由附连到视频摄像机1或与视频摄像机1分离的麦克风记录的语音数据编码为高级音频编码(aac)、mpeg-1音频层-3(mp3)等的音频流。

多路复用器12将编码的视频流和音频流连接成mpeg2传输流(下文中适当地被称为ts)。

第一分段器13将ts划分成预定长度的多个文件(在本实施例中为一秒)。通过经由第一分段器13划分ts而生成的每个文件被称为分段。

每个分段以关键帧开始，并且是具有扩展名“.ts”的媒体文件，其自身可以被再现为运动图像内容。分段的头部包括编码定时。编码定时是指示由编码器11执行编码的时间的时间信息。分发装置20参考每个编码定时，以按照由编码定时指示的最早时间的顺序来分发分段。此外，将分段号添加到分段。分段号是附连到通过划分ts而生成的每个分段的值，用于标识分段并且指示分段的顺序。以分段[n]的格式，分段号按照最早的编码定时的顺序来提供并且逐一递增以将第一分段表示为分段[1]并且将接下来的分段表示为分段[2]、分段[3]...。分段号的顺序与分段的回放顺序相匹配。

第二分段器14将分段划分成更小的尺寸。由第二分段器14生成的划分文件称为子分段。每个子分段是不能单独作为运动图像内容回放的文件。根据需要，由第二分段器14生成的每个文件存储在流队列15中。

每个子分段的头部包括编码定时、分段号、子分段号等。包括在每个子分段的头部中的编码定时是包括子分段的分段的编码定时。因此，包括在一个分段中的多个子分段的编码定时都是相同的。

每个子分段的子分段号包括指示通过划分分段而生成的子分段的划分数量的值、以及指示子分段位于分段中的位置的顺序的值。例如，在两个分段(分段[1]和分段[2])各自被划分成三个子分段的情况下，如图3中的流队列15中存储的子分段所示，分段[1]-1/3、分段[1]-2/3、分段[1]-3/3、分段[2]-1/3、分段[2]-2/3和分段[2]-3/3被提供有作为分母的指示划分数量的值和作为分子的指示子分段的顺序的数字。例如，“分段[1]-2/3”表示被划分为三个子分段的分段[1]的第二个子分段。分发装置20参考所接收到的子分段的子分段号，以检查分段被划分成的子分段的数量，并且确定是否接收到分段中包括的所有子分段。

第二分段器14可以从上传器16a、16b和16c接收网络nw1、nw2和nw3的通信速度信息的反馈，并且以多个网络nw1、nw2和nw3中最低的网络通信速度作为参考来执行分段划分。执行划分，以当作为多个网络nw1、nw2和nw3中的最低通信速度的网络通信速度较低时增加子分段的数量，或者当通信速度较高时减少子分段的数量。

第二分段器14可以根据网络nw1、nw2和nw3中的每个的频带信息(通信速度)来执行分段划分。例如，第二分段器14如下所述地获取频带信息。预定分段通过例如网络nw1从发送装置10发送到分发装置20。分发装置20根据发送的分段中包括的编码定时与接收到分段的定时之间的差异来确定频带信息，并且将该信息反馈给发送装置10。类似地，分发装置20还向发送装置10反馈与网络nw2和nw3有关的频带信息。发送装置10根据这样反馈的频带信息，以最拥挤(具有低线路速度)的频带作为参考来确定分段的划分数量。

注意，可以根据网络nw1、nw2和nw3的拥挤状态来更新频带信息。因此，可以根据更新的频带信息再次确定分段的划分数量。此外，发送装置10可以具有根据频带信息列出分段的划分数量的表，并且可以参考该表确定根据频带信息的分段的划分数量。此外，可以预先将测试数据从发送装置10发送到分发装置20，并且可以从分发装置20向发送装置10发送分段发送之前的频带信息，从而预先执行校准处理。

注意，在网络速度足以以分段为单位进行发送的情况下，可以将分段直接上传到分发装置20而不进行划分。在这种情况下，如图4中所示，该分段被直接存储在流队列15中，并且被提供有分段[n]-1/1的分段号。分段[n]-1/1指示第n个分段被划分成一个子分段(未划分)。可以在内容分发期间实时地执行根据网络通信速度的分段划分数量的这种改变。这种实时改变可以处理网络状态的改变。注意，下面描述以子分段将分段从发送装置10上传到分发装置20的示例。

此外，第二分段器14可以根据例如内容的图像质量和声音质量来改变划分数量。例如，在通过编码器11将数据编码为具有高图像质量的运动图像的情况下，数据具有大尺寸，因此增加划分数量。例如，在将数据作为4k等的高图像质量内容进行分发的情况下，增加划分数量。每个子分段的尺寸随着划分数量的增加而减小，因此，子分段可以通过由通信运营商提供的网络来上传。

流队列15顺序地存储通过划分分段而生成的子分段(或者在分段未被划分为子分段的情况下的分段)。

上传器16a、16b和16c通过路由器2a、2b和2c以及网络nw1、nw2和nw3顺序地将存储在流队列15中的子分段上传到分发装置20。在该实施例中，由于发送装置10包括三个上传器16a、16b和16c，因此上传器的数量等于相应路由器的数量。注意，上传器的数量和路由器的数量不限于三个。只要数量是复数，数量可以大于或小于3。

上传器16a、16b和16c持续地监视路由器2a、2b和2c与网络nw1、nw2和nw3之间的通信速度，并且可以将通信速度信息作为反馈提供给第二分段器14。第二分段器14优选地接收来自上传器16a、16b和16c的反馈，并且实时地改变子分段划分的数量。因此，例如，当在实况分发期间发生网络nw1、nw2和nw3的通信速度的降低时，可以通过增加子分段划分的数量以减少每个子分段的尺寸来防止发生子分段发送的延迟。注意，第二分段器14可以通过独立于网络nw1、nw2和nw3的通信速度将分段划分为预定尺寸来生成子分段。

控制单元17包括中央处理单元(cpu)、随机存取存储器(ram)、只读存储器(rom)等。rom存储例如由cpu读取和操作的计算机程序。ram用作cpu的工作存储器。cpu通过根据存储在rom中的计算机程序执行各种处理并且执行命令发布来控制整个发送装置10及其每个组件。

注意，包括在发送装置10中的每个组件可以通过软件来实现，或者通过将装置、电路等组合为具有软件功能的专用硬件来实现。

[1-1-2、分发装置的配置]

下面参考图5描述分发装置20的配置。分发装置20包括接收器21a、21b和21c、子分段连接单元22、分发服务器23和控制单元24。

接收器21a、21b和21c各自通过路由器2a、2b和2c以及网络nw1、nw2和nw3接收从发送装置10上传的子分段或分段。在该实施例中，由于分发装置20包括多个接收器21a、21b和21c，并且接收器的数量等于相应上传器16a、16b和16c的数量。注意，尽管在图1中上传器的数量、路由器的数量和接收器的数量是三个，但是接收器的数量可以是与上传器的数量和路由器的数量相等的任何数量。

子分段连接单元22通过连接由接收器21a、21b和21c接收到的子分段来再现分段，并且将该分段提供给分发服务器23。当已经接收到包括在单个分段中的多个子分段之一时，子分段连接单元22基于子分段号检查分段被划分成的子分段的数量和子分段的顺序。因此，子分段连接单元22等待包括在分段中的所有子分段的到达，并且在检查了所有子分段已到达之后执行连接子分段的处理。例如，在分段[1]的单个分段被划分成三个子分段并且分段[1]-3/3首先到达子分段连接单元22的情况下，子分段连接单元22在分段[1]-1/3和分段[1]-2/3的其余三个子分段到达之后执行连接处理。

在接收到包括在先前分段中的子分段之后的预定时间内没有到达包括在分段中的子分段的情况下，子分段连接单元22不执行包括未到达子分段的分段的连接处理。未被提供有连接处理的分段等待直到所有子分段到达，然后在所有子分段到达之后被提供有连接处理并且被存储在分发服务器23中。换句话说，在所有子分段到达之前，任意一个子分段未到达的分段不存储在分发服务器23中。未存储在分发服务器23中的分段不在终端装置30上被回放为内容。这将在后面详细描述。

注意，在从发送装置10上传的不是子分段而是分段的情况下，不执行子分段连接处理，而是直接将该分段存储在分发服务器23中。

在分段存储时，分发服务器23更新播放列表。然后，当从终端装置30接收到发送播放列表的请求时，分发服务器23根据发送请求将播放列表回复给终端装置30。播放列表包括指示分段的存储位置的统一资源定位符(url)。

一旦将分段存储在分发服务器23中，分发服务器23就参考所存储的分段的分段号，并且按照编码定时的顺序将指示所存储的分段的位置的url写入播放列表。因此，播放列表始终按照编码定时的顺序(换句话说，回放的顺序)包括分段的url。

图6示出由分发服务器23更新的示例性播放列表。播放列表是hls中具有扩展名“.m3u8”的索引文件，并且在该示例中，按照编码定时的顺序列出了分段[1]、分段[2]和分段[3]的url。图6中的播放列表是用于将整个流划分成一秒的三个分段的情况。注意，“#extm3u”是标题，而“#extinf：1”是指示分段的时间长度为1秒的信息。

如上所述，在分段中包括的任何一个子分段未到达分发装置20的情况下，包括未到达子分段的分段不存储在分发服务器23中，因此不将分段的url写入播放列表。注意，发送装置10检测发送错误，以对未到达分发装置20的子分段执行tcp重新发送控制处理，以及最后，将所有子分段上传到分发装置20。

控制单元24包括cpu、ram、rom等。cpu通过根据存储在rom中的计算机程序执行各种处理并且执行命令发布来控制整个分发装置20及其每个部件。

[1-1-3、终端装置的配置]

下面参考图5描述终端装置30的配置。终端装置30包括通信单元31、解码器32、显示单元33、语音输出单元34和控制单元35。

通信单元31是这样的通信模块，该通信模块被配置为通过http获取(get)请求将播放列表发送请求传送到分发装置20，并且接收从分发装置20发送的播放列表。此外，通信单元31通过访问在接收到的播放列表中写入的url来接收从分发服务器23下载的分段。

解码器32对编码的分段执行解码处理，以生成可以在浏览器上回放的视频数据。

显示单元33是通过例如液晶显示器(lcd)、等离子显示面板(pdp)、有机电致发光(el)面板等实现的显示装置。显示单元33显示例如包括在从发送装置10发送的内容中的视频、以及终端装置30的用户界面和菜单屏幕。

语音输出单元34例如是扬声器或与耳机连接的耳机插孔，其被配置为输出包括在从发送装置10发送的内容中的语音。

控制单元35包括cpu、ram、rom等。cpu通过根据存储在rom中的计算机程序执行各种处理并且执行命令发布来控制整个终端装置30及其每个组件。此外，cpu还执行例如用于在显示单元33处回放内容的运动图像的浏览器的操作处理。

注意，包括在终端装置30中的通信单元31和解码器32可以通过软件来实现，或者通过组合装置、电路等作为具有软件功能的专用硬件来实现。

[1-2、由内容分发系统执行的处理]

[1-2-1、对分发装置的上传]

下面参考图7描述由内容分发系统100进行的内容分发。首先将描述从发送装置10到分发装置20的上传。

首先，在步骤s11，由视频摄像机1捕获的包括实况视频、实况语音等的内容数据被提供有由编码器11进行的编码处理。随后在步骤s12，内容数据被第一分段器13划分成分段。

随后在步骤s13，控制单元17确定是否可以将内容数据的每个分段发送到分发装置20。该确定是通过将分段的尺寸与作为多个网络nw1、nw2和nw3当中的最低通信速度的网络通信速度或预定阈值进行比较来执行的。在分段的尺寸小于网络nw1、nw2和nw3的最低通信速度或预定阈值的情况下，处理进行到步骤s15(步骤s13处的是)，并且将分段存储在流队列15而不进行划分。

同时，在分段的尺寸大于网络nw1、nw2和nw3的最低通信速度或预定阈值的情况下，处理进行到步骤s14(步骤s13处的否)。然后，在步骤s14，分段被第二分段器14划分成子分段，并且在步骤s15被存储在流队列15中。注意，下面将描述子分段被存储在流队列15中的示例。

随后在步骤s16，通过路由器2a、2b和2c以及网络nw1、nw2和nw3，按照编码定时的顺序将存储在流队列15中的子分段从上传器16a、16b和16c顺序地上传到分发装置20。然后，在步骤s17，检查内容分发是否已经结束，并且继续处理直到分发结束(步骤s16处的否)。

当将子分段从上传器16a、16b和16c上传到分发装置20时，通过使用多个(在该实施例中，三个)路由器2a、2b和2c以及网络nw1、nw2和nw3来并行地发送子分段。由于以这种方式通过多个网络并行地执行发送而不是通过单个网络，所以当任何网络变得不稳定或断开时，内容发送既不会延迟也不会断开。

当通过多个网络发送子分段时，可以优先通过多个网络当中具有最高通信速度的网络来发送子分段。因此，可以更快地将子分段发送到分发装置20。

此外，在子分段发送期间断开通信的网络可以在后续发送中不再使用。因此，可以更稳定地执行子分段发送。

[1-2-2、播放列表的更新]

下面参考图8描述在分发装置20处执行的播放列表更新处理。首先在步骤s21，在新分段被存储在分发服务器23中的情况下，分发服务器23通过在步骤s22向播放列表写入指示所存储的分段的存储位置的url来更新播放列表(步骤s21处的是)。

预先写入播放列表的分段url的数量被设置到分发装置20。例如，“当第一分段是分段[n]时，直到分段[n+2]的分段的url被写入(在这种情况下，总共写入三个url)”。因此，在播放列表中的第一分段是分段[1]并且分段[1]、分段[2]和分段[3]的三个分段被存储在分发服务器23中的情况下，分段[1]、分段[2]和分段[3]的url被写入播放列表并且被发送到终端装置30。此外，在播放列表的第一分段是分段[1]并且分段[1]和分段[3]被存储在分发服务器23中而分段[2]没有被存储的情况下，分段[1]和分段[3]的url被写入播放列表并且被发送到终端装置30。

此外，在直到分段[3]的分段的url被写入播放列表的情况下，分段[4]、分段[5]和分段[6]的url被写入以第一分段为分段[4]的下一个播放列表。

注意，预先写入播放列表集合的url的数量不限于三个，而是可以大于或小于三个。

然后，在步骤s23确定内容分发是否已经结束并且所有分段都存储在分发服务器23中。在内容分发结束并且所有分段都存储在分发服务器23中的情况下，处理结束(步骤s23处的是)。同时，在内容分发尚未结束的情况下，处理返回到步骤s21，并且每当新分段被存储在分发服务器23中时将分段url写入播放列表(步骤s23处的否)。

[1-2-3、向终端装置的分发：第一示例]

下面参考图9描述分发装置20将内容分发到终端装置30的处理。首先将描述如下情况，其中，当播放列表发送请求从终端装置30到达时，url要被写入要根据发送请求发送的播放列表的所有分段被存储在分发服务器23中。

首先，在步骤s31，终端装置30对于分发装置20请求播放列表发送。在接收到发送请求后，分发装置20在步骤s32将播放列表发送到终端装置30。例如，在三个分段的url被设置为要写入播放列表的情况下，分发装置20在三个分段被存储在分发服务器23中之后将播放列表发送到终端装置30，并且这三个分段的url被写入播放列表。以下描述假定三个分段的url被设置为要写入。

随后在步骤s33，终端装置30访问被写入播放列表的三个url。然后，在步骤s34，终端装置30从分发装置20下载三个分段。然后，在步骤s35，终端装置30对三个分段执行诸如解码处理之类的预定处理，以及在显示单元33上将分段显示为实况视频并且从语音输出单元34输出语音。

重复步骤s31至s35的处理，直到实况分发结束。

[1-2-4、向终端装置的分发：第二示例]

下面描述存在未到达分发服务器23的分段的情况。描述如下示例，其中，三个分段的url被设置为要写入播放列表，以及当播放列表发送请求从终端装置30到达时，分段[1]和分段[3]被存储在分发服务器23中，而分段[2]尚未被存储在分发服务器23中。

首先，在步骤s31，终端装置30对于分发装置20请求播放列表发送。在接收到发送请求后，分发装置20在步骤s32将播放列表发送到终端装置30。此时，由于分段[1]和分段[3]被存储在分发服务器23中而分段[2]尚未被存储在分发服务器23中，因此分段[2]的url不被写入播放列表中。因此，分发装置20将其中写入分段[1]和分段[3]的url的播放列表发送到终端装置30。

随后，在步骤s33，终端装置30访问被写入播放列表的两个url。然后，在步骤s34，终端装置30下载分段[1]和分段[3]这两个分段。然后，在步骤s35，终端装置30对分段[1]和分段[3]执行诸如解码处理之类的预定处理，以及在显示单元33上将分段显示为实况视频并且从语音输出单元34输出语音。

在这种情况下，由于分段[2]没有存储在分发服务器23中，所以在分段[1]的回放之后发生分段[2]的长度的帧丢弃，并且之后回放分段[3]。换句话说，在没有存储分段[2]的情况下，分段[2]和后续分段的分发不会停止，但是回放作为下一个分段的分段[3]而将分段[2]作为帧丢弃。在分段[2]的长度为一秒的情况下，发生一秒的帧丢弃。因此，当分段[2]尚未到达分发装置20时，可以防止由于在分段[2]到达分发装置20之前的等待时间的延迟而导致的实时特性的劣化，从而保持实时实况分发。如上所述，由于分段是自身可以被回放为运动图像内容的文件，因此ts中包括的一些丢失分段可以被视为帧丢弃，并且可以回放整个ts。

注意，帧丢弃是这样的现象，其中发送数据的一部分没有被回放，使得当回放运动图像时语音和图像在短时间内变得不连续。当发生帧丢弃时，运动图像在帧丢弃的时间内变得不平滑。

随后，直到分段[1]的回放、分段[2]的长度的帧丢弃和分段[3]的回放结束，终端装置30请求发送作为下三个分段的分段[4]和后续分段的url被写入的播放列表。然后，终端装置30访问被写入播放列表的url，下载分段，对分段执行预定处理，在显示单元33上将分段显示为实况视频，以及从语音输出单元34输出语音。重复该处理，直到实况分发结束。

[1-2-5、向终端装置的分发：第三示例]

下面描述另一个示例，其中，三个分段的url被设置为要写入播放列表，以及当播放列表发送请求从终端装置30到达时，分段[1]被存储在分发服务器23中，而分段[2]和分段[3]没有被存储在分发服务器23中。

首先，在步骤s31，终端装置30对于分发装置20请求播放列表发送。在接收到发送请求后，分发装置20在步骤s32将播放列表发送到终端装置30。此时，由于分段[1]被存储在分发服务器23中而分段[2]和分段[3]没有被存储在分发服务器23中，所以分发装置20将其中仅写入分段[1]的url的播放列表发送到终端装置30。

随后，终端装置30在步骤s33访问被写入播放列表的那一个url，并且在步骤s34下载分段[1]这一个分段。然后，终端装置30对分段[1]执行诸如解码处理之类的预定处理，以及在显示单元33上将该分段显示为实况视频并且从语音输出单元34输出语音。

在这种情况下，由于分段[2]和分段[3]没有被存储在分发服务器23中，所以在分段[1]的回放之后发生分段[2]的长度的帧丢弃，并且随后发生分段[3]的长度的帧丢弃。在分段[2]和分段[3]的长度为一秒的情况下，发生总共两秒的帧丢弃。因此，当分段[2]和分段[3]没有被存储在分发服务器23中时，可以防止由于在分段[2]和分段[3]被存储在分发服务器23中之前的等待时间的延迟而导致的实时特性的劣化，从而保持实时实况分发。

随后，再次在步骤s31，终端装置30请求发送其中下三个分段的url被写入的播放列表，直到分段[1]的回放结束。然后，在步骤s32，分发装置20将其中三个分段的url被写入的播放列表发送到终端装置30。在这种情况下，在分段[2]尚未到达分发装置20而分段[3]和后续分段已到达的情况下，发送其中分段[3]、分段[4]和分段[5]的url被写入的播放列表。

然后，终端装置30在步骤s33访问被写入播放列表的三个url，并且在步骤s34下载分段。然后，在步骤s35，终端装置30对分段执行预定处理，以及从显示单元33和语音输出单元34输出分段作为实况视频。重复步骤s31至s34的处理，直到实况分发结束。

同时，在当播放列表发送请求从分发装置20到达时要写入播放列表的分段[2]、分段[3]和段[4]这三个分段尚未存储在分发服务器23中的情况下，可以不执行播放列表的发送，直到分段[1]和后续分段被存储在分发服务器23中。

[1-2-6、过去内容的分发]

以下描述在实况分发结束之后将已经实况分发过的过去内容分发为视频点播(vod)、已记录的广播等的情况。在实况分发期间未存储在分发服务器23中的任何分段在实时分发期间或在实况分发结束之后到达分发服务器23时被存储在分发服务器23中。然后，当分段被存储在分发服务器23中时，该分段的url被写入播放列表，从而更新播放列表。

然后，当观看者在实况分发结束之后在终端装置30上执行预定操作以观看过去内容时，终端装置30对于分发装置20请求播放列表发送。在接收到发送请求之后，分发装置20将播放列表发送到终端装置30。此时，由于包括未在实时分发期间存储在分发服务器23中的任何分段的所有分段都存储在分发服务器23中，所以分发装置20将其中所有分段的url被写入的播放列表发送到终端装置30。因此，终端装置30可以访问所有分段的url并且回放所有分段。

此外，由于在过去内容分发的情况下ts中包括的所有分段都已经被存储在分发服务器23中，所以观看者可以通过使用播放列表来选择回放开始分段。由于ts中包括的所有分段的url被写入从分发服务器23发送的播放列表中，因此观看者可以通过例如终端装置30的输入单元来选择可选分段作为回放开始分段。然后，终端装置30请求分发由观看者选择的分段，并且下载所选择的回放开始分段和任何后续分段。然后，终端装置30对分段执行诸如解码处理之类的预定处理，以及在显示单元33上将分段显示为实况视频，并且从语音输出单元34输出语音。

[1-3、并行上传的效果]

图10是示出通过单个网络发送数据的情况与通过四个网络并行发送相同数据的情况之间的比较实验结果的图。实线示出并行发送的结果，而虚线示出单个网络发送的结果。纵轴表示延迟时间(秒)。示出了随着纵轴上的值增加，通信发生延迟。

比较实验的条件如下。

运动图像比特率：10mbps(每秒比特数)

分段长度(时间)：一秒

上传时间：五分钟

路由器：lte路由器

上传通信速度(每个lte路由器)：18.73mbps

时间段：工作日下午四点左右

地点：东京

如图10中的图所示，当如箭头所示在单个网络发送期间发生由于分组丢失导致的重新发送时，由于重新发送导致的延迟影响后续的发送，并且延迟在后续的通信中累积。

同时，在通过四个网络并行发送的情况下，任何本地延迟都不会累积也不会影响后续发送。因此，可以在保持实时特性的同时执行并行发送而没有数据发送中的延迟累积。

如上所述地执行根据实施例的内容分发。本技术特别适用于分发要求实时特性的内容，诸如体育实况广播和音乐实况广播。此外，诸如4k和虚拟现实(vr)之类的内容比正常视频内容需要更大量的数据，因此本技术对于这样的方案的内容分发也是有用的。

此外，本技术还适用于在户外移动时分发4k实时运动图像、以及使用头戴式显示器(hmd)等分发vr实况运动图像。4k运动图像和vr实况运动图像的内容的尺寸很大，因此认为本技术特别适合于内容的分发。

另外，本技术适用于通过使用广角动作摄像机在移动时进行实况分发。动作摄像机是这样的小型数字摄像机1，其主要被优化用于在户外体育运动期间捕获场景的图像，并且可以例如通过使用各种配件附连到人体、自行车、车辆、动物、冲浪板等。

此外，由于通过多个运营商的多个网络执行并行上传，因此可以提高对移动期间的切换的抵抗力。切换是在移动期间切换诸如基站的移动台，基站被配置为执行与智能电话和蜂窝电话的通信。

<2、第二实施例>

下面描述第二实施例。注意，除非另有说明，第一实施例中描述的内容适用于第二实施例。此外，由相同附图标记表示的组件执行上述功能，并且适当地省略或简化与该组件有关的重复描述。

[2-1、发送装置的配置]

图11是用于描述根据第二实施例的发送装置10a的配置的图。发送装置10a包括多个编码器，并且包括例如三个编码器11a、11b和11c。编码器11a与视频摄像机1a连接，编码器11b与视频摄像机1b连接，而编码器11c与视频摄像机1c连接。每个编码器与相应的视频摄像机之间的连接可以以有线或无线方式来实现。视频摄像机1a、1b和1c例如是被配置为以彼此不同的角度捕获相同场景的图像的图像捕获设备，并且信道(ch)被分配给每个视频摄像机。例如，将信道1分配给视频摄像机1a，将信道2分配给视频摄像机1b，并将信道3分配给视频摄像机1c。由视频摄像机1a、1b和1c捕获的内容被输入到相应的编码器11a、11b和11c。每个编码器对由相应的视频摄像机捕获的内容数据进行编码。

编码器11a与多路复用器12a连接。此外，编码器11b与多路复用器12b连接，而编码器11c与多路复用器12c连接。类似于多路复用器12，多路复用器12a、12b和12c各自将编码的视频流和音频流连接成ts。

多路复用器12a与分段器14a连接。此外，多路复用器12b与分段器14b连接，而多路复用器12c与分段器14c连接。分段器14a、14b和14c具有与第一实施例中的第一分段器13和第二分段器14类似的功能。例如，分段器14a通过划分从多路复用器12a提供的内容数据来生成分段。分段器14a可以通过进一步划分每个分段来生成子分段。请注意，信道信息被写入分段和子分段的标题。

分段器14a、14b和14c与作为示例性存储管理单元的队列管理单元18连接。队列管理单元18在流队列15中存储(记录)从分段器14a、14b和14c中的每个提供的信道分段(或子分段)。具体地，队列管理单元18根据优先级在流队列15中存储多个分段，每个分段包含作为示例性对应时间信息的编码定时。注意，稍后将描述队列管理单元18的具体操作。

[2-2、优先级]

下面描述优先级。例如，根据终端装置30处的内容数据的观看状态来确定优先级。如第一实施例中所述，终端装置30对于分发装置20请求播放列表。在分发多个信道的内容数据的情况下，用户请求用户希望观看的信道的播放列表。具体地，分发装置20确定与由大量用户请求的信道的播放列表相对应的内容被最多地观看，并且将该信道的信息反馈给发送装置10a。发送装置10a设置优先级，使得从分发装置20反馈的信道具有最高优先级。例如，控制单元17向队列管理单元18通知具有高优先级的信道的信息。注意，在下面的描述中，假设分配给视频摄像机1a的信道1具有最高优先级。

[2-3、队列管理单元的示例性操作]

下面描述队列管理单元18的示例性操作。例如，队列管理单元18将存储在流队列15中的队列(例如，分段)的阵列视为环形缓冲器，并且管理数据。存储在流队列15中的队列的开始(换句话说，由上传器读取并且最早发送的队列)由作为开始指针的头部指定。此外，队列的结尾由作为结尾指针的尾部指示。通常，队列管理单元18将输入队列存储在由尾部指示的位置，然后更新尾部。

图12和图13是用于描述队列管理单元18的示例性操作的图。注意，在图12和图13中，图中的流队列15的下部对应于最早被上传器读取的存储区域。

在图12中所示的示例中，流队列15是空的，并且分段[a]、分段[b]和分段[c]分别从分段器14a、14b和14c同时提供给队列管理单元18。分段[a]、分段[b]和分段[c]具有被写入头部的相同编码定时。队列管理单元18将被写入每个分段的信道信息与由队列管理单元18保持的具有最高优先级的信道(在本示例中，信道1)的信息进行比较，并且首先在流队列中15存储写入了通道1的分段[a]。然后，队列管理单元18将分段[a]的存储位置指定为头部，并且将剩余的分段[b]和分段[c]存储在流队列15中。因此，优先级更高的信道的分段[a]比分段[b]和分段[c]更早地被上传器16读取，并且被发送到分发装置20。注意，分段[b]和分段[c]的存储顺序可以与图12中所示的示例中的存储顺序相反。

在图13中所示的例子中，分段[b]和分段[c]被存储在流队列15中，并且将分段[a]从分段器14a提供给队列管理单元18。在这种情况下，队列管理单元18将分段[a]存储在流队列15的预定区域中，然后将存储位置指定为头部。因此，在分段[b]和分段[c]被更早地存储在流队列15中的情况下，可以优先地将分段[a]发送到分发装置20。换句话说，在流队列15中具有相同时间信息的多个分段下方插入与具有更高优先级的信道相对应的分段。注意，在具有更早时间信息的多个分段被存储在流队列15中的情况下，仅执行改变分段的阵列的处理，并且在某些情况下，不将分段[a]的存储位置指定为头部。

注意，尽管图12和图13示出了具有相同时间信息的三个分段的示例，对具有其他相同时间信息的多个分段执行类似的处理。

图14是示出由发送装置10a执行的示例性处理过程的流程图。在步骤s110，编码器11a对与信道1相对应的内容进行编码。然后，多路复用器12a生成ts，并且将生成的ts提供给分段器14a。然后，处理进行到步骤s120。

在步骤s120，分段器14a通过划分内容数据来生成作为示例性发送数据的分段，并且将生成的分段提供给队列管理单元18。注意，上述处理类似地被其他编码器、多路复用器和分段器执行。然后，处理进行到步骤s130。

在步骤s130，队列管理单元18确定具有与存储在流队列15中的目标分段的时间信息相同的时间信息的分段是否存在于流队列15中。在步骤s130的确定是否定的情况下，处理进行到步骤s140。在步骤s140，队列管理单元18将存储目标分段存储在由尾部指示的流队列15的尾部结尾(结尾)的区域中。

在步骤s130的确定是肯定的情况下，处理进行到步骤s150。在步骤s150，队列管理单元18根据优先级将存储目标分段存储在流队列15中。例如，在存储目标分段是与具有高优先级的信道相对应的分段的情况下，该分段被存储在流队列15中，使得在具有相同时间信息的多个分段当中优先地发送该分段。在存储目标分段不是与具有高优先级的信道相对应的分段的情况下，存储目标分段被存储在由尾部指示的流队列15的尾部结尾(结尾)的区域中。重复上述每种配置的处理，直到例如内容实况分发结束。

根据上述第二实施例，例如，可以优先地将由大量用户观看的信道的内容数据中包括的分段发送到分发装置20，并且可以有效地上传内容数据。此外，根据第二实施例，可以实现与第一实施例中示例性描述的效果类似的效果。

<3、修改>

尽管以上描述了本技术的实施例，但是本技术不限于这些实施例，而是可以在本技术的技术构思的范围内进行各种修改。

在实施例中，每个分段的长度是一秒，但是不限于此。分段长度可以长于或短于一秒。然而，根据本技术，在分段不在分发装置20处的情况下，在内容分发中在该分段处发生帧丢弃。因此，当分段较长时，帧丢弃发生较长时间，这给观看者带来不适。因此，优选地在考虑网络通信速度和帧丢弃的可允许时间的情况下设置分段长度。

在实施例中，每个子分段设置有指示分段划分的数量的分母、以及指示子分段的顺序的编号。然而，本技术不限于具有分母和分子的标记方法，只要指示分段划分的数量即可。指示分段划分的数量和指示子分段的顺序的编号的任何标记方法都是适用的。例如，并排地提供分段划分的数量和指示子分段的顺序的编号。

在发送装置10中，编码器11可以从上传器16a、16b和16c接收网络通信速度信息，并且可以在通信速度较低的情况下以降低的比特率执行编码。以降低的比特率进行编码导致数据尺寸减小，同时内容的图像质量劣化，因此可以通过具有较低通信速度的网络进行上传。这也适用于发送装置10a中的编码器11a、11b和11c。

在实施例中，多个网络由彼此不同的通信运营商提供，但是本技术不限于由通信运营商提供的所有网络彼此不同的情况。尽管网络的通信运营商优选地彼此均不同，但是除非所有网络都由一个通信运营商提供，否则不排除由一个通信运营商提供一些网络的情况。

实施例中的视频摄像机的数量不限于一个或三个。此外，视频摄像机的操作者的数量不需要等于视频摄像机的数量。例如，一个操作者可以在检查多个视频摄像机的视频的同时控制多个视频摄像机中的每个的图像捕获范围、图像捕获方向等。此外，与发送装置10等连接的外部装置可以仅是麦克风，或者可以是被配置为生成内容的任何装置。此外，可以将已经完成的内容(诸如预先产生的电影或记录的实况运动图像)提供给发送装置。

被配置为例如记录内容的外部装置(例如视频摄像机)可以具有发送装置的功能，并且可以从外部装置直接执行向分发装置20的上传。

在第二实施例中，如图15中所示，可以在发送数据是通过进一步划分每个分段而生成的子分段的情况下执行类似的处理。例如，队列管理单元18可以在流队列15中存储与信道1相对应的子分段(在图15中所示的示例中，子分段[a1]、子分段[a2]和子分段[a3])，以便优先地发送子分段。

在上述第二实施例中，编码定时被用作示例性时间信息，但是时间信息可以是由视频摄像机1a等执行的图像捕获的图像捕获时间，或者可以是可以用来区分分段(被划分成组)的信息(例如，分段号)。

当在相同的定时捕获多个分段并且提供编码处理等时，由于在一些情况下视频摄像机或编码器之间的能力差异或处理速度差异而导致在添加到每个分段的时间信息中出现细微差异。在上述第二实施例中，根据优先级将具有相同时间信息的多个分段存储在流队列15中，但是可以根据优先级将具有对应时间信息的多个分段存储在流队列15中。具有对应时间信息的多个分段不仅包括具有相同时间信息的多个分段，而且包括例如由时间信息指示的时间差在预定范围内的多个分段。

在上述第二实施例中，根据内容数据的观看状态确定优先级，但是本技术不限于此。可以根据内容数据的观看状态实时地改变优先级。此外，例如，可以通过分析由每个视频摄像机捕获的内容数据的内容来确定优先级。在特定示例中，可以提供被配置为检测声音量水平的水平检测单元，并且可以优先地发送与检测到等于或大于特定量的声音量的信道相对应的发送数据。因此，例如，可以优先地发送与关注于讨论会话中的参与者的信道相对应的发送数据。此外，可以通过组合多种方法来确定优先级。例如，可以通常基于内容数据的观看状态来确定优先级，并且在特定信道的内容中检测到等于或高于特定水平的声音量水平的情况下，可以改变优先级，使得该信道具有高优先级。此外，优先级可以预先固定。

在上述第二实施例中，优先级具有一个级别(信道具有高优先级)，但是本技术不限于此。例如，优先级可以具有多个级别：高级别、中级别和低级别。

根据上述第二实施例的发送装置10a可以被配置为包括队列管理单元18的管理装置。

本技术可以具有如下配置。

(1)一种管理装置，包括：存储管理单元，所述存储管理单元被配置为根据优先级在存储单元中存储通过划分多个内容数据而生成的多个发送数据当中具有对应时间信息的多个发送数据，所述多个内容数据是针对每个信道而编码的。

(2)根据(1)所述的管理装置，其中，所述存储管理单元在所述存储单元中存储具有更高优先级的发送数据，使得该发送数据在具有对应时间信息的多个发送数据当中被更早地发送。

(3)根据(1)或(2)所述的管理装置，其中，对应于每个信道的图像捕获装置所捕获的内容被编码。

(4)根据(1)至(3)中任一项所述的管理装置，其中，所述时间信息是以下各项中的任一种：内容被编码的定时，内容被捕获的图像捕获时间，以及用于区分发送数据而添加的信息。

(5)根据(1)至(4)中任一项所述的管理装置，其中，优先级是根据通过分析内容数据的观看状态和内容数据的内容而获得的分析结果中的至少一个来确定的。

(6)根据(1)至(5)中任一项所述的管理装置，其中，优先级是预先设定的。

(7)根据(1)至(6)中任一项所述的管理装置，其中，所述存储管理单元根据优先级在所述存储单元中存储具有相同时间信息的发送数据。

(8)根据(1)至(7)中任一项所述的管理装置，还包括：编码器，所述编码器被配置为对内容进行编码。

(9)根据(1)至(8)中任一项所述的管理装置，还包括所述存储单元。

(10)根据(1)至(9)中任一项所述的管理装置，还包括：多个上传器，所述多个上传器中的每个被配置为通过网络上传从所述存储单元中读取的发送数据。

(11)根据(1)至(10)中任一项所述的管理装置，其中，发送数据是通过划分内容数据而生成的分段。

(12)根据(1)至(10)中任一项所述的管理装置，其中，发送数据是通过进一步划分通过划分内容数据而生成的分段而生成的子分段。

(13)一种管理方法，其中，存储管理单元根据优先级在存储单元中存储通过划分多个内容数据而生成的多个发送数据当中具有对应时间信息的多个发送数据，所述多个内容数据是针对每个信道而编码的。

<4、示例性应用>

根据本公开的技术可应用于各种产品。例如，根据本公开的技术可以应用于手术室系统。在对手术室系统的应用中，在手术室中获取的图像和视频可以通过网络被上传到分发装置20，并且被分发到诸如终端装置30的外部装置。

图16是示意性地示出可应用根据本公开的技术的手术室系统5100的整体配置的图。如图16中所示，手术室系统5100包括安装在手术室中并通过视听控制器(av控制器)5107和手术室控制装置5109以协作方式相互连接的装置。

可以在手术室中安装各种装置。图16示例性地示出用于内窥镜手术的各种装置5101、设置在手术室的天花板上并且被配置为捕获操作者的手的图像的天花板摄像机5187、设置在手术室的天花板上并且被配置为捕获整个手术室的情形的图像的手术室摄像机5189、多个显示装置5103a至5103d、记录器5105、病床5183和照明装置5191。

在这些装置中，装置5101属于如稍后所述的内窥镜手术系统5113，并且包括内窥镜、被配置为显示由内窥镜捕获的图像的显示装置等。属于内窥镜手术系统5113的每个装置也称为医疗设备。同时，显示装置5103a至5103d、记录器5105、病床5183和照明装置5191是与内窥镜手术系统5113分开地提供给例如手术室的装置。不属于内窥镜手术系统5113的这些装置也被称为非医疗器械设备。视听控制器5107和/或手术室控制装置5109协同地控制这些医疗设备和非医疗设备的操作。

视听控制器5107控制与医疗设备和非医疗设备处的图像显示有关的整体处理。具体地，在手术室系统5100中包括的装置中，装置5101、天花板摄像机5187和手术室摄像机5189可以是具有发送要在手术中显示的信息(下文中也被称为显示信息)功能的装置(下文中也被称为发送源装置)。此外，显示装置5103a至5103d可以是输出显示信息的装置(下文中也被称为输出目的地装置)。此外，记录器5105可以是与发送源装置和输出目的地装置相对应的装置。视听控制器5107控制发送源装置和输出目的地装置的操作，以从发送源装置获取显示信息，并且将显示信息发送到输出目的地装置以进行显示或记录。注意，显示信息包括在手术中捕获的各种图像，与手术有关的各种类型的信息(例如，患者身体信息、过去检查结果、关于手术方法的信息等)等。

具体地，装置5101可以将关于由内窥镜捕获的患者体腔中的手术部位的图像的信息作为显示信息发送到视听控制器5107。此外，天花板摄像机5187可以将关于由天花板摄像机5187捕获的操作者的手的图像的信息作为显示信息进行发送。此外，手术室摄像机5189可以将关于由手术室摄像机5189捕获的示出整个手术室的情形的图像的信息作为显示信息进行发送。注意，在手术室系统5100包括具有图像捕获功能的任何其他装置的情况下，视听控制器5107可以获取关于由其他装置捕获的图像的信息作为来自其他装置的显示信息。

另外，例如，关于过去捕获的这些图像的信息被视听控制器5107记录在记录器5105中。视听控制器5107可以从记录器5105获取关于过去捕获的图像的该信息作为显示信息。注意，可以预先在记录器5105中记录与手术有关的各种类型的信息。

视听控制器5107在作为输出目的地装置的显示装置5103a至5103d中的至少一个上显示所获取的显示信息(换句话说，在手术中捕获的图像、以及与手术有关的各种类型的信息)。在所示的示例中，显示装置5103a是从手术室的天花板悬挂的显示装置，显示装置5103b被安装在手术室的墙壁表面上，显示装置5103c被安装在手术室中的桌子上，而显示装置5103d是具有显示功能的移动装置(例如，平板个人计算机(pc))。

此外，尽管图16中未示出，但是手术室系统5100可以包括在手术室外部的装置。在手术室外部的装置的示例包括与在医院内部和外部建立的网络连接的服务器、由医务人员使用的pc、安装在医院的会议室中的投影仪等。在这样的外部装置在医院外部的情况下，视听控制器5107可以通过电视会议系统等在其他医院处的显示装置上显示所述显示信息以进行远程医疗护理。

手术室控制装置5109控制除了与非医疗设备处的图像显示有关的处理之外的整体处理。例如，手术室控制装置5109控制病床5183、天花板摄像机5187、手术室摄像机5189和照明装置5191的驱动。

手术室系统5100设置有集成操作面板5111，以及用户可以通过集成操作面板5111向视听控制器5107提供图像显示指令，并且向手术室控制装置5109提供关于非医疗设备的操作的指令。集成操作面板5111是通过显示装置的显示表面上的触摸面板来实现的。

图17是示出集成操作面板5111的操作屏幕上的示例性显示的图。图17示例性地示出与手术室系统5100设置有两个显示装置作为输出目的地装置的情况相对应的操作屏幕。如图17中所示，操作屏幕5193包括发送源选择区域5195、预览区域5197和控制区域5201。

发送源选择区域5195与指示由发送源装置保持的显示信息的缩略图屏幕相关联地显示手术室系统5100中包括的发送源装置。用户可以从发送源选择区域5195中显示的发送源装置当中选择要在显示装置上显示的显示信息。

预览区域5197显示在作为输出目的地设备的两个显示装置(监视器1和监视器2)上显示的屏幕的预览。在所示的示例中，在每个显示装置处的pinp中显示四个图像。这四个图像对应于从自发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，而其余三个图像以相对小的尺寸显示为子图像。用户可以通过适当地选择各自显示四个图像的区域来将主图像与子图像互换。此外，状态显示区域5199设置在显示四个图像的区域下方，并且可以适当地在该区域中显示与手术有关的状态(例如，手术的经过时间、患者的身体信息等)。

控制区域5201包括：发送源操作区域5203，在发送源操作区域5203中显示用于对发送源装置执行操作的图形用户界面(gui)组件；以及输出目的地操作区域5205，在输出目的地操作区域5205中显示用于对输出目标装置执行操作的gui组件。在所示的示例中，发送源操作区域5203包括用于对具有图像捕获功能的发送源装置的摄像机执行各种操作(平移、倾斜和变焦)的gui组件。用户可以通过适当地选择这些gui组件来操作发送源装置的摄像机的操作。注意，尽管未示出，但是在发送源选择区域5195中选择的发送源装置是记录器的情况下(换句话说，在预览区域5197中显示过去记录在记录器中的图像的情况下)，发送源操作区域5203可以包括用于执行诸如图像的回放、停止、倒带和快进之类的操作的gui组件。

此外，输出目的地操作区域5205包括用于对作为输出目的地装置的显示装置处的显示执行各种操作(调换、按动、颜色调整、对比度调整、以及2d显示与3d显示之间的切换)的gui组件。用户可以通过适当地选择这些gui组件来操作显示装置处的显示。

注意，集成操作面板5111上显示的操作屏幕不限于所示的示例，而是用户可以能够通过集成操作面板5111输入对可以通过手术室系统5100中包括的视听控制器5107和手术室控制装置5109来控制的每个装置的操作。

图18是示出应用上述手术室系统的手术的示例性情形的图。天花板摄像机5187和手术室摄像机5189设置在手术室的天花板上，并且可以捕获对病床5183上的患者5185的患部进行治疗的操作者(医生)5181的手的图像、以及整个手术室的情形。天花板摄像机5187和手术室摄像机5189可以具有例如放大率调整功能、焦距调整功能和图像捕获方向调整功能。照明装置5191设置在手术室的天花板上，并且利用光至少照射操作者5181的手。照明装置5191可以适当地调整例如照射光的量、波长(颜色)和方向。

如图11中所示，内窥镜手术系统5113、病床5183、天花板摄像机5187、手术室摄像机5189和照明装置5191通过视听控制器5107和手术室控制装置5109(图18中未示出)以协作方式彼此连接。集成操作面板5111设置在手术室中，并且如上所述，用户可以适当地通过集成操作面板5111来操作手术室中的这些设备。

以下详细描述内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115、其他手术设备5131、支撑内窥镜5115的支撑臂装置5141、以及安装有用于内窥镜手术的各种装置的推车5151。

在内窥镜手术中，不是切开腹壁以打开腹部，而是将多个被称为穿刺器(troca)5139a至5139d的管状穿刺设备穿刺到腹壁中。然后，通过穿刺器5139a至5139d将内窥镜5115的镜筒5117和其他手术设备5131插入到患者5185的体腔中。在所示的示例中，将作为其他手术设备5131的气腹管5133、能量治疗设备5135和钳子5137插入到患者5185的体腔中。此外，能量治疗设备5135是用于通过施加高频电流或超声波振动来执行组织的切开和分离、血管的密封等的治疗设备。然而，所示的手术设备5131仅仅是示例性的，并且手术设备5131可以是通常在内窥镜手术中使用的各种手术设备，例如，诸如镊子和牵开器。

显示装置5155显示由内窥镜5115捕获的患者5185的体腔中的手术部位的图像。在实时地观看显示装置5155上显示的手术部位的图像的同时，操作者5181例如通过使用能量治疗设备5135和钳子5137来执行治疗，诸如切开患部。注意，尽管未示出，但是在手术中，气腹管5133、能量治疗设备5135和钳子5137由操作者5181或助手等支撑。

(支撑臂装置)

支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括关节部分5147a、5147b和5147c、以及连杆5149a和5149b，并且在臂控制装置5159的控制下被驱动。内窥镜5115由臂单元5145支撑，并且其位置和姿势被控制。因此，可以实现内窥镜5115的稳定位置固定。

(内窥镜)

内窥镜5115包括镜筒5117和摄像头5119，镜筒5117的从前端延伸预定长度的区域插入到患者5185的体腔中，摄像头5119与镜筒5117的基端连接。在所示的示例中，内窥镜5115是所谓的包括刚性镜筒5117的刚性镜，但是内窥镜5115可以是所谓的包括柔性镜筒的柔性镜。

镜筒5117的前端设置有开口，物镜安装到该开口。内窥镜5115与光源装置5157连接，以及由光源装置5157生成的光通过在镜筒5117内部延伸的光导器被引导到镜筒的前端，并且通过物镜朝向患者5185的体腔中的观察目标发射。注意，内窥镜5115可以是直视镜、斜视镜或侧视镜。

光学系统和图像传感器被设置在摄像头5119内部，并且来自观察目标的反射光(观察光)通过光学系统会聚到图像传感器上。图像传感器对观察光进行光电转换，并且生成与观察光对应的电信号，换句话说，与观察图像对应的图像信号。该图像信号作为原始(raw)数据被发送到摄像机控制单元(ccu)5153。注意，摄像头5119具有通过适当地驱动其光学系统来调整其放大率和焦距的功能。

注意，为了处理例如立体观看(3d显示)等，摄像头5119可以包括多个图像传感器。在这种情况下，多个中继光学系统被设置在镜筒5117内部，以将观察光引导到多个图像传感器中的每个。

(安装在推车上的各种装置)

ccu5153通过例如中央处理单元(cpu)或图形处理单元(gpu)来实现，并且控制内窥镜5115和显示装置5155的整体操作。具体地，ccu5153对从摄像头5119接收到的图像信号提供诸如图像显影处理(去马赛克处理)之类的各种类型的图像处理，例如，以用于基于图像信号显示图像。ccu5153将提供有图像处理的图像信号提供给显示装置5155。此外，ccu5153与图11中所示的视听控制器5107连接。ccu5153还将提供有图像的图像信号提供给视听控制器5107。此外，ccu5153将控制信号发送到摄像头5119以控制其驱动。控制信号可以包括与图像捕获条件相关联的信息，诸如放大率和焦距。与图像捕获条件相关联的信息可以通过输入装置5161来输入，或者可以通过上述集成操作面板5111来输入。

显示装置5155在ccu5153的控制下，基于由ccu5153提供图像处理的图像信号来显示图像。在内窥镜5115例如处理以诸如4k(水平像素数3840×垂直像素数2160)或8k(水平像素数7680×垂直像素数4320)之类的高分辨率进行的图像捕获的情况下，和/或在内窥镜5115处理3d显示的情况下，显示装置5155可以分别是能够执行高分辨率显示的装置和/或能够执行3d显示的装置。在显示装置5155是与以诸如4k或8k之类的高分辨率进行的图像捕获相兼容的情况下，通过使用尺寸为55英寸或更大的显示装置5155，可以获得更加身临其境的感觉。此外，可以根据用途设置具有彼此不同的分辨率和尺寸的多个显示装置5155。

光源装置5157例如由诸如发光二极管(led)的光源来实现，并且在手术部位的图像捕获时向内窥镜5115提供照射光。

臂控制装置5159由诸如cpu的处理器来实现，并且当根据预定控制方案控制支撑臂装置5141的臂单元5145的驱动时，根据预定的计算机程序进行操作。

输入装置5161是内窥镜手术系统5113的输入接口。用户可以通过输入装置5161向内窥镜手术系统5113输入各种类型的信息和指令。例如，用户通过输入装置5161输入与手术有关的各种类型的信息，诸如患者的身体信息和关于手术方法的信息。此外，例如，用户通过输入装置5161输入用于驱动臂单元5145的指令、用于改变由内窥镜5115进行的图像捕获的条件(诸如照射光的类型、放大率和焦距)的指令、用于驱动能量治疗设备5135的指令等。

输入装置5161的类型不受限制，而是输入装置5161可以是众所周知的各种输入装置。输入装置5161可以是例如鼠标、键盘、触摸板、开关、脚踏开关5171和/或杆。在输入装置5161是触摸面板的情况下，触摸面板可以设置在显示装置5155的显示表面上。

替选地，输入装置5161可以例如是由用户佩戴的装置，诸如可穿戴式眼镜装置或头戴式显示器(hmd)，并且根据由装置检测到的用户的手势和视线来执行各种类型的输入。此外，输入装置5161包括能够检测用户的运动的摄像机，并且根据从由摄像机捕获的视频检测到的用户的手势和视线来执行各种类型的输入。另外，输入装置5161包括能够收集用户的语音的麦克风，并且通过麦克风经由语音执行各种类型的输入。以这种方式，可以通过输入装置5161以非接触方式输入各种类型的信息，并且特别地，属于清洁区域的用户(例如，操作者5181)可以以非接触方式操作属于不清洁区域的设备。此外，用户可以在不从设备上移开手的情况下操作所保持的手术设备，这导致改进的对用户的便利性。

治疗设备控制装置5163控制能量治疗装置5135的驱动，例如以用于组织烧灼、切口或血管密封。为了获得内窥镜5115的视场和操作者的工作空间，气腹设备5165通过气腹管5133将气体输送到患者5185的体腔中以扩展体腔。记录器5167是能够记录与手术有关的各种类型的信息的装置。打印机5169是能够以文本、图像、图形等各种格式打印与手术有关的各种类型的信息的装置。

下面更详细地描述内窥镜手术系统5113的特别特性配置。

(支撑臂装置)

支撑臂装置5141包括作为基座的基座单元5143、以及从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个关节部分5147a、5147b和5147c、以及通过关节部分5147b彼此耦接的多个连杆5149a和5149b。然而，在图13中，为了简化，以简化的方式示出了臂单元5145的配置。实际上，例如，可以适当地设定关节部分5147a至5147c以及连杆5149a和5149b的形状、数量和布置、以及关节部分5147a至5147c的旋转轴的方向，使得臂单元5145具有期望的自由度。例如，臂单元5145优选地具有六个或更多个自由度。因此，内窥镜5115可以在臂单元5145的可移动范围内自由移动，因此内窥镜5115的镜筒5117可以沿期望的方向插入到患者5185的体腔中。

关节部分5147a至5147c各自设置有致动器，并且可通过致动器的驱动绕预定的旋转轴旋转。臂控制装置5159控制致动器的驱动以控制关节部分5147a至5147c中的每个的旋转角度，从而控制臂单元5145的驱动。因此，可以控制内窥镜5115的位置和姿势。在这种情况下，臂控制装置5159可以按照力控制、位置控制等各种众所周知的控制方案来控制臂单元5145的驱动。

例如，当操作者5181适当地执行通过输入装置5161(包括脚踏开关5171)输入的操作时，臂控制装置5159可以根据适当地输入的操作来控制臂单元5145的驱动，从而控制内窥镜5115的位置和姿势。通过该控制，臂单元5145的前端处的内窥镜5115可以从可选位置移动到另一个可选位置，然后固定地支撑在移动后的位置处。注意，臂单元5145可以按照所谓的主从方案来操作。在这种情况下，臂单元5145可以由用户通过安装在与手术室分开的位置处的输入装置5161来远程地操作。

此外，在施加力控制的情况下，臂控制装置5159可以执行所谓的动力辅助控制，其中关节部分5147a至5147c的致动器被驱动，使得臂单元5145接收来自用户的外力并且平顺地沿着外力移动。因此，当在直接接触臂单元5145的同时移动臂单元5145时，用户可以利用相对较弱的力移动臂单元5145。因此，可以通过更简单的操作来更直观地移动内窥镜5115，这导致改进的对用户的便利性。

在内窥镜手术中，内窥镜5115通常由被称为观测镜人员(scopist)的医生支撑。然而，内窥镜5115的位置可以不是手动地而是通过使用支撑臂装置5141来更可靠地固定，因此可以可靠地获得手术部位的图像，这导致平稳的手术。

注意，臂控制装置5159不一定需要设置到推车5151。此外，臂控制装置5159不一定需要是单个装置。例如，臂控制装置5159可以设置到支撑臂装置5141的臂单元5145的关节部分5147a到5147c中的每个，以通过多个臂控制装置5159的协作来实现对臂单元5145的驱动控制。

(光源装置)

当捕获手术部位的图像时，光源装置5157将照射光提供给内窥镜5115。光源装置5157是通过例如led、激光束源或由其组合构成的白光源来实现的。在通过rgb激光束源的组合来实现白光源的情况下，可以高准确度地控制每种颜色(每个波长)的输出强度和输出定时，因此光源装置5157可以调节所捕获的图像的白平衡。此外，在这种情况下，通过以时分方式利用来自各个rgb激光束源的激光束照射观察目标并且与照射的定时同步地控制摄像头5119的图像传感器的驱动，可以以时分方式来捕获与rgb中的每个相对应的图像。根据该方法，可以在没有设置到图像传感器的滤色器的情况下获得彩色图像。

此外，可以控制光源装置5157的驱动，以按照每个预定时间改变输出光的强度。通过与光强度的改变的定时同步地控制摄像头5119的图像传感器的驱动而以时分方式获取图像并且合成图像，可以生成没有所谓的黑色缺陷和过度曝光的高动态范围图像。

此外，光源装置5157可以能够提供对应于特殊光观察的预定波长带的光。特殊光观察包括例如所谓的窄带光观察(窄带成像)，其通过利用身体组织处的光吸收的波长依赖性，通过发射比在正常观察时的照射光(换句话说，白光)的带更窄的带的光，以高对比度执行诸如粘膜表面层中的血管之类的预定组织的图像捕获。替选地，特殊光观察可以包括通过由激发光照射引起的荧光获得图像的荧光观察。在荧光观察中，例如，可以通过利用激发光照射身体组织来观察来自身体组织的荧光(自发荧光观察)，或者可以通过将诸如吲哚菁绿(icg)之类的试剂局部地注射到身体组织中并且利用与试剂的荧光波长相对应的激发光照射身体组织来获得荧光图像。光源装置5157可以能够提供与这样的特殊光观察相对应的窄带光和/或激发光。

(摄像头和ccu)

下面参考图19更详细地描述内窥镜5115的摄像头5119和ccu5153的功能。图19是示出图18中所示的摄像头5119和ccu5153的示例性功能配置的框图。

如图19中所示，摄像头5119包括作为其功能的透镜单元5121、图像捕获单元5123、驱动单元5125、通信单元5127和摄像头控制单元5129。此外，ccu5153包括作为其功能的通信单元5173、图像处理单元5175和控制单元5177。摄像头5119和ccu5153通过传输电缆5179彼此连接，以在它们之间执行双向通信。

下面首先描述摄像头5119的功能配置。透镜单元5121是设置在与镜筒5117的连接部分处的光学系统。从镜筒5117的前端获取的观察光被引导到摄像头5119并且入射在透镜单元5121上。透镜单元5121是通过包括变焦透镜和聚焦透镜的多个透镜的组合来实现的。透镜单元5121的光学特性被调节，使得观察光会聚在图像捕获单元5123的图像传感器的光接收表面上。此外，变焦透镜和聚焦透镜可在光轴上移动，以用于调节所捕获的图像的放大率和焦点。

图像捕获单元5123包括图像传感器并且设置在透镜单元5121之后。已经通过透镜单元5121的观察光会聚在图像传感器的光接收表面上，并且通过光电转换来生成与观察图像相对应的图像信号。由图像捕获单元5123生成的图像信号被提供给通信单元5127。

包括在图像捕获单元5123中的图像传感器例如是互补金属氧化物半导体(cmos)类型的图像传感器，其包括拜耳阵列并且能够捕获彩色图像。注意，图像传感器可以能够例如以等于4k或更高的高分辨率来捕获图像。当可以以高分辨率获得手术部位的图像时，操作者5181可以更详细地理解手术部位的情形并且更平稳地进行手术。

此外，包括在图像捕获单元5123中的图像传感器包括分别用于获取对应于3d显示的右眼和左眼的图像信号的一对图像传感器。当执行3d显示时，操作者5181可以更准确地识别手术部位处的活体组织的深度。注意，在图像捕获单元5123是多板类型的情况下，为各个图像传感器提供透镜单元5121的多个系统。

此外，图像捕获单元5123不一定需要被设置到摄像头5119。例如，图像捕获单元5123可以紧接在物镜之后设置在镜筒5117内部。

驱动单元5125由致动器来实现，并且在摄像头控制单元5129的控制下，将透镜单元5121的变焦透镜和聚焦透镜中的每个在光轴上移动预定距离。因此，可以适当地调整由图像捕获单元5123捕获的图像的放大率和焦点位置。

通信单元5127由用于与ccu5153通信各种类型的信息的通信装置来实现。通信单元5127通过传输电缆5179将从图像捕获单元5123获取的图像信号作为原始(raw)数据发送到ccu5153。在这种情况下，优选地通过光通信发送图像信号，从而以低延迟显示手术部位的捕获图像。在手术中，操作者5181在观察捕获图像上的患部状态的同时执行手术，因此需要尽可能实时地显示手术部位的运动图像，以进行更安全和更可靠的手术。在执行光通信的情况下，通信单元5127设置有光电转换模块，该光电转换模块被配置为将电信号转换为光信号。图像信号被光电转换模块转换为光信号，然后通过传输电缆5179被发送到ccu5153。

此外，通信单元5127从ccu5153接收用于控制摄像头5119的驱动的控制信号。例如，控制信号包括与图像捕获条件相关联的信息，诸如用于指定捕获图像的帧速率的信息、用于指定图像捕获时的曝光值的信息和/或指定捕获图像的放大率和焦点位置的信息。通信单元5127将所接收到的控制信号提供给摄像头控制单元5129。注意，可以通过光通信发送来自ccu5153的控制信号。在这种情况下，通信单元5127设置有光电转换模块，该光电转换模块被配置为将光信号转换为电信号，以及控制信号被光电转换模块转换为电信号，然后被提供给摄像头控制单元5129。

注意，由ccu5153的控制单元5177基于所获取的图像信号自动设置上述图像捕获条件，诸如帧速率、曝光值、放大率和焦点。因此，内窥镜5115具有所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。

摄像头控制单元5129基于通过通信单元5127从ccu5153接收到的控制信号来控制摄像头5119的驱动。例如，摄像头控制单元5129基于用于指定捕获图像的帧速率的信息和/或用于指定图像捕获时的曝光的信息来控制图像捕获单元5123的图像传感器的驱动。此外，例如，摄像头控制单元5129基于用于指定捕获图像的放大率和焦点的信息，通过驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。摄像头控制单元5129还可以具有存储用于识别镜筒5117和摄像头5119的信息的功能。

注意，当透镜单元5121、图像捕获单元5123等被设置在具有高气密性和防水性的密封结构中时，摄像头5119可以具有耐高压灭菌处理的能力。

下面描述ccu5153的功能配置。通信单元5173由用于与摄像头5119通信各种类型的信息的通信装置来实现。通信单元5173通过传输电缆5179接收从摄像头5119发送的图像信号。如上所述，优选地通过光通信发送图像信号。在这种情况下，为了实现光通信，通信单元5173设置有光电转换模块，该光电转换模块被配置为将光信号转换为电信号。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。

此外，通信单元5173向摄像头5119发送用于控制摄像头5119的驱动的控制信号。控制信号可以通过光通信来发送。

图像处理单元5175对作为从摄像头5119发送的原始(raw)数据的图像信号提供各种类型的图像处理。例如，该图像处理包括各种类型的公知的信号处理，诸如显影处理(去马赛克处理)、高图像质量处理(例如，频带强调处理、超分辨率处理、降噪(nr)处理和/或图像模糊校正处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5175对图像信号执行检测处理，以用于执行ae、af和awb。

图像处理单元5175由诸如cpu或gpu之类的处理器来实现，并且上述图像处理和检测处理可以由处理器根据预定计算机程序进行操作来执行。注意，在通过多个gpu实现图像处理单元5175的情况下，图像处理单元5175适当地划分与图像信号有关的信息，并且通过多个gpu并行地执行图像处理。

控制单元5177执行与由内窥镜5115对手术部位的图像捕获以及捕获图像的显示有关的各种控制。例如，控制单元5177生成用于控制摄像头5119的驱动的控制信号。在用户输入图像捕获条件的情况下，控制单元5177基于用户的输入生成控制信号。替选地，在内窥镜5115具有ae功能、af功能和awb功能的情况下，控制单元5177通过根据由图像处理单元5175进行的检测处理的结果适当地计算最佳曝光值、焦距和白平衡来生成控制信号。

此外，控制单元5177基于经受由图像处理单元5175进行的图像处理的图像信号在显示装置5155上显示手术部位的图像。在这种情况下，控制单元5177通过使用各种图像识别技术来识别手术部位图像中的各种对象。例如，控制单元5177可以通过检测例如手术部位图像中包括的对象的边缘的形状或颜色，例如在使用能量治疗设备5135时识别诸如镊子之类的手术设备、特定活体部位、出血或模糊不清之物(mist)。在显示装置5155上显示捕获图像时，控制单元5177使用识别结果，以叠加方式在手术部位的图像上显示各种类型的手术支持信息。当手术支持信息以叠加方式被显示并且被呈现给操作者5181时，手术可以以更安全和更可靠的方式进行。

连接摄像头5119和ccu5153的传输电缆5179是与电信号通信相兼容的电信号电缆，与光通信相兼容的光纤或其复合电缆。

这里，在所示的示例中，通过传输电缆5179执行有线通信，但是可以以无线方式执行摄像头5119与ccu5153之间的通信。在以无线方式执行它们之间的通信的情况下，不需要将传输电缆5179放置在手术室中，从而防止传输电缆5179干扰手术室中的医务人员的移动的情形。

以上描述了可应用根据本公开的技术的示例性手术室系统5100。注意，以上描述是通过其中应用手术室系统5100的医疗系统是内窥镜手术系统5113的示例来进行的，但是手术室系统5100的配置不限于该示例。例如，手术室系统5100可以应用于检查柔性内窥镜系统或显微镜手术系统而不是内窥镜手术系统5113。

根据本公开的技术可以以较小的延迟将捕获的手术部位图像和视频输出到外部显示装置，从而提高远程医疗护理中的诊断的准确性。

参考符号列表

1a，1b，1c视频摄像机

10a发送装置

11a，11b，11c编码器

14a，14b，14c分段器

15流队列

16a，16b，16c上传器

18队列管理单元