具有图像处理功能的片上系统及其运行方法与流程

本发明涉及一种具有图像处理功能的片上系统，更具体地讲，涉及一种具有用于图像处理的单独的协处理器的片上系统。

背景技术：
目前，图像信号处理系统(ISPsystem)的解决方案一般可分为两种。一种方案为，将图像处理模块和图像传感器（例如，摄像头）结合在一起并设置于外部，然后由片山系统（SoC）对图像处理模块处理后的图像信号进行处理；而另一种方案为，将图像信号处理模块内置放在SoC内部，SoC直接接收图像传感器所传送的信号。当图像信号处理模块放在SOC内部时，一般由主中央处理器来进行配置控制。图1为示出根据现有技术的SoC的框图。图1所示的SoC为如上所述的基于第二种方案的SoC。如图1所示，现有技术的具有图像处理功能的SoC10包括主处理器（例如，CPU）11和图像信号处理系统12。由外部的图像传感器20所感测的图像数据被传送到图像信号处理系统12，然后由主处理器11控制图像信号处理系统12来处理所接收的图像信号。但是，随着半导体集成化程度的提高，一个SoC所要执行的操作也越来越多，从而加重了主处理器的负担。因此，当主处理器的负荷很重的时候，会导致图像信号处理性能下降。并且，主处理器在进行处理图像信号时能耗过大。

技术实现要素：
鉴于现有技术中存在的上述问题，本发明提供了一种具有用于图像处理的单独的协处理器的片上系统。根据本发明的一方面，提供了一种具有图像处理功能的片上系统包括：主处理器，被构造为控制所述片上系统的整体操作；图像传感器接口模块，被构造为从连接到所述片上系统的图像传感器接收图像数据并执行图像数据格式转换来将接收的图像数据转换为图像信号；图像信号处理模块，被构造为从所述图像传感器接口模块接收经转换的图像信号并对所接收的图像信号执行图像处理；协处理器，被构造为控制图像传感器接口模块和图像信号处理模块的操作。优选地，在所述片上系统启动时，协处理器执行对于图像传感器接口模块和图像信号处理模块的初始化配置，并根据图像处理置配置信息而确定图像信号处理模块所要执行的操作。优选地，在所述片上系统启动时，协处理器通过图像传感器发现操作而确定连接的图像传感器的特性，并根据确定的图像传感器的特性而配置图像传感器接口模块的图像数据接收格式以及图像传感器接口模块的转换后的图像信号格式和图像信号处理模块所接收的图像信号格式。优选地，图像传感器接口模块包括：高速接口，从所述图像传感器接收串行高速图像数据；串并解包模块，将接收的串行告诉图像数据转换为并行图像数据；校准模块，根据协处理器的配置将并行图像数据转换为图像信号。优选地，协处理器通过配置对应寄存器来执行对于图像传感器接口模块和图像信号处理模块的初始化配置。根据本发明的另一方面，提供了一种具有图像处理功能的片上系统的运行方法，其包括如下步骤：响应于主控制器的协处理启动命令，协处理器执行对于图像传感器接口模块和图像信号处理模块的初始化配置；响应于来自主控制器的图像处理开始命令，协处理器控制图像传感器接口模块和图像信号处理模块执行图像处理操作。优选地，所述运行方法还包括：响应于来自主控制器的关于移交图像处理控制权的命令，协处理器停止对于图像传感器接口模块和图像信号处理模块的图像处理操作的控制，由主控制器控制对于图像传感器接口模块和图像信号处理模块的图像处理操作。优选地，所述执行初始化配置的步骤包括：协处理器通过图像传感器发现操作而确定连接的图像传感器的特性；协处理器根据确定的图像传感器的特性而配置图像传感器接口模块的图像数据接收格式。优选地，所述执行初始化配置的步骤还包括：协处理器根据所述图像传感器的特性而配置图像传感器接口模块的转换后的图像信号格式和图像信号处理模块所接收的图像信号格式。优选地，所述执行初始化配置的步骤包括：协处理器根据图像处理置配置信息而确定图像信号处理模块所要执行的。如上所述，根据本发明所提出的具有图像处理功能的SOC，SOC包含了专用协处理器。当专用协处理器执行图像信号初始化配置时，主中央处理器可并行进行其他工作，降低了主中央处理器的负荷，提升了主中央处理器的性能。同时，当专用协处理器进行控制时，主中央处理器可处于空闲状态，充分降低了系统功耗，提升了图像信号处理系统的独立性。另外，该SoC也可配置成主处理器控制整个内置图像信号处理系统，从而极大提升了软件解决方案的灵活性。附图说明通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面和优点将会变得清楚和更易于理解，其中：图1为示出根据现有技术的具有图像处理功能的片上系统（SoC）的框图；图2为示出根据本发明的一示例性实施例的具有图像处理功能的片上系统（SoC）的框图；图3为示出图2所示的SoC的图像传感器接口模块的框图；图4为示出根据本发明的一示例性实施例的具有图像处理功能的片上系统（SoC）的运行方法的流程图。具体实施方式根据本发明的片上系统（SoC），通过构造用于图像处理的单独的协处理器来将减少主处理器的负担。即，主控制器可以仅向协处理器发出图像处理命令并从协处理器接收图像处理结果，而不参与具体图像处理操作，从而减轻了主控制器的负担。同时，所述主处理器可根据配置(例如，用户的选择)而参与图像处理操作。根据本发明的SoC，在SoC启动时，由协处理器配置与图像处理操作相关的模块，例如图像传感器接口模块和图像信号处理模块。然后，在接收到来自主处理器的图像信号处理命令时，由协处理器控制图像传感器接口模块和图像信号处理模块执行对应操作。例如，由协处理器命令图像传感器接口模块开始执行图像数据接收和转换操作，同时命令图像信号处理模块开始执行图像信号处理操作。另外，可根据用户设置，上述协处理的操作可由主处理器执行。下面，对本发明实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同部件。下面通过参照附图对实施例进行描述以解释本发明。图2为示出根据本发明的示例性实施例的片上系统（SoC）的框图。如图2所示，根据根据本发明的示例性实施例的SoC100包括主处理器110、系统控制模块120、存储器控制模块130、第一桥接模块140、图像传感器接口模块150、第二桥接模块160、图像信号处理模块170和协处理器180。另外，如图2所示，所述SoC还包括第一总线BUS1、第二总线BUS2和第三总线BUS3。系统控制模块120被构造为执行系统时钟复位控制操作。存储器控制模块130被构造为执行与所述SoC连接的存储器读写控制操作。所述存储器可包括DDR存储器、SDR存储器等，但不限于此。第一桥接模块140和第二桥接模块150执行不同总线数据协议的转换。例如，第一桥接模块140执行第一总线BUS1和第二总线BUS2之间的总线数据协议转换，以将来自第二总线BUS2的数据传递到连接到第一总线BUS1的装置或模块或将来自第一总线BUS1的数据传递到连接到第二总线BUS2的装置或模块。第二桥接模块160执行第二总线BUS2和第三总线BUS3之间的总线数据协议转换，以将来自第三总线BUS3的数据传递到连接到第二总线BUS2的装置或模块将来自第二总线BUS2的数据传递到连接到第三总线BUS3的装置或模块。图像传感器接口模块150被构造为从连接到所述SoC100的图像传感器200接收图像数据并执行图像数据格式转换来将接收的图像数据转换为图像信号。图3未示出图2所示的图像传感器接口模块150的一构成示例的框图。如图3所示，图像传感器接口150包括高速接口151、串并解包模块152和校准模块153。高速接口151可从所述图像传感器200接收串行高速度图像数据。串并解包模块152可将高速接口151接收的串行高速图像数据转换为并行图像数据。校准模块153可根据将在下面描述的协处理器180的配置将并行数据转换为图像信号。图像信号处理模块170被构造为从所述图像传感器接口模块150接收经转换的图像信号并对所接收的图像信号执行图像处理。协处理器180被构造为控制图像传感器接口模块150和图像信号处理模块170的操作。例如，协处理器180可在SoC100启动时对图像传感器接口模块150和图像信号处理模块170执行初始化配置。同时，在SoC100启动之后，即运行时，协处理器180可对图像传感器接口模块150和图像信号处理模块170所执行的操作进行控制。在SoC100启动时，协处理器180根据图像传感器200的特性而配置图像传感器接口模块150的图像数据接收格式。由于不同的图像传感器200可连接到SoC100，因此SoC100将接收的图像数据，即图像传感器200所输出的图像数据格式也可以是各种类型，因此需要首先判断图像传感器200所输出的图像数据格式。为此，在SoC100启动时，协处理器180通过图像传感器接口发现操作而发现连接的图像传感器200，并确定图像传感器200的特性。可替换的，在SoC100启动时，协处理器180可根据图像传感器200的特性而还配置图像传感器接口模块150的转换后的图像信号格式。另外，在SoC100启动时，协处理器180根据图像处理配置信息配置图像信号处理模块170所要执行的操作。这里，图像信号处理模块所要执行的操作包括自动对焦、自动曝光、白平衡和特殊效果应用中的至少一种，但不限于此。另外，在SoC100启动之后，即在图像信号处理模块170开始执行操作之后，当检测到图像处理配置信息的改变时，协处理器180重新配置图像信号处理所要执行的操作。这里，在SoC100启动时，协处理器180可通过配置对应寄存器来执行对于图像传感器接口模块150和图像信号处理模块170的初始配置。另外，图形信号处理模块170将完成图像信号处理的图像信号传送给协处理器180，协处理器180例如经由第三总线BUS3和第二桥接模块150，将图像信号出送给主处理器110。虽然上面描述的示例中，由协处理器180执行对于图像传感器接口模块150和图像信号处理模块170的初始化配置和过程控制，但是主处理器110可根据用户的设置而执行上述对于图像传感器接口模块150和图像信号处理模块170的初始化配置和过程控制。即，主处理器110可根据来自用户的指令而向协处理器180发送关于移交图像处理控制权的命令，而接收到该图像处理操作命令的协处理器180将停止图像处理控制，并向主处理110发送作为上述关于移交图像处理控制权的命令的响应的控制权移交消息。接收到该控制权移交消息之后，由于SoC100已经启动，所以不需要执行初始化配置，因此主处理器110仅执行对于图像传感器接口模块150和图像信号处理模块170过程控制。在下一次SoC100启动时，主处理器100执行对于图像传感器接口模块150和图像信号处理模块170的初始化配置。下面，参照图4描述根据本发明的一示例性实施例的具有图像处理功能的片上系统（SoC）的运行方法。这里，结合图2描述所述运行方法。在步骤410，接收到SoC启动命令之后，主处理器110和协处理器180启动。这里，在接收SoC启动命令之后，主处理器110启动并向协处理器180发送协处理启动命令，协处理器180在接收到该协处理器启动命令之后执行启动。在步骤420，协处理器180执行图像传感器接口模块150和图像信号处理模块170的初始化配置。如上结合图2所描述的，协处理器180可通过配置对应寄存器来执行上述初始化配置。同时，协处理器180可通过执行图像传感器接口发现操作而发现连接的图像传感器200，确定图像传感器200的特性，并根据图像传感器200的特性而配置图像传感器接口模块150的图像数据接收格式。可以将经由图像传感器接口模块150转换后的图像信号格式设定为固定图像信号格式，因此在初始化配置时无需配置图像信号格式。可替换的，协处理器180还可配置图像传感器接口模块150的转换后的图像信号格式。此时，协处理器180还可配置图像信号处理模块170所接收的图像信号格式，以通知图像信号处理模块170将接收何种格式的图像信号。协处理器180还根据预先设置的图像处理配置信息配置图像信号处理模块170所要执行的操作。如上所述，图像信号处理模块所要执行的操作包括自动对焦、自动曝光、白平衡和特殊效果应用中的至少一种，但不限于此。在步骤430，协处理器180确定来自主处理器110命令是图像处理开始命令还是关于移交图像处理控制权的命令。若在步骤430接收到图像处理开始命令（例如，开始拍摄或摄影的命令），则在步骤440，协处理器180控制图像传感器接口模块150和图像信号处理模块170执行图像处理操作。协处理器180向图像传感器接口模块150和图像信号处理模块180发送开始指令，而接收到该开始指令的图像传感器接口模块150可经由高速接口151从所述图像传感器200接收串行高速度图像数据，经由串并解包模块152可将高速接口151接收的串行高速图像数据转换为并行图像数据，并经由校准模块153可根据初始化配置而将并行数据转换为图像信号并输出到图像信号处理模块180。图像信号处理模块180可根据初始化配置而执行预定的图像信号处理操作，并将完成图像信号处理操作的图像信号传送给协处理器180。协处理器180例如经由第三总线BUS3和第二桥接模块150，将完成图像信号处理操作的图像信号出送给主处理器110。若在步骤430接收到关于移交图像处理控制权的命令，则在步骤450，接收到该关于移交图像处理控制权的命令的协处理器180将停止图像处理控制，并向主处理110发送作为上述关于移交图像处理控制权的命令的响应的控制权移交消息。接收到该控制权移交消息之后，由于SoC100已经启动，所以不需要执行初始化配置，因此主处理器110仅执行对于图像传感器接口模块150和图像信号处理模块170过程控制。在下一次SoC100启动时，主处理器100执行对于图像传感器接口模块150和图像信号处理模块170的初始化配置。另外，在协处理器180移交控制权之后，从主处理器110接收移交控制权命令，则协处理器180而不是主处理器110执行对于图像传感器接口模块150和图像信号处理模块170过程控制。如上所述，根据本发明所提出的具有图像处理功能的SOC，SOC包含了专用协处理器。当专用协处理器执行图像信号初始化配置时，主中央处理器可并行进行其他工作，降低了主中央处理器的负荷，提升了主中央处理器的性能。同时，当专用协处理器进行控制时，主中央处理器可处于空闲状态，充分降低了系统功耗，提升了图像信号处理系统的独立性。另外，该SoC也可配置成主处理器控制整个内置图像信号处理系统，从而极大提升了软件解决方案的灵活性。虽然已表示和描述了本发明的一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。