摄像装置及摄像系统的制作方法

本发明涉及摄像装置及摄像系统，尤其涉及具有上部的像素部分与下部的信号处理电路部分层叠结构的摄像装置等。

背景技术：

例如，专利文献1中记载了在相机模块内将图像传感器与输出接口单独设置的方案。在这种结构中，无法满足近年来相机模块小型化的要求。

现有技术文献

专利文献1：国际公开第2012/032809号

技术实现要素：

本发明的目的在于有效地满足相机模块小型化的要求。

本发明提供一种摄像装置，其包括：像素部；图像处理部，对由所述像素部生成的图像信号进行处理；编码部，对在所述图像处理部中处理后的图像信号进行编码；以及地址分配部，对在所述编码部中编码后的压缩信号分配地址，所述像素部形成在第一基板，所述图像处理部、所述编码部和所述地址分配部形成在与所述第一基板层叠的第二基板。

在本发明中，像素部形成在第一基板，图像处理部、编码部和地址分配部形成在与第一基板层叠的第二基板。在像素部生成的图像信号由图像处理部处理之后，在编码部进行编码。而且，对编码后的压缩信号利用地址分配部分配地址。

如此在本发明中，在第二基板上形成有图像处理部、编码部和地址分配部，能够有效地满足相机模块小型化的要求。

另外，在本发明中，例如，也可包括将来自地址分配部的信号转换为输出信号并输出到网络的输出部，输出部形成在第二基板。由此，能够实现相机模块的进一步小型化。此外，在本发明中，例如，也可还包括与外部设备之间进行通信并进行对时的时钟同步功能部，时钟同步功能部形成在第二基板。由此，能够与外部设备之间进行高精度的时钟同步，进而能够进行摄像时刻的高精度同步控制。

此外，本发明的其他方面提供一种摄像系统，其包括：摄像装置；以及电子控制单元，经由网络与所述摄像装置连接，所述摄像装置包括：像素部；图像处理部，对由所述像素部生成的图像信号进行处理；编码部，对在所述图像处理部中处理后的图像信号进行编码；以及地址分配部，对在所述编码部中编码后的压缩信号分配地址，所述像素部形成在第一基板，所述图像处理部、所述编码部和所述地址分配部形成在与所述第一基板层叠的第二基板。

根据本发明，能够有效地满足相机模块小型化的要求。另外，在此记载的效果并非限定性，也可以是本发明中记载的任一效果。

附图说明

图1是表示作为实施方式的摄像装置的结构例的图。

图2是用于说明以太网系统部中时钟同步功能的图。

图3是表示应用实施方式的摄像装置的摄像系统的结构例的图。

图4是表示应用实施方式的摄像装置的其他摄像系统的结构例的图。

图5是表示车辆控制系统的概略结构一例的框图。

图6是表示车外信息检测部及摄像部的设置位置一例的说明图。

图7是表示摄像装置的其他结构例的图。

附图标记说明

100，100a···摄像装置

101···上片(第一基板)

102，102a···下片(第二基板)

103···phy片

105···像素部

110···isp部

120，120a···以太网系统部

150-1～150-4···相机(相机模块)

160···开关(以太网开关)

170···ecu

200···车辆

210-1～210-7···相机(相机模块)

220,220-1～220-4···开关(以太网开关)

230···ecu

具体实施方式

下面，对用于实施发明的方式(下面作为“实施方式”)进行说明。另外，按以下顺序进行说明。

1.实施方式

2.相对于移动体的应用例

3.变形例

＜1.实施方式＞

[摄像装置的结构例]

图1表示作为实施方式的摄像装置100的结构例。该摄像装置100包括上片(第一基板)101和下片(第二基板)102，并将其层叠而构成。另外，在图示例中，为了说明方便，将第一片101和第二片102以分离的状态表示。

上片101形成有将进行光电转换的多个像素以行列状排列的像素部105。上片101通过cis(cmosimagesensor：cmos图像传感器)工序形成。下片102形成有以虚线框包围表示的isp(imagesignalprocessor：图像信号处理器)部110和单点划线框包围表示的以太网系统(ethernetsystem)部120。下片102通过通用逻辑(logic)工序形成。另外，“以太网”、“ethernet”是注册商标。

isp部110包括：“cpu”、“ram”、“外围设备(perifheral)”、“cis－if”、“isp”、“mipi-tx”等各部分。众所周知，isp部110对由像素部105得到的图像信号进行白平衡调整、增益调整、变形修正、引导线(guideline)重叠等处理，并将处理后的图像信号以mipi(mobileindustryprocessorinterface：移动行业处理器接口)的串行数据传送规格输出。

以太网系统部120包括：“cpu”、“ram”、“外围设备”、“编译码器(codec)”、“以太网mac”等各部分。以太网系统部120对由isp部110的“isp”处理后的图像信号进行编码，而且生成包含编码后的压缩信号的以太网帧，并将该以太网帧通过mii(mediaindependentinterface：介质独立接口)的接口规格或其派生规格即rgmii(reducedgigabitmediaindependentinterface：精简吉比特介质独立接口)的接口规格等方式输出到phy片103。

“编译码器”部分是对由isp部110的“isp”处理后的图像信号进行编码的部分。例如，以mpeg-4、h264、h265、mjpeg(motionjpeg)等方式进行编码。此外，“以太网mac”部分是分配mac地址等，并生成包含编码的压缩信号的以太网帧的部分。

phy片103将从以太网系统部120的“以太网mac”部分发送来的以太网帧，从逻辑信号转换为实际传送的电信号，并经由以太网线缆发送到网络。

以太网系统部120的“cpu”通过以太网与外部设备之间进行通信。在该实施方式中，该“cpu”根据ieee802.1as规格与外部设备之间进行通信并进行对时。在该情况下，该“cpu”构成为时钟同步功能部。

图2表示四个相机(相机模块)150-1～150-4经由开关(以太网开关)160与ecu(electroniccontrolunit：电子控制单元)170连接而成的摄像系统。各个相机150-1～150-4包括图1所示的摄像装置100及phy片103。根据ieee802.1as规格，在ecu170与相机150-1～150-4之间进行通信并进行对时，能够进行摄像时刻的高精度同步控制。

图3表示摄像系统的结构例。该摄像系统构成为，在车辆200配置五个相机210-1～210-5，各个相机通过以太网线缆与开关(以太网开关)220连接，而且在该开关220连接ecu230。各个相机210-1～210-5包括图1所示的摄像装置100及phy片103。另外，“cis”表示形成在上片101的像素部105，“isp”表示形成在下片102的isp部110，“h264”表示形成在下片102的以太网系统部120。此外，“phy”表示phy片103。在该摄像系统中，作为以太网线缆也可应用双绞线(twisted-paircable)。该情况在以下图4的摄像系统中也相同。

图4表示摄像系统的其他结构例。该摄像系统构成为，在车辆200配置七个相机210-1～210-7，各个相机通过以太网线缆连接于开关(以太网开关)220-1～220-4，而且在开关220-1连接ecu230。各个相机210-1～210-7包括图1所示的摄像装置100及phy片103。另外，“cis”表示形成在上片101的像素部105，“isp”表示形成在下片102的isp部110，“h264”表示形成在下片102的以太网系统部120。此外，“phy”表示phy片103。

在图4的摄像系统的结构例中，使用多个开关220-1～220-4来构成网络，各个相机与邻近存在的开关连接，从而能够缩短从相机至开关的以太网线缆的长度，即便相机个数变多，也能够使配线规整。

如以上说明，在图1所示的摄像装置100中，在下片102上，与isp部110一同形成以太网系统部120，能够有效地满足相机模块小型化的要求。此外，在图1所示的摄像装置100中，以太网系统部120的“cpu”具有与外部设备之间进行通信并进行对时的时钟同步功能部，能够与外部设备之间进行高精度的时钟同步。

＜2.对于移动体的应用例＞

本发明涉及的技术(本技术)能够应用于各种产品。例如，本发明涉及的技术也可作为汽车、电动汽车、混合电动汽车、电动两轮车、自行车、个人移动设备、飞机、无人机、船舶、机器人等任一种移动体上搭载的装置来实现。

图5是表示可应用本发明涉及技术的移动体控制系统的一例的车辆控制系统的概略结构例的框图。

车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图5所示的例子中，车辆控制系统12000包括：驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040、及综合控制单元12050。此外，作为综合控制单元12050的功能结构，图示微型计算机12051、声音图像输出部12052、及车载网络i/f(interface：接口)12053。

驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统相关装置的动作。例如，驱动系统控制单元12010作为如下装置的控制装置来发挥作用：内燃机或驱动用马达等用于产生车辆的驱动力的驱动力产生装置、用于将驱动力传递至车轮的驱动力传递机构、调节车辆的舵角的转向机构、及产生车辆的制动力的制动装置等。

车身系统控制单元12020根据各种程序来控制装配在车体上的各种装置的动作。例如，车身系统控制单元12020作为如下装置的控制装置来发挥作用：无钥匙进入系统、智能钥匙系统、电动车窗装置、或者头灯、尾灯、刹车灯、转向灯或雾灯等各种灯。在该情况下，向车身系统控制单元12020输入从代替钥匙的便携设备发出的电波或者各种开关的信号。车身系统控制单元12020接收上述电波或信号输入，控制车辆的门锁装置、电动车窗装置、灯等。

车外信息检测单元12030对搭载有车辆控制系统12000的车辆的外部信息进行检测。例如，车外信息检测单元12030连接摄像部12031。车外信息检测单元12030使摄像部12031拍摄车外的图像并接收拍摄到的图像。车外信息检测单元12030也可根据接收到的图像，进行人、车、障碍物、标识或路面上的文字等的物体检测处理或者距离检测处理。

摄像部12031是接收光并输出与该光的受光量相应的电信号的光传感器。摄像部12031能够将电信号作为图像输出，也能够将电信号作为测距的信息输出。此外，摄像部12031接收的光既可以是可见光，也可以是红外线等非可见光。

车内信息检测单元12040检测车内的信息。在车内信息检测单元12040连接例如检测驾驶员状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括对驾驶员进行拍摄的相机，车内信息检测单元12040根据从驾驶员状态检测部12041输入的检测信息，既可以计算驾驶员的疲劳程度或者集中程度，也可以判断驾驶员是否困倦。

微型计算机12051能够根据由车外信息检测单元12030或车内信息检测单元12040获取的车内外信息，运算驱动力产生装置、转向机构或制动装置的控制目标值，并向驱动系统控制单元12010输出控制指令。例如，微型计算机12051能够进行协调控制，该协调控制以实现包括避免车辆冲撞或缓和冲击、基于车间距离的跟随行驶、车速维持行驶、车辆冲撞警告、或车辆脱道警告等在内的adas(advanceddriverassistancesystem：高级驾驶辅助系统)功能为目的。

此外，微型计算机12051根据由车外信息检测单元12030或车内信息检测单元12040获取的车辆周围的信息来控制驱动力产生装置、转向机构或制动装置等，由此能够不依赖于驾驶员的操作而进行以自发行驶的自动驾驶等为目的的协调控制。

此外，微型计算机12051能够根据由车外信息检测单元12030获取的车外信息向车身系统控制单元12030输出控制指令。例如，微型计算机12051根据车外信息检测单元12030检测到的先行车或对向车的位置来控制前大灯，能够进行以实现远光灯切换为近光灯等防眩为目的的协调控制。

声音图像输出部12052向能够对车辆搭乗者或车外通知视觉性或听觉性信息的输出装置发送声音及图像中至少一种输出信号。在图5的例子中，作为输出装置例示有扬声器12061、显示部12062及安装面板12063。显示部12062例如也可包括车载显示器及平视显示器中的至少一个。

图6是表示摄像部12031的设置位置例的图。

图6中，作为摄像部12031具有摄像部12101、12102、12103、12104、12105。

摄像部12101、12102、12103、12104、12105例如设置在车辆12100的前鼻、侧视镜、后保险杠、尾门及车室内的前玻璃上部等位置。安装在前鼻的摄像部12101及安装在车室内的前玻璃上部的摄像部12105主要获取车辆12100前方的图像。安装在侧视镜的摄像部12102、12103主要获取车辆12100侧方的图像。安装在后保险杠或尾门的摄像部12104主要获取车辆12100后方的图像。安装在车室内的前玻璃上部的摄像部12105主要用于检测先行车辆或步行者、障碍物、信号灯、交通标识或车线等。

另外，图6表示摄像部12101至12104的摄像范围一例。摄像范围12111表示设置在前鼻的摄像部12101的摄像范围，摄像范围12112、12113分别表示设置在侧视镜的摄像部12102、12103的摄像范围，摄像范围12114表示设置在后保险杠或尾门的摄像部12104的摄像范围。例如，通过使摄像部12101至12104拍摄的图像数据重合，得到从上方观察车辆12100的俯瞰图像。

摄像部12101至12104中的至少一个也可具有获取距离信息的功能。例如，摄像部12101至12104中的至少一个既可以是由多个摄像元件构成的立体相机，也可以是具有相位差检测用像素的摄像元件。

例如，微型计算机12051基于从摄像部12101至12104得到的距离信息，求得至摄像范围12111至12114内的各立体物为止的距离、以及该距离的时间变化(相对于车辆12100的相对速度)，由此尤其能够将位于车辆12100行进路上最近的立体物且与车辆12100在大致相同方向以规定速度(例如，0km/h以上)行驶的立体物作为先行车提取出来。而且，微型计算机12051能够预先设定与先行车的跟前应确保的车间距离，并进行自动刹车控制(也包括跟随停止控制)或自动加速控制(也包括跟随启动控制)等。如此，能够不依赖于驾驶员的操作进行以自发行驶的自动驾驶等为目的的协调控制。

例如，微型计算机12051基于从摄像部12101至12104得到的距离信息，能够将与立体物相关的立体物数据分类为两轮车、普通车辆、大型车辆、步行者、电线杆等其他立体物并提取，并用于障碍物的自动回避。例如，微型计算机12051将车辆12100周边的障碍物识别为车辆12100的驾驶员可辨识的障碍物和难以辨识的障碍物。而且，微型计算机12051判断表示与各障碍物冲撞的危险度的冲撞风险，当冲撞风险为设定值以上而具有冲撞可能性的状况时，经由扬声器12061或显示部12062向驾驶员输出警报，或经由驱动系统控制单元12010进行强制减速或回避操舵，从而能够进行用于回避冲撞的驾驶辅助。

摄像部12101至12104中的至少一个也可以是检测红外线的红外线相机。例如，微型计算机12051能够通过判定摄像部12101至12104的摄像图像中是否存在步行者来识别步行者。上述步行者的识别例如通过如下步骤进行：提取作为红外线相机的摄像部12101至12104的摄像图像中的特征点的步骤；对表示物体轮廓的一系列特征点进行图案匹配处理以判断是否为步行者的步骤。当微型计算机12051判定摄像部12101至12104的摄像图像中存在步行者，并识别出步行者时，声音图像输出部12052控制显示部12062使其对该识别出的步行者重叠显示用于强调的方形轮廓线。此外，声音图像输出部12052也可控制显示部12062使其将表示步行者的图标等显示在期望位置。

以上，对可应用本发明涉及的技术的车辆控制系统的一例进行了说明。本发明涉及的技术可应用在以上说明的结构中的摄像部12031。通过在摄像部12031应用本发明涉及的技术，能够有效地满足相机模块的小型化要求。

＜3.变形例＞

另外，在图1所示的实施方式中，例示了phy片103与摄像装置100分开存在的情况。也可以考虑将具有与该phy片103相同功能的部分形成在下片102。

图7表示该情况下摄像装置100a的结构例。在该图7中，对于与图1对应的部分标注相同符号，适当地省略其详细说明。该摄像装置100a包括上片(第一基板)101和下片(第二基板)102a，并将其层叠而构成。另外，在图示的例子中，为了说明方便，第一片101和第二片102a以分离的状态表示。

在上片101形成有将进行光电转换的多个像素以行列状排列的像素部105。在下片102a形成以虚线框包围表示的isp(imagesignalprocessor)部110和单点划线包围表示的以太网系统(ethernetsystem)部120a。

以太网系统部120a包括“cpu”、“ram”、“外围设备”、“编译码器”、“以太网mac”、“以太phy”等各部分。“以太phy”是具有与phy片103相同功能的部分。该“以太phy”的部分将从“以太网mac”部分送来的以太网帧，从逻辑信号转换为实际传送的电信号，并经由以太网线缆发送到网络。

如此，通过将具有与phy片103相同功能的部分形成在下片102a，能够实现相机模块的进一步小型化。

此外，参照附图对本发明的优选实施方式进行了详细说明，但本发明的技术范围并不限定于上述例。只要是本发明技术领域内具有通常知识的人在权利要求范围内记载的技术思想的范畴内能够想到各种变形例或修正例，这当然属于本发明的技术范围。

此外，本发明可以取以下结构。

(1)一种摄像装置，包括：像素部；图像处理部，对由所述像素部生成的图像信号进行处理；编码部，对在所述图像处理部中处理后的图像信号进行编码；以及地址分配部，对在所述编码部中编码后的压缩信号分配地址，所述像素部形成在第一基板，所述图像处理部、所述编码部和所述地址分配部形成在与所述第一基板层叠的第二基板。

(2)在上述(1)中还包括输出部，将来自所述地址分配部的信号转换为输出信号并输出到网络，所述输出部形成在所述第二基板。

(3)在上述(1)或(2)中，还包括时钟同步功能部，所述时钟同步功能部与外部设备之间进行通信并进行对时，所述时钟同步功能部形成在所述第二基板。

(4)一种摄像系统，其特征在于，包括：摄像装置；以及电子控制单元，经由网络与所述摄像装置连接，所述摄像装置包括：像素部；图像处理部，对由所述像素部生成的图像信号进行处理；编码部，对在所述图像处理部中处理后的图像信号进行编码；以及地址分配部，对在所述编码部中编码后的压缩信号分配地址，所述像素部形成在第一基板，所述图像处理部、所述编码部和所述地址分配部形成在与所述第一基板层叠的第二基板。