物体检测装置、物体检测方法、物体检测程序以及学习装置与流程

1.本发明涉及使用物体检测模型从图像数据中检测对象物体的技术。


背景技术：

2.对使用深度学习等而生成的物体检测模型输入由摄影装置得到的图像数据，检测图像数据中包含的对象物体(参照专利文献1)。在物体检测模型中，有时在将图像数据缩小至预先确定的大小的基础上进行物体的检测。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019-003396号公报


技术实现要素：

6.发明要解决的课题
7.例如，在缩小了图像数据的情况下，显现在图像数据远方侧的物体变得过小，基于物体检测模型的检测变得困难。
8.本发明的目的在于，即使对于显现得较小的物体，也能够通过物体检测模型进行检测。
9.用于解决课题的手段
10.本发明的物体检测装置具有：
11.数据提取部，其在由摄影装置拍摄摄影区域而得到的图像数据中，提取包含检测对象区域的区域的图像数据作为对象数据，并且提取所述对象数据中的放大区域的图像数据作为部分数据；
12.大小变更部，其将由所述数据提取部提取出的所述对象数据和所述部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型；以及
13.物体检测部，其将由所述大小变更部大小变更后的所述对象数据和所述部分数据分别输入到所述物体检测模型，从所述对象数据和所述部分数据中分别检测对象物体。
14.所述物体检测装置还具有生成合并结果数据的合并部，所述合并结果数据是以对于同一物体成为1个物体的方式，将表示由所述物体检测部从所述对象数据中检测出的结果的第1结果数据和从所述部分数据中检测出的第2结果数据合并而得到的。
15.所述物体检测装置还具有学习部，所述学习部将所述对象数据和所述部分数据分别作为学习数据提供给所述物体检测模型进行学习。
16.在本发明的物体检测方法中，
17.数据提取部在由摄影装置拍摄摄影区域而得到的图像数据中，提取包含检测对象区域的区域的图像数据作为对象数据，并且提取所述对象数据中的放大区域的图像数据作为部分数据，
18.大小变更部将所述对象数据和所述部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型，
19.物体检测部将大小变更后的所述对象数据和所述部分数据分别输入到所述物体检测模型，从所述对象数据和所述部分数据中分别检测对象物体。
20.本发明的物体检测程序使计算机作为进行以下处理的物体检测装置发挥功能：
21.数据提取处理，在由摄影装置拍摄摄影区域而得到的图像数据中，提取包含检测对象区域的区域的图像数据作为对象数据，并且提取所述对象数据中的放大区域的图像数据作为部分数据；
22.大小变更处理，将通过所述数据提取处理提取出的所述对象数据和所述部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型；以及
23.物体检测处理，将通过所述大小变更处理大小变更后的所述对象数据和所述部分数据分别输入到所述物体检测模型，从所述对象数据和所述部分数据中分别检测对象物体。
24.本发明的学习装置具有：
25.数据提取部，其在由摄影装置得到的图像数据中，提取包含检测对象区域的区域的图像数据作为对象数据，并且提取所述对象数据中的放大区域的图像数据作为部分数据；
26.大小变更部，其将由所述数据提取部提取出的所述对象数据和所述部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型；以及
27.学习部，其将由所述大小变更部大小变更后的所述对象数据和所述部分数据分别作为学习数据来生成所述物体检测模型。
28.本发明的物体检测装置具有：
29.数据提取部，其从由摄影装置拍摄摄影区域而得到的图像数据中，提取多个大小与所述图像数据中的位置对应的放大区域的图像数据作为部分数据；
30.大小变更部，其将由所述数据提取部提取出的多个部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型；以及
31.物体检测部，其将由所述大小变更部大小变更后的所述多个部分数据分别输入到所述物体检测模型，从所述对象数据和所述部分数据中分别检测对象物体。
32.所述物体检测装置还具有生成合并结果数据的合并部，所述合并结果数据是以对于同一物体成为1个物体的方式，将由所述物体检测部从所述多个部分数据中分别检测出的结果数据合并而得到的。
33.所述物体检测装置还具有学习部，所述学习部将所述多个部分数据分别作为学习数据提供给所述物体检测模型进行学习。
34.在本发明的物体检测方法中，
35.数据提取部从由摄影装置拍摄摄影区域而得到的图像数据中，提取多个大小与所述图像数据中的位置对应的放大区域的图像数据作为部分数据，
36.大小变更部将提取出的多个部分数据分别大小变更成由物体检测模型要求的要
求大小，所述物体检测模型是从图像数据中检测物体的模型，
37.物体检测部将大小变更后的所述多个部分数据分别输入到所述物体检测模型，从所述对象数据和所述部分数据中分别检测对象物体。
38.本发明的物体检测程序使计算机作为进行以下处理的物体检测装置发挥功能：
39.数据提取处理，从由摄影装置拍摄摄影区域而得到的图像数据中，提取多个大小与所述图像数据中的位置对应的放大区域的图像数据作为部分数据；
40.大小变更处理，将通过所述数据提取处理提取出的多个部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型；以及
41.物体检测处理，将通过所述大小变更处理大小变更后的所述多个部分数据分别输入到所述物体检测模型，从所述对象数据和所述部分数据中分别检测对象物体。
42.本发明的学习装置具有：
43.数据提取部，其从由摄影装置拍摄摄影区域而得到的图像数据中，提取多个大小与所述图像数据中的位置对应的放大区域的图像数据作为部分数据；
44.大小变更部，其将由所述数据提取部提取出的多个部分数据分别大小变更成由物体检测模型要求的要求大小，所述物体检测模型是从图像数据中检测物体的模型；以及
45.学习部，其将由所述大小变更部大小变更后的所述多个部分数据分别作为学习数据来生成所述物体检测模型。
46.发明效果
47.在本发明中，不仅将对象数据，而且将部分数据也输入到物体检测模型来检测对象物体。由此，能够通过物体检测模型检测如显现在图像数据远方侧的物体那样显现得较小的物体。
附图说明
48.图1是实施方式1的物体检测装置10的结构图。
49.图2是表示实施方式1的物体检测装置10的动作的流程图。
50.图3是表示实施方式1的检测对象区域33以及放大区域34的图。
51.图4是表示实施方式1的对象数据35以及部分数据36的图。
52.图5是实施方式1的大小变更处理的说明图。
53.图6是变形例1的物体检测装置10的结构图。
54.图7是表示实施方式2的放大区域34的图。
55.图8是实施方式3的物体检测装置10的结构图。
56.图9是表示实施方式3的物体检测装置10的动作的流程图。
57.图10是变形例5的学习装置50的结构图。
具体实施方式
58.实施方式1
59.***结构的说明***
60.参照图1，说明实施方式1的物体检测装置10的结构。
61.物体检测装置10是计算机。
62.物体检测装置10具有处理器11、内存12、存储器13、通信接口14这些硬件。处理器11经由信号线与其他硬件连接，控制这些其他硬件。
63.处理器11是进行处理的ic(integrated circuit：集成电路)。作为具体例，处理器11是cpu(central processing unit：中央处理单元)、dsp(digital signal processor：数字信号处理器)、gpu(graphics processing unit：图形处理单元)。
64.内存12是临时存储数据的存储装置。作为具体例，内存12是sram(static random access memory：静态随机存取存储器)、dram(dynamic random access memory：动态随机存取存储器)。
65.存储器13是保管数据的存储装置。作为具体例，存储器13是hdd(hard disk drive：硬盘驱动器)。此外，存储器13也可以是sd(注册商标，secure digital：安全数字)存储卡、cf(compactflash，注册商标)、nand闪存、软盘、光盘、压缩盘、蓝光(注册商标)光盘、dvd(digital versatile disk：数字多功能盘)这些移动记录介质。
66.通信接口14是用于与外部装置进行通信的接口。作为具体例，通信接口14是ethernet(注册商标)、usb(universal serial bus：通用串行总线)、hdmi(注册商标，high-definition multimedia interface：高清晰度多媒体接口)的端口。
67.物体检测装置10经由通信接口14与监视摄像机这样的摄影装置41连接。
68.作为功能结构要素，物体检测装置10具有设定读入部21、图像取得部22、数据提取部23、大小变更部24、物体检测部25以及合并部26。物体检测装置10的各功能结构要素的功能由软件来实现。
69.存储器13中存储有实现物体检测装置10的各功能结构要素的功能的程序。该程序被处理器11读入到内存12并由处理器11执行。由此，实现物体检测装置10的各功能结构要素的功能。
70.存储器13中存储有物体检测模型31和设定数据32。
71.图1中，仅示出1个处理器11。但是，处理器11也可以是多个，多个处理器11也可以协作地执行实现各功能的程序。
72.***动作的说明***
73.参照图2～图5，说明实施方式1的物体检测装置10的动作。
74.实施方式1的物体检测装置10的动作过程相当于实施方式1的物体检测方法。另外，实现实施方式1的物体检测装置10的动作的程序相当于实施方式1的物体检测程序。
75.(图2的步骤s11：设定读入处理)
76.设定读入部21从存储器13读入表示检测对象区域33以及放大区域34的设定数据32。
77.检测对象区域33是被摄影装置41拍摄的摄影区域中的检测对象物体的区域。
78.放大区域34是检测对象区域33中的检测显现得较小的物体的区域。在实施方式1中，如图3所示，放大区域34是图像数据远方侧的区域。即，在实施方式1中，放大区域34是检测对象区域33内的摄影装置41的摄影区域中的、包含进深方向的距离为基准距离以上的区域的区域。此外，对于虽然是进深方向的近前侧的区域但却是将较小的物体作为对象物体来处理的区域，也有可能被设定为放大区域34。另外，也可以在检测对象区域33中设定多个
放大区域34。
79.在实施方式1中，表示检测对象区域33以及放大区域34的设定数据32由物体检测装置10的管理者等事先设定并存储于存储器13。但是，在步骤s11的处理中，设定读入部21也可以使管理者等指定检测对象区域33以及放大区域34。即，例如，设定读入部21也可以具有如下功能：显示摄影区域，指定将摄影区域中的哪个区域设为检测对象区域33，将哪个区域设为放大区域34，基于该指定而生成设定数据32。另外，也可以构成为按照每个摄影装置41或者按照将摄影装置41分组而成的每个组，将设定数据32存储于存储器13。该情况下，在步骤s11中，读入与取得图像数据的摄影装置41对应的设定数据32。
80.(图2的步骤s12：图像取得处理)
81.图像取得部22经由通信接口14，取得由摄影装置41拍摄摄影区域而得到的最新帧的图像数据。
82.(图2的步骤s13：数据提取处理)
83.数据提取部23在由步骤s12取得的图像数据中，提取包含在步骤s11中读入的设定数据32所示的检测对象区域33的区域的图像数据作为对象数据35。在实施方式1中，数据提取部23将在步骤s12中取得的图像数据直接设定为对象数据35。另外，数据提取部23在对象数据中，提取在步骤s11中读入的设定数据32所示的放大区域34的图像数据作为部分数据36。
84.作为具体例，在步骤s12中取得了图4所示的图像数据的情况下，数据提取部23将图4所示的图像数据直接设定为对象数据35，在图4所示的图像数据中，提取放大区域34部分的图像数据作为部分数据36。
85.(图2的步骤s14：大小变更处理)
86.大小变更部24将提取出的对象数据35以及部分数据36分别大小变更成由物体检测模型31要求的要求大小。物体检测模型31是通过深度学习这样的方法生成的模型，是从图像数据中检测对象物体的模型。
87.作为具体例，如图5所示，假设对象数据35是横1920像素
×
纵1200像素的图像数据，部分数据36是横320像素
×
纵240像素的图像数据。另外，假设要求大小是横512像素
×
纵512像素。在该情况下，大小变更部24将对象数据35缩小变换成横512像素
×
纵512像素的图像数据。并且，大小变更部24将部分数据36放大变换成横512像素
×
纵512像素的图像数据。
88.另外，对于对象数据35，设想原则上被缩小。即，设想要求大小小于对象数据35的大小。但是，对于部分数据36，根据放大区域34的大小而存在被放大的情况和被缩小的情况。但是，部分数据36由于是对象数据35的一部分图像数据，因此，即使在被缩小的情况下也不会以对象数据35那样大的倍率被缩小。
89.(图2的步骤s15：物体检测处理)
90.物体检测部25将在步骤s14中大小变更后的对象数据35以及部分数据36分别输入到物体检测模型31，从对象数据35以及部分数据36中分别检测对象物体。然后，物体检测部25将从对象数据35中检测出的结果作为第1结果数据37，将从部分数据36中检测出的结果作为第2结果数据38。
91.作为具体例，物体检测部25将如图5所示变换成横512像素
×
纵512像素的图像数
据后的对象数据35以及部分数据36分别输入到物体检测模型31。然后，从对象数据35中检测出物体x。此外，从部分数据36中检测出物体y。另外，对象数据35中也包含物体y。但是，在对象数据35中物体y非常小，因此，有可能无法从对象数据35中检测出物体y。
92.(图2的步骤s16：合并处理)
93.合并部26生成将表示从对象数据35中提取出的结果的第1结果数据37和从部分数据36中提取出的第2结果数据38合并而得到的合并结果数据。
94.此时，有可能在第1结果数据37以及第2结果数据38中包含同一物体。作为具体例，在从图5所示的对象数据35中也检测出物体y的情况下，从对象数据35以及部分数据36中检测出同一物体y。因此，合并部26以对于同一物体成为1个物体的方式，将第1结果数据37和第2结果数据38合并。即，即使在从对象数据35以及部分数据36中检测出同一物体y的情况下，合并部26也以合并结果数据仅包含1个物体y的方式，将第1结果数据37和第2结果数据38合并。
95.例如，合并部26使用nms(non maximum supression：非极大值抑制)这样的方法，将第1结果数据37和第2结果数据38合并。
96.***实施方式1的效果***
97.如上所述，实施方式1的物体检测装置10不仅将对象数据35大小变更成要求大小，而且将部分数据36也大小变更成要求大小，然后将它们输入到物体检测模型31来检测对象物体。由此，能够通过物体检测模型31检测如显现在图像数据远方侧的物体那样显现得较小的物体。
98.即，在图5的对象数据35中包含物体x以及物体y。但是，在被输入到物体检测模型31的情况下，对象数据35被大小变更成要求大小，物体y变得非常小。因此，无法从对象数据35中检测出本来应该检测出的物体y。
99.但是，对于与对象数据35不同的部分数据36，也在大小变更成要求大小之后，输入到物体检测模型31。部分数据36是对象数据35的一部分的图像数据。因此，大小变更后的部分数据36中包含的物体y比大小变更后的对象数据35中包含的物体y大。因此，容易从部分数据36中检测出物体y。
100.另外，实施方式1的物体检测装置10以对于同一物体成为1个物体的方式，将第1结果数据37和第2结果数据38合并而生成合并结果数据。由此，在从对象数据35和部分数据36的一方中检测出1个物体的情况、从对象数据35以及部分数据36双方中检测出1个物体的情况中的任何情况下，都能够得到检测出1个物体的合并结果数据。
101.***其他结构***
102.《变形例1》
103.根据摄影装置41与想要检测物体的区域的距离或角度等，放大区域34不限定于图像数据远方侧的区域，可考虑设为中央附近的区域的情况。另外，根据摄影装置41的摄影区域，有时也设定多个放大区域34。
104.即，作为检测显现得较小的物体的区域，放大区域34能够以图像数据上的任意区域为范围，进行任意数量的设定。通过在每个摄影装置41的设定数据32中设定这些独立的条件，能够按照每个摄影装置41提取部分数据36。
105.《变形例2》
106.在实施方式1中，是用软件实现各功能结构要素。但是，作为变形例2，也可以用硬件实现各功能结构要素。对于该变形例2，说明与实施方式1的不同点。
107.参照图6，说明变形例2的物体检测装置10的结构。
108.在用硬件实现各功能结构要素的情况下，物体检测装置10具有电子电路15来代替处理器11、内存12以及存储器13。电子电路15是实现各功能结构要素、内存12以及存储器13的功能的专用电路。
109.作为电子电路15，假设是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑ic、ga(gate array：门阵列)、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)。
110.可以由1个电子电路15实现各功能结构要素，也可以将各功能结构要素分散到多个电子电路15中实现。
111.《变形例3》
112.作为变形例3，也可以是一部分的各功能结构要素由硬件实现，其他的各功能结构要素由软件实现。
113.将处理器11、内存12、存储器13和电子电路15称作处理电路。即，各功能结构要素的功能由处理电路实现。
114.实施方式2
115.实施方式2与实施方式1的不同点在于，仅将部分数据36输入到物体检测模型31。在实施方式2中，对该不同点进行说明，省略对相同点的说明。
116.***动作的说明***
117.参照图2和图7，说明实施方式2的物体检测装置10的动作。
118.实施方式2的物体检测装置10的动作过程相当于实施方式2的物体检测方法。另外，实现实施方式2的物体检测装置10的动作的程序相当于实施方式2的物体检测程序。
119.步骤s12的处理与实施方式1相同。
120.(图2的步骤s11：设定读入处理)
121.设定读入部21与实施方式1同样地，从存储器13读入表示检测对象区域33以及放大区域34的设定数据32。
122.在实施方式2中，如图7所示，以大致覆盖检测对象区域33的方式设定有多个放大区域34。各放大区域34设定大小与由摄影装置41得到的图像数据的位置对应的区域。即，对象物体越小的位置，则放大区域34被设定为越小的区域。例如，对于放大区域34，越是图像数据远方侧的区域，则设定大小越小的区域，越是图像数据的近前侧的区域，则设定大小越大的区域。
123.(图2的步骤s13：数据提取处理)
124.数据提取部23在由步骤s12取得的图像数据中，提取在步骤s11中读入的设定数据32所示的多个放大区域34各自的图像数据作为部分数据36。
125.(图2的步骤s14：大小变更处理)
126.大小变更部24将提取出的多个部分数据36分别大小变更成由物体检测模型31要求的要求大小。
127.(图2的步骤s15：物体检测处理)
128.物体检测部25将在步骤s14中大小变更后的多个部分数据36分别输入到物体检测模型31，从多个部分数据36中分别检测对象物体。然后，物体检测部25将从多个部分数据36分别检测出的结果作为第2结果数据38。
129.(图2的步骤s16：合并处理)
130.合并部26生成将从多个部分数据36分别提取出的第2结果数据38合并而得到的合并结果数据。此时，存在多个第2结果数据38包含同一物体的可能性。因此，合并部26以对于同一物体成为1个物体的方式，将多个第2结果数据38合并。
131.***实施方式2的效果***
132.如上所述，实施方式2的物体检测装置10设定大小与图像数据中的位置对应的多个放大区域34，将各放大区域34的部分数据36作为输入来检测对象物体。由此，通过物体检测模型31从与图像数据中的位置对应的适当大小的图像数据中进行检测。其结果是，存在检测精度变高的可能性。
133.此外，使用图7说明的放大区域34以大致覆盖检测对象区域33的方式设定有多个，但不一定需要用放大区域34覆盖检测对象区域33。根据摄影装置41的摄影区域，在检测对象区域33上存在应该重点检测的区域或物体的情况下，或者相反地在检测对象区域33上存在不需要检测的区域的情况下，也可以按照每个摄影装置41，以在检测对像区域33的一部分设定多个放大区域34的方式对设定数据32进行设定。
134.实施方式3
135.实施方式3在生成物体检测模型31这一点上与实施方式1、2不同。在实施方式2中，对该不同点进行说明，省略对相同点的说明。
136.在实施方式3中，对生成与实施方式1对应的物体检测模型31的情况进行说明。
137.***结构的说明***
138.参照图8，说明实施方式3的物体检测装置10的结构。
139.物体检测装置10在作为功能结构要素具有学习部27这一点上与实施方式1不同。学习部27与其他功能结构要素同样地通过软件或硬件实现。
140.***动作的说明***
141.参照图9，说明实施方式3的物体检测装置10的动作。
142.实施方式3的物体检测装置10的动作过程相当于实施方式3的物体检测方法。另外，实现实施方式3的物体检测装置10的动作的程序相当于实施方式3的物体检测程序。
143.步骤s21～步骤s24的处理与实施方式1中的图2的步骤s11～步骤s14的处理相同。
144.(图9的步骤s25：学习处理)
145.学习部27提供在步骤s23中大小变更后的对象数据35以及部分数据36分别作为学习数据，由此，通过深度学习这样的处理生成物体检测模型31。在此，对象数据35以及部分数据36是与通过图2说明的处理中的对象数据35以及部分数据36相同的区域的图像数据。
146.此外，也可以分别针对对象数据35以及部分数据36，以手动等方式确定包含的对象物体并生成带训练的学习数据。并且，学习部27也可以被提供带训练的学习数据来进行学习。
147.***实施方式3的效果***
148.如上所述，实施方式3的物体检测装置10不仅提供对象数据35作为学习数据，而且
提供部分数据36作为学习数据，由此生成物体检测模型31。部分数据36伴随着大小的放大，与对象数据35相比，一部分或整体的图像有可能变得不清晰。在伴随着放大而未提供包含不清晰部分的图像数据作为学习数据的情况下，从包含不清晰部分的图像数据中进行检测的精度有时会变低。
149.因此，如果仅提供对象数据35作为学习数据来生成物体检测模型31，则从部分数据36中检测物体的处理的精度有可能变低。但是，实施方式3的物体检测装置10通过还提供部分数据36作为学习数据，能够提高从部分数据36中检测物体的处理的精度。
150.***其他结构***
151.《变形例4》
152.在实施方式3中，对生成与实施方式1对应的物体检测模型31的情况进行了说明。也能够生成与实施方式2对应的物体检测模型31。
153.在该情况下，步骤s21～步骤s24的处理与实施方式2中的图2的步骤s11～步骤s14的处理相同。在图9的步骤s25中，学习部27提供在步骤s23中大小变更后的多个部分数据36分别作为学习数据，由此，通过深度学习这样的处理生成物体检测模型31。由此，起到与实施方式3相同的效果。
154.《变形例5》
155.在实施方式3以及变形例4中，是由物体检测装置10生成物体检测模型31。但是，也可以由与物体检测装置10不同的学习装置50生成物体检测模型31。
156.如图10所示，学习装置50是计算机。学习装置50具有处理器51、内存52、存储器53、通信接口54这些硬件。处理器51、内存52、存储器53以及通信接口54与物体检测装置10的处理器11、内存12、存储器13以及通信接口14相同。
157.作为功能结构要素，学习装置50具有设定读入部61、图像取得部62、数据提取部63、大小变更部64以及学习部65。学习装置50的各功能结构要素的功能由软件实现。设定读入部61、图像取得部62、数据提取部63、大小变更部64以及学习部65与物体检测装置10的设定读入部21、图像取得部22、数据提取部23、大小变更部24以及学习部27相同。
158.此外，各实施方式中的物体检测装置10也可以应用于无人搬运车(agv，automated guided vehicle)。在采用图像识别方式作为引导方式的无人搬运车中，读取描绘于地板、顶棚的记号，由此掌握本车的位置。通过将本发明中的物体检测装置应用于无人搬运车，也能够对显现得较小的标记进行检测，因此，可提供能够进行更高精度的移动的无人搬运车。
159.以上，对本发明的实施方式以及变形例进行了说明。也可以将这些实施方式以及变形例中的几个组合来实施。另外，也可以部分地实施任意1个或几个。此外，本发明并不限定于以上的实施方式以及变形例，能够根据需要进行各种变更。
160.标号说明
161.10：物体检测装置；11：处理器；12：内存；13：存储器；14：通信接口；15：电子电路；21：设定读入部；22：图像取得部；23：数据提取部；24：大小变更部；25：物体检测部；26：合并部；27：学习部；31：物体检测模型；32：设定数据；33：检测对象区域；34：放大区域；35：对象数据；36：部分数据；37：第1结果数据；38：第2结果数据；41：摄影装置；50：学习装置；51：处理器；52：内存；53：存储器；54：通信接口；61：设定读入部；62：图像取得部；63：数据提取部；64：大小变更部；65：学习部。