用于生成植被状态的多空间分辨率测量的制作方法

用于生成植被状态的多空间分辨率测量
1.相关申请的交叉引用
2.本技术要求2019年7月3日提交的日本优先权专利申请jp2019-124763的权益，其全部内容通过引用并入本文。
技术领域
3.本技术涉及信息处理装置、信息处理方法、程序和感测系统，特别地，涉及适于生成植被状态的测量结果等的技术。


背景技术：

4.例如，正在努力通过在小型飞行器(如无人机)上安装图像拍摄装置并在使小型飞行器在耕地上方的空中移动的同时拍摄植物的植被状态图像，来遥感植被状态。
5.ptl 1公开了一种拍摄耕地图像并执行遥感的技术。
6.引文列表
7.专利文献
8.ptl 1：日本专利号5162890


技术实现要素：

9.技术问题
10.除了通过测量可见光(r(红色)、g(绿色)和b(蓝色))来测量形状之外，通过使用各种光波长或技术，这种遥感可以测量对象的物理性质、生理状态等。然而，可安装在小型飞行器上的感测设备通常在尺寸、重量等方面受到限制。
11.例如，获取大量波长的光的图像并且能够执行分量分析等的超谱相机(超谱相机)通常可能需要被配置为获取二维图像的扫描机构，并且尺寸较大。因此，很难将其安装在小型无人机等上。此外，由扫描机构执行的扫描可能需要一定的时间长度。因此，悬停是必要的，测定时间变得更长。因此，由于无人机电池容量等方面的限制，难以对大片土地(如耕地)进行充分的感测。此外，扫描过程中无人机的振动降低感测精度。
12.尽管这些是适用于超谱相机的问题，但除此之外，由于尺寸、重量、操作相关特性等方面的原因，存在不适合于安装在小型飞行器上的感测设备。由于对可安装在小型飞行器上的此类感测设备的限制，在某些情况下，很难将这些感测设备应用于更高级的分析。
13.鉴于此，希望提供：一种系统，该系统还可例如应用于例如通过使用小型飞行器进行的遥感中的高级分析等；及其信息处理装置。
14.针对问题的解决方案
15.根据本技术的一个实施例的信息处理装置包括：进行来自宏观测量部件的检测数据的计算的宏观测量分析计算部件，宏观测量部件以第一空间分辨率进行测量对象的第一测量区域的感测；进行来自微观测量部件的检测数据的计算的微观测量分析计算部件，微观测量部件以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一
测量区域中包括的第二测量区域的感测；以及补充分析计算部件，通过使用宏观测量分析计算部件的计算结果和微观测量分析计算部件的计算结果来进行补充分析计算，并生成补充分析信息。
16.例如，不仅进行高空间分辨率的感测，而且还进行以低空间分辨率进行的仍然能够进行高功能感测的宏观测量，以基于通过两种类型的检测获得的信息生成分析结果。
17.在根据上述本技术实施例的信息处理装置中，认为补充分析计算包括通过使用微观测量分析计算部件的计算结果来补充宏观测量分析计算部件的计算结果的计算处理。
18.例如，通过使用微观测量分析计算部件的计算结果来提高宏观分析计算结果的分辨率，从而提高检测精度。
19.此外，在根据上述本技术实施例的信息处理装置中，认为微观测量分析计算部件的计算结果的分辨率高于宏观测量分析计算部件的计算结果的分辨率。
20.由于微观测量分析计算部件的计算结果的分辨率较高，因此可以提供宏观测量分析计算部件的计算结果中未表示的补充信息。
21.此外，在根据上述本技术实施例的信息处理装置中，考虑补充分析计算部件生成补充分析信息，补充分析信息是作为微观测量分析计算部件对第二测量区域的分析结果而辨别的特定对象的物理属性值，所述物理属性值被确定为作为宏观测量分析计算部件的分析结果的按第一空间分辨率的单位的物理属性值。
22.例如，通过以高空间分辨率感测来执行测量对象的辨别。通过允许高功能感测的宏观测量，确定辨别的测量对象的物理属性值。
23.在根据上述本技术实施例的信息处理装置中，认为物理属性值包括与植物光合作用相关的信息。
24.例如，与光合作用有关的信息示例包括sif(太阳诱导叶绿素荧光)和基于sif计算的各种类型的信息。
25.在根据上述本技术的实施例的信息处理装置中，认为微观测量分析计算部件基于rgb图像或与植被指数相关的信息来执行测定对象的辨别。
26.例如，rgb图像或ndvi(标准化差异植被指数)图像用于通过诸如与预定阈值进行比较之类的技术来执行辨别。
27.在根据上述本技术的实施例的信息处理装置中，认为宏观测量部件在比微观测量部件的位置更远离测量对象的位置处进行感测。
28.宏观测量部件从比微观测量部件的位置更远离测量对象的位置执行大测量区域的测量。另一方面，微观测量部件从比宏观测量部件的位置更靠近测量对象的位置执行相对小的测量区域的测量。
29.在根据上述本技术实施例的信息处理装置中，认为宏观测量部件被安装在人造卫星上。
30.宏观测量部件安装在人造卫星上，从空中的远程位置对测量对象(如耕地)进行测量。
31.在根据上述本技术的实施例的信息处理装置中，认为微观测量部件被安装在能够无线地或通过自动驾驶仪操纵的飞行器上。
32.可无线地或通过自动驾驶仪操纵的飞行器的示例包括所谓的无人机、小型无线操
纵固定翼飞机、小型无线操纵直升机等。
33.在根据上述本技术实施例的信息处理装置中，认为微观测量部件具有可见光图像传感器、立体相机、激光图像检测和测距传感器、偏振传感器或tof(飞行时间)传感器中的任何传感器作为微观测量传感器。
34.请注意，激光图像检测和测距传感器称为所谓的光雷达(光检测和测距)。
35.在根据上述本技术实施例的信息处理装置中，认为宏观测量部件具有作为宏观测量传感器的多谱相机(多谱相机)、超谱相机、傅里叶变换红外分光光度计(ftir：傅里叶变换红外光谱仪)或红外传感器中的任何一个。
36.认为根据上述本技术的实施例的信息处理装置还包括保持部件，其保持从外部装置输入的补充分析计算部件的补充分析计算程序。
37.也就是说，可以从外部设备获取定义补充分析计算部件的计算算法的程序。
38.认为根据上述本技术的实施例的信息处理装置还包括输出部件，该输出部件生成基于补充分析信息的输出图像数据，并输出输出图像数据。
39.即，补充分析计算部件的补充分析结果的信息被转换为图像，并且该图像可用于呈现给用户。
40.在根据上述本技术的实施例的信息处理装置中，认为输出部件生成补充分析结果被颜色映射的输出图像数据。
41.在为多个区域中的每一个获得补充分析结果的情况下，将用于呈现给用户的图像生成为其中向每个区域应用颜色的图像。
42.在根据上述本技术的实施例的信息处理装置中，认为输出部件生成通过合成第二图像和其中补充分析结果被颜色映射的图像而获得的输出图像数据。
43.例如，以诸如叠加或盖写之类的形式合成将颜色应用于每个区域的图像和第二图像。
44.在根据上述本技术实施例的信息处理装置中，认为第二图像包括基于微观测量分析计算部件的计算结果的图像。
45.作为这样的第二图像，使用基于微观测量的图像，并且将该图像与基于每个区域的宏观测量的颜色映射图像合成。
46.在根据上述本技术的实施例的信息处理装置中，认为输出图像数据包括指示以第一空间分辨率的单位表示第二测量区域的整个部分或一部分的图像的补充分析结果的图像数据。
47.由于第二测量区域包括在第一测量区域中，因此它是执行宏观测量和微观测量的区域。对于表示第二测量区域的整个部分或一部分的图像中的第一空间分辨率的每个单位，分析结果是可视地可识别的。
48.在根据本技术的另一实施例的信息处理方法中，信息处理装置执行：进行来自宏观测量部件的检测数据的计算的宏观测量分析计算处理，宏观测量部件以第一空间分辨率进行测量对象的第一测量区域的感测；进行来自微观测量部件的检测数据的计算的微观测量分析计算处理，微观测量部件以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一测量区域中包括的第二测量区域的感测；以及补充分析计算处理，通过使用宏观测量分析计算处理中的计算结果和微观测量分析计算处理中的计算结果来进行
补充分析计算，并生成补充分析信息。因此，信息处理装置可以生成组合关于测量对象的宏观测量和微观测量的高级分析结果信息。
49.根据本技术的另一实施例的程序是使信息处理装置执行上述方法的处理的程序。由此，增强了生成高级分析结果的计算机装置的实现。
50.根据本技术的另一实施例的感测系统包括：宏观测量部件，以第一空间分辨率进行测量对象的第一测量区域的感测；微观测量部件，以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一测量区域中包括的第二测量区域的感测；以及上述信息处理装置。
51.由此，可以构造执行宏观测量和微观测量并进而使用宏观测量和微观测量的测量结果生成分析结果的系统。
附图说明
52.图1是用于说明本技术实施例中的感测系统中的宏观测量部件和微观测量部件的图。
53.图2是用于说明本实施例中的耕地遥感的示例的图。
54.图3是用于说明本实施例中的宏观测量部件和微观测量部件的测量的图。
55.图4是用于说明本实施例中的宏观测量部件和微观测量部件的测量区域和分辨率的图。
56.图5是本实施例中的信息处理装置的硬件配置的框图。
57.图6是实施例中的信息处理装置的功能配置的框图。
58.图7是用于说明实施例中的分析处理示例的要点的图。
59.图8是实施例中的处理示例的流程图。
60.图9是实施例中的微观测量分析计算处理的流程图。
61.图10是用于说明实施例中的微观测量分析计算中要使用的图像的图。
62.图11是用于说明实施例中的微观测量分析计算处理中的图像的图。
63.图12是实施例中的补充分析计算处理的流程图。
64.图13是用于说明实施例中的补充计算的示例的图。
65.图14是用于说明实施例中的分析结果的示例的图。
66.图15是用于说明在实施例中通过使用颜色映射输出的图像的图。
67.图16是用于说明实施例中的颜色映射图像与第二图像的合成的图。
68.图17是用于说明实施例中的颜色映射图像与第二图像的合成的图。
具体实施方式
69.以下，按照以下顺序给出实施例的说明。
70.《1.感测系统的配置》
71.《2.信息处理装置的配置》
72.《3.处理示例》
73.《4.各种类型的示例》
74.《5.总结和修改》
75.《1.感测系统的配置》
76.首先，说明实施例的感测系统。
77.图1示出了包括在感测系统中的宏观测量部件2和微观测量部件3。
78.微观测量部件3在相对靠近测定对象4的位置处执行感测。执行感测的测量区域的一个单位是图示为微观测量区域rz3的相对较小的区域。注意，尽管这样的一个单位取决于传感器类型，但例如，在传感器类型是相机的情况下，它是执行与一帧对应的图像拍摄的区域等。
79.与此相对照，宏观测量部件2从比微观测量部件3的位置更远离测定对象4的位置执行感测。执行感测的测量区域的一个单位是图示为大于微观测量区域rz3的宏观测量区域rz2的区域。然而，应当注意，宏观测量部件2执行感测的测量区域的一个单位可以与微观测量区域rz3相同。
80.在本实施例的情况下，微观测量区域rz3是与宏观测量区域rz2相同或更小的区域。也就是说，测定对象4中的微观测量区域rz3的区域也被宏观测量区域rz2叠加。换句话说，微观测量区域rz3是其中执行由微观测量部件3进行的微观测量和由宏观测量部件2进行的宏观测量两者的区域。
81.使用宏观测量部件2和微观测量部件3的此类感测系统的示例包括例如执行图2中所示耕地300的植被状态的感测的系统。
82.图2示出了耕地300是如何出现的。最近，例如，如图2所示，正在努力通过使用安装在诸如无人机之类的小型飞行器200上的图像拍摄装置250来遥感植被状态。
83.例如，通过操作员的无线操纵、自动驾驶仪等，飞行器200可以在耕地300上方的空中移动。
84.飞行器200具有图像拍摄装置250，该图像拍摄装置250被设定为例如拍摄飞行器200下方空间的图像。当飞行器200沿着预定路线在耕地300上方的空中移动时，图像拍摄装置250例如以规则的时间间隔拍摄静止图像。
85.附接到飞行器200的这样的图像拍摄装置250对应于图1中的微观测量部件3。然后，由图像拍摄装置250拍摄的图像对应于通过作为微观测量的检测而获得的数据。图像拍摄装置250的图像拍摄区域对应于微观测量区域rz3。
86.此外，图2示出了定位在空中的人造卫星210。人造卫星210具有安装在其上的图像拍摄装置220，并且能够朝向地面进行感测。
87.该图像拍摄装置220允许对耕地300进行感测(图像拍摄)。即，图像拍摄装置220对应于宏观测量部件2。然后，由图像拍摄装置220拍摄的图像对应于通过作为宏观测量的检测而获得的数据。图像拍摄装置220的图像拍摄区域对应于宏观测量区域rz2。
88.这里，假设作为安装在飞行器200上的微观测量部件3的图像拍摄装置250(即，特定的微观测量传感器)是：可见光图像传感器(捕捉r(红色)、g(绿色)和b(蓝色)可见光的图像传感器)；立体相机；激光雷达(激光图像检测和测距传感器)；偏振传感器；tof传感器；用于nir(近红外：近红外区域)图像拍摄的相机；等等。
89.此外，作为微观测量传感器，可以使用(例如，作为执行多个波段的图像拍摄的多谱相机)执行nir图像和r(红色)图像的图像拍摄，并且可以从获得的图像计算ndvi(标准化差值植被指数)的传感器，只要其设备尺寸允许其在安装在飞行器200上时进行操作即可。
ndvi是表示植被分布状况或活性程度的指标。
90.例如，期望这些传感器是适合于分析测量对象的表型特征(phenotypic trait)、环境响应、环境状况(区域、分布等)等的传感器。请注意，表型特征是测量对象的静态形式和特性。环境响应是测量对象的动态形式和特性。环境状况是测量对象存在的环境的状态，并且是在测量对象存在的区域、分布或环境等方面的特性。
91.此外，这些传感器合意的是能够容易地安装在飞行器200上的相对小尺寸、轻型传感器。
92.另一方面，作为安装在人造卫星210上的宏观测量部件2的图像拍摄装置220(即，特定的宏观测量传感器)的可能示例包括：多谱相机，其执行多个波段的图像(例如，nir图像和r图像)的图像拍摄；超谱相机；ftir(傅里叶变换红外分光光度计)；红外传感器等。在这种情况下，允许使用相对大尺寸的感测设备，并且假设使用允许高精度感测的设备。
93.然后，这些宏观测量传感器是例如适合于分析各种类型的物理属性值(例如与光合作用有关的信息)的传感器。
94.此外，由于诸如设备尺寸或重量之类的原因，这些是可以不太容易地安装在小型飞行器200上的传感器，并且在本示例中，这种传感器安装在感测系统中的人造卫星210上。
95.此外，将标签信息添加到通过图像拍摄装置220和250的图像拍摄获得的图像。标签信息包括图像拍摄日期/时间信息、作为gps(全球定位系统)数据的位置信息(纬度/经度信息)、图像拍摄装置信息(相机的个体识别信息、型号信息等)、各图像数据的信息(诸如图像大小、波长或参数之类的信息)等。
96.注意，位置信息和图像拍摄日期/时间信息还对应于将图像拍摄装置220的图像(检测数据)与图像拍摄装置250的图像(检测数据)相关联的信息。
97.以上述方式由安装在飞行器200上的图像拍摄装置250和安装在人造卫星210上的图像拍摄装置220获得的图像数据和标签信息被发送到信息处理装置1。信息处理装置1使用图像数据和标签信息生成关于对作为测量对象的耕地300的分析的信息。此外，执行将分析结果作为图像呈现给用户的处理。
98.信息处理装置1例如被实现为pc(个人计算机)、fpga(现场可编程门阵列)、诸如智能电话或平板电脑之类的终端装置等。
99.注意，尽管信息处理装置1具有与图1中的图像拍摄装置250分离的主体，但是例如，可以在包括图像拍摄装置250的单元中设置与信息处理装置1相对应的计算装置(微型计算机等)。
100.参考图3，说明宏观测量部件2和微观测量部件3的作用。
101.微观测量部件3可以对测量区域rz3中的每个个体进行测量。例如，图示了个体ob1、ob2、ob3、ob4
…
，微观测量部件3允许测量或确定这些个体ob1、ob2、ob3、ob4
…
的表型特征、环境响应和环境状况，基于表型特征、环境响应以及环境状况等识别区域等。这些类型的信息可用于测定对象的分类(区分)。
102.微观测量部件3的测量的主要目的是测定和诊断每个个体。因此，微观测量传感器被假设是具有分辨力和能够在个体具有不同表型特征的情况下处理个体的功能的传感器。
103.宏观测量部件2检测与大测量区域rz2中的多个个体相关的信息。
104.检测到的信息可以通过根据通过微观测量部件3的检测而区分的状态进行分类来
应用以供使用。
105.图4示出了分辨率。图4a示出了平面图中的宏观测量区域rz2和微观测量区域rz3，图4b示出了部分平面图的放大图。
106.大正方形表示宏观测量分辨率，小正方形表示微观测量分辨率。例如，按这些分辨率级别获得的信息相当于拍摄图像中一个像素的信息。
107.即，安装在宏观测量部件2上的宏观测量传感器是具有与大正方形对应的分辨率的传感器，并且安装在微观测量部件3上的微观测量传感器是具有与小正方形对应的分辨率的传感器。
108.例如，在存在如图4b中的虚线所示的测量对象的情况下，测量对象的表型特征、环境响应、面积等可以以与细线所示的小正方形对应的分辨率归类，并且物理属性值等可以以与粗线指示的大正方形相对应的分辨率来测量。
109.在这种情况下，例如，可以根据可以针对每个小正方形测量的测量对象的表型特征、环境响应、面积大小、面积比例、重量、分布量等来调整每个大正方形的物理属性值。
110.具体地说，例如，假设测量对象是“叶子”，则可以获得在与大正方形对应的宏观测量分辨率下获得的叶子的物理属性值，作为根据针对这些大正方形内的每个小正方形(微观测量分辨率)获得的叶子的形状、面积大小比等调整的物理值。
111.本文还提到了解释为什么需要这种感测系统的背景信息。
112.如前所述，最近，在许多情况下执行通过使用飞行器200(例如无人机)的感测，并且除了通过测量可见光(rgb)测量表型特征外，还可以通过使用各种光波长和技术测量对象的物理属性、生理状态等然而，可安装在小型飞行器200上的感测设备经常在尺寸、重量等方面受到限制。
113.获取大量波长的光的图像并可执行分量分析等的超谱相机可能通常需要扫描机构以获取二维图像，并且尺寸较大。因此，除非飞行器尺寸较大，否则难以安装它们。
114.此外，扫描可能需要一定长度的时间，并且需要悬停，从而导致更长的测定时间，这意味着飞行器200的电池容量经常不允许测定较大的陆地。
115.此外，在某些情况下，扫描期间飞行器200的振动的影响降低测定精度。
116.此外，具有更高谱分辨率的ftir方法原则上可能需要较长的设备尺寸，并且很难将其安装在飞行器200上。
117.在需要高精度感测的情况下，安装大尺寸成像器或执行多次曝光，从而能够提高s/n(信噪比)。然而，这样的大尺寸成像器增大了光学系统的尺寸，因此不适合于安装在飞行器200上。伴随着飞行器200悬停的多次曝光导致测定时间增加以及飞行器200的振动的影响，导致精度降低。
118.此外，通常，由于阳光照射，飞行器200的外壳温度变得高于正常温度。
119.通过保持传感器的温度较低，可以在高精度感测中降低热噪声。尽管存在诸如将在室内使用的分光光度计之类的传感器，其通过珀耳帖(peltier)元件等将传感器保持在低温来保持精度，但此类珀耳帖元件消耗大量电力，因此，这些传感器不适合于安装在电力有限的飞行器200上。
120.尽管使用如空调中所见的压缩机的热泵型温度调节设备的电力效率很高，但其尺寸/重量不允许安装在飞行器200上。
121.另一方面，安装有可执行高级感测的仪器的传感器已应用于卫星感测。然而，它在空间分辨率(分辨力)方面是不足的。
122.在人造卫星210中，上面说明的安装超谱相机、ftir和大型成像器以及低温控制等并不那么困难。
123.然而，应当注意，在空间分辨率低的情况下，不仅难以简单地对形状进行归类，而且难以仅测量希望知道的对象，因为在空间分辨率的一个单位中无意地拍摄了各种对象。特别地，在植被测量的示例中，出现诸如土壤被无意地拍摄、阴影被无意地拍摄之类的问题等。
124.为了补偿通过使用卫星感测的低空间分辨率，通过使用“模型(辐射传递特性模型等)”的反向计算确定了特定对象的测量值，包括有关测量对象的形式(form)的信息。
125.同时，尽管这在测定对象以与模型形状一致的方式分布(植被方面的热带雨林等)的情况下效果良好，但在耕地300的测量(勘察)中，例如，测量中要测量的是形状本身，并且很难标识形状(作物的形状在生长过程中会发生变化，它们因某些问题而生长不好或枯萎等)，因此它们很少被正确测定。
126.同时，感测的空间分辨率可分为测量分辨率和输出分辨率。
127.例如，在希望知道人的体重的情况下，只需要知道一个人的体重，并且不需要知道每1cm3的体重。然而，在考虑测量分辨率的情况下，如果试图测定人在游泳池中的状态下的体重，则可能需要测量人和水的体积和重量，同时确定人和水之间的边界，并彼此区分它们。
128.在游泳池中体重测量的示例中，在整个游泳池的重量可以通过宏观测量进行测量，而人的体积可以通过微观测量进行测量的情况下，因为水的比重已经已知，通过结合这两种信息，可以确定人的比重和体重。
129.这相当于例如在土壤和植物混合存在的状态下在植被感应中的测量，并且在土壤和植物的比率可通过飞行器200知道的情况下，可使用卫星进行特定区域的光谱反射率、荧光等的测定，土壤的反射率已知，因此类似地可以计算仅植物的测量结果。
130.从这样的角度来看，在本实施例中，构造了一种系统，其以二维或三维方式测量/分析测量对象的表型特征(形态表型特征和生理表型特征)和环境响应(测量对象所在的环境，以及测量对象对环境的响应)。
131.也就是说，它有两个测量部件，它们是：微观测量部件3，具有允许标识/提取/分析测量区域中的每个个体的空间分辨率；和宏观测量部件2，具有较低的空间分辨率，但可以测量由微观测量部件3未提供的表型特征和环境响应。
132.然后，在信息处理装置1中执行补充分析计算，该信息处理装置1通过有线或无线连接/媒体设备接收由两个测量部件获取的信息的输入，从而允许分析由微观测量部件3标识/提取的特定测量对象的基于宏观测量部件2的测量的表型特征和环境响应。
133.在具体示例中，在宏观测量分辨率为0.5m、宏观测量面积为500m正方形、微观测量分辨率为0.01m、微观测量面积为10m正方形的情况下，可在0.5m的分辨率下确定10m正方形中存在的植物的物理属性值(与光合作用相关的信息等)。
134.目前，一种可能的组合是用于飞行器200的rgb+ndvi双透镜相机和用于卫星的超谱相机。
135.rgb图像和ndvi图像由微观测量部件3获得，还由人造卫星210侧的宏观测量部件2拍摄sif(太阳诱导叶绿素荧光)，作为与光合作用相关的信息，例如，以获得与光合作用速度相关的信息。
136.也就是说，试图通过使用来自人造卫星210侧的物理属性测量而不在飞行器200上安装超谱相机，使飞行器200的感测先进。
137.《2.信息处理装置的配置》
138.说明在上述感测系统中从宏观测量部件2和微观测量部件3获取检测信息，并执行诸如分析之类的处理的信息处理装置1。
139.图5示出了信息处理装置1的硬件配置。信息处理装置1包括cpu(中央处理器)51、rom(只读存储器)52和ram(随机存取存储器)53。
140.cpu 51根据存储在rom 52中的程序或从存储部件59加载到ram 53的程序执行各种类型的处理。ram 53还适当地存储用于cpu 51执行各种类型的处理的数据等。
141.cpu 51、rom 52和ram 53通过总线54互连。输入/输出接口55也连接到总线54。
142.可以将包括液晶面板、有机el(电致发光)面板等的显示部件56、包括键盘、鼠标等的输入部件57、扬声器58、存储部件59、通信部件60等连接到输入/输出接口55。
143.显示部件56可以与信息处理装置1形成单个主体，或者可以是单独主体的装备。
144.在显示部件56处，基于来自cpu 51的指令在显示屏上显示各种类型的分析的结果等。此外，在显示部件56处，基于来自cpu 51的指令显示各种类型的操作菜单、图标、消息等，即gui(图形用户界面)。
145.输入部件57是指由使用信息处理装置1的用户使用的输入设备。
146.例如，假设作为输入部件57，使用各种类型的操纵元件或操纵设备，例如键盘、鼠标、键、拨盘、触摸面板、触摸板或遥控器。
147.由输入部件57感测用户的操纵，并且由cpu 51解释与输入操纵相对应的信号。
148.存储部件59包括诸如hdd(硬盘驱动器)或固态存储器之类的存储介质。例如，存储部件59存储从宏观测量部件2和微观测量部件3接收的检测数据和分析结果以及各种其他类型的信息。此外，存储部件59还用于保存用于分析处理的程序数据等。
149.通信部件60经由包括因特网的网络执行通信处理，以及与每个外围部件的装备的通信。
150.该通信部件60是例如在一些情况下与微观测量部件3(图像拍摄装置250)或宏观测量部件2(图像拍摄装置220)通信的通信设备。
151.驱动器61还根据需要连接到输入/输出接口55，诸如存储器卡之类的存储设备6附接到驱动器61，并且数据被写入存储设备6或从存储设备6读出。
152.例如，根据需要将从存储设备6读出的计算机程序安装在存储部件59上，并且在cpu 51处处理的数据被存储在存储设备6中。当然，驱动器61可以是用于诸如磁盘、光盘或磁光盘之类的可移除存储介质的记录/再现驱动器。磁盘、光盘、磁光盘等也是存储设备6的模式。
153.注意，本实施例中的信息处理装置1不限于单独配置为具有如图5所示的硬件配置的信息处理装置(计算机装置)1的装置，而是可以包括形成为系统的多个计算机装置。多个计算机装置可以通过lan等形成系统，或者可以被布置在使用因特网等通过vpn(虚拟专用
网络)等连接的远程位置处。多个计算机装置可以包括可通过云计算服务使用的计算机装置。
154.此外，图5中的信息处理装置1可以由诸如固定个人计算机、笔记本型个人计算机等之类的个人计算机或诸如平板终端或智能电话之类的移动终端来实现。此外，本实施例的信息处理装置1还可以安装在具有信息处理装置1的功能的电子装备上，例如测定装置、电视装置、监视装置、图像拍摄装置或设施管理装置。
155.例如，具有这种硬件配置的信息处理装置1具有安装在其上的软件，该软件具有cpu 51的计算功能、rom 52、ram 53和存储部件59的存储功能、通信部件60和驱动器61的数据获取功能、以及显示部件56的输出功能等，并且软件实现这些功能以实现如图6所示的功能配置。
156.即，信息处理装置1具有图6所示的数据输入部件10、补充分析执行部件20和数据存储/输出部件30，作为一般划分的部件。
157.这些处理功能由在cpu 51处激活的软件实现。
158.包括在软件中的程序从网络下载或从要安装在图5中的信息处理装置1上的存储设备6(例如，可移除存储介质)读出。或者，可以将程序预先存储在存储部件59等中。然后，通过在cpu 51处激活程序，实现各部件的上述功能。
159.此外，例如，通过使用ram 53的存储区域或存储部件59的存储区域来实现各种类型的缓冲器的存储功能等。
160.将由图6所示的功能执行的计算处理可用于分析各种类型的检测数据，下面说明与植被光合作用相关的信息的分析的示例。
161.有鉴于此，首先提到与植被光合作用相关的信息分析相关的背景信息。
162.sif(叶绿素荧光)被认为包括与植物光合作用速度有关的信息，在阳光下进行的典型测定是使用fld(夫琅和费线判别)方法(太阳暗线：夫琅和费线)的测量。
163.然而，此处使用的太阳暗线o2a的波长宽度细达近似1nm，因此，使用诸如超谱相机或ftir之类的传感器的感测通常适用于它们。这些仪器可以很容易地安装在人造卫星210上，但由于尺寸和重量的原因，很难将它们安装在飞行器200上。
164.此外，在试图通过制作包括在典型相机中的带通过滤器来拍摄暗线的情况下，光量非常小，以至于需要使曝光时间更长以进行图像拍摄。在这种情况下，暂时停止飞行器200以保持其悬停，使得测量时间增加，并且飞行器200的振动导致测量精度的问题。
165.此外，在光学系统的设计中，斜入射特性也使得需要通过从感测图像中切出感测图像的中心部分来仅使用中心部分，并且很少执行足够的测定区域的测定。
166.滤光器的透射波长受进入滤光器的光轴角度的影响，并且随着倾角的增大，朝向较长波长侧的偏差增大。也就是说，在较远离图像中心且更接近圆周的部分处，发生透射波长的偏差。例如，作为一个示例，在允许波长为760nm的光通过其中的过滤器的情况下，仅9度的倾角可导致高达2nm的偏差。
167.波长宽度为1nm的窄带过滤器可能无法提供所需的特性。此外，在图像的中心处，通过透镜的中心(光轴的中心)并进入过滤器的光也以直角进入过滤器，但是由于通过透镜的周向部分以形成图像的光倾斜地进入过滤器，因此半宽度增大。
168.使用大透镜进行改进会劣化在飞行器200上的安装方面的性质，并且停止透镜会
使图像变暗，这意味着必须进一步增加曝光时间。这些因素使得在飞行器200上安装变得非常困难。
169.另一方面，通过使用rgb相机或r相机和nir相机对ndvi进行的测量在诸如无人机之类的飞行器200中广泛地执行，并且可以通过例如使用这些值来执行与测定对象的形状相关的区分。当然，这种形状可以通过立体相机等直接测定。
170.例如，在图7a中，仅提取位于通过拍摄植物而获得的图像的测定区域rz3中并且朝向阳光的叶子(太阳叶子)。例如，通过将ndvi图像的ndvi设定为》0.5(例如，排除土壤图像的部分)，仅提取植物，并且进而提取对应于或高于特定nir反射强度的部分。因此，可以仅提取太阳叶子。
171.由于认为太阳叶子对光合作用量的贡献率是显著的，因此仅提取太阳叶子对于分析与光合作用有关的信息是有意义的。
172.注意，在图7a中，在图像的上部和左部另外示出了与微观测量传感器3s的分辨率等同的线。
173.当通过以这种方式以高分辨率测量从测定区域解释/提取特定测定对象时，以精心设计的方式组合由宏观测量传感器2s获得的物理属性量(与光合作用相关的数值)。因此，可以按宏观测量的分辨率确定物理属性量。
174.图7b示出了由宏观测量传感器2s获得的物理属性值(例如sif)的图像。得到每个正方形的sif值。
175.例如，使用不是测量的直接结果，而是基于如图7a中提取的太阳叶子的比率等调整的值作为每个正方形的该sif值，给出了更有意义的信息。
176.图7c示出了向用户呈现分析结果的示例。由于如图7b中那样仅显示物理属性值未向用户提供可容易理解的信息，因此将它们与rgb图像合成，并且例如呈现合成图像。因此，用户可以容易地理解测定对象和测定结果。
177.注意，通过合成分析结果的物理属性值和rgb图像来执行的显示输出仅仅是一个示例，但是例如，可以合成和输出其中提取太阳叶子的ndvi图像或图7a中的图像，而不是rgb图像。
178.假设以上述方式执行与光合作用相关的信息的分析的情况，说明图6中的各个功能。
179.首先，宏观测量部件2、微观测量部件3、网络5和存储设备6被示为图6中的信息处理装置1的外部装置。
180.例如，如上所述，宏观测量部件2安装在人造卫星210上。宏观测量传感器2s是诸如超谱相机或ftir之类的大型传感器，并且是可以容易地安装在人造卫星210上但不安装在飞行器200上的传感器。这通常是不可见光传感器，主要用于测量物理属性。
181.微观测量部件3安装在飞行器200上。微观测量传感器3s是诸如rgb相机或立体相机之类的小尺寸传感器，以及可以容易地安装在飞行器200上的传感器。通常，它是主要拍摄可见光的传感器，主要用于测量测量对象的表型特征和环境响应。
182.例如，假设网络5包括因特网、家庭网络、lan(局域网)等、卫星通信网络和各种其他类型的网络。
183.假设存储设备6主要是可移除记录介质，例如如上所述的存储器卡或盘状记录介
质。
184.在信息处理装置1中，图6所示的数据输入部件10具有接收从上述外部装置输入的数据的功能，并且具有传感器输入部件11和12以及程序/数据输入部件13。
185.传感器输入部件11接收通过宏观测量部件2的宏观测量传感器2s的检测而获得的信息的输入。例如，在某些情况下，通过图5中的宏观测量部件2和通信部件60之间的通信直接接收通过宏观测量传感器2s的检测获得的数据。
186.或者，在某些情况下，通信部件60经由网络5接收通过宏观测量传感器2s的检测获得的数据。
187.此外，在某些情况下，通过宏观测量传感器2s的检测获得的数据经由存储设备6获得。
188.传感器输入部件12接收通过微观测量部件3的微观测量传感器3s的检测而获得的信息的输入。例如，在某些情况下，通过微观测量传感器3s的检测获得的数据直接通过微观测量部件3和通信部件60之间的通信接收，在某些情况下通过通信部件60经由网络5接收，此外，在某些情况下经由存储设备6来获取，以及在某些情况下以其他方式接收。
189.注意，传感器输入部件11和12可以被配置为执行诸如光源光谱校正之类的预处理。
190.程序/数据输入部件13通过网络5从服务器下载程序、从存储设备6读取程序或以其他方式来获取适合的程序。
191.补充分析执行部件20具有宏观测量分析计算部件21、宏观测量分析值缓冲器22、微观测量分析计算部件23、微观测量分析值缓冲器24、位置映射部件25、补充分析计算程序/数据保持部件26以及补充分析计算部件27。
192.宏观测量分析计算部件21执行从由传感器输入部件11获取的宏观测量传感器2s的检测数据确定物质分量的量等的计算。
193.例如，宏观测量分析计算部件21根据来自超谱相机或ftir的多波长数据等，通过nirs(近红外光谱)或fld方法计算植被指数、sif。
194.宏观测量分析值缓冲器22临时保持已由宏观测量分析计算部件21处理的数据。
195.例如，宏观测量分析值缓冲器22保持由宏观测量分析计算部件21计算的sif、从宏观测量部件2通知的位置信息等。
196.微观测量分析计算部件23执行用于从由传感器输入部件12获取的微观测量传感器3s的检测数据中辨别/提取图像的计算。
197.例如，微观测量分析计算部件23通过执行图像识别处理来执行判别等。或者，微观测量分析计算部件23可以通过使用颜色、亮度值等对对象进行分类，或者可以确定物质分量的量并使用该量进行辨别。
198.通过该处理，微观测量分析计算部件23例如辨别太阳叶子的部分。
199.微观测量分析值缓冲器24临时保持已由微观测量分析计算部件23处理的数据。
200.例如，微观测量分析值缓冲器24保持允许辨别在微观测量分析计算部件23中确定的太阳叶子部分的信息、从微观测量部件3通知的位置信息，以及rgb图像、ndvi图像等。
201.位置映射部件25执行用于从具有不同级别的分辨力或图像拍摄单位(测量区域rz2和rz3)的图像组中提取公共点的计算。例如，gps信息、正交镶嵌等被用于对在宏观测量
分析计算部件21处处理的信息和在微观测量分析计算部件23处处理的信息执行位置对准。
202.补充分析计算部件27通过使用宏观测量分析计算部件21的计算结果和微观测量分析计算部件23的计算结果来执行补充分析计算。
203.例如，对于微观测量的测定区域rz3，其使用宏观测量部件2的信息来执行计算，以按宏观测量分辨力单位确定由微观测量部件3辨别的特定对象的表型特征或环境响应。
204.认为补充分析计算部件27的该补充分析计算是通过使用微观测量分析计算部件23的计算结果来补充宏观测量分析计算部件21的计算结果的计算处理。因此，可以通过使用微观测量分析计算部件的计算结果来提高宏观分析的计算结果的分辨率，并且可以提高检测精度。
205.此外，由于微观测量分辨率和宏观测量分辨率之间的差异，可以使微观测量分析计算部件23的计算结果的分辨率高于宏观测量分析计算部件21的计算结果的分辨率。因此，作为补充分析计算，通过使用微观测量分析计算部件23的计算结果来执行补充宏观测量分析计算部件21的计算结果的计算处理，可以获得补充结果，其中补充地添加了宏观测量分析计算部件的计算结果中未表示的信息。
206.补充计算程序/数据保持部件26保持由程序/数据输入部件13获取的用于补充计算的程序/数据。基于程序/数据执行补充分析计算部件27的计算处理。
207.数据存储/输出部件30具有分析数据缓冲器31、颜色映射部件32、图像合成部件33、图形生成部件34、图像输出部件35和数据输出部件36。
208.分析数据缓冲器31临时存储关于补充分析计算部件27的计算结果的信息。
209.在补充分析计算部件27确定仅太阳叶子的sif量的情况下，分析数据缓冲器31保持该信息。此外，在某些情况下还保持rgb图像或ndvi图像。
210.为了视觉地显示物理值，颜色映射部件32例如通过使用三原色rgb的等级来执行将特定范围的物理值转换为从蓝色到红色的颜色梯度的计算处理。
211.图像合成部件33执行排列颜色映射的物理值数据的计算处理，使得数据对应于在图像中的其原始空间区域或将数据叠加显示在rgb图像上。
212.为了视觉地显示数据，图形生成部件34通过使用多边形线显示物理值或将二维物理值转换为散布图来执行生成图形的计算处理。
213.图像输出部件35将通过颜色映射部件32、图像合成部件33和图形生成部件34的处理而生成的图像数据输出到外部显示部件56，并使图像数据显示在显示部件56上。或者，图像输出部件35执行输出，用于通过使用网络5将生成的图像数据发送到外部装置，或者用于将图像数据转换为文件并将该文件存储在存储设备6中。
214.数据输出部件36输出关于存储在分析数据缓冲器31中的补充分析计算部件27的计算结果的信息。例如，数据输出部件36通过使用网络5执行用于将关于补充分析结果的信息(例如，sif的值等)发送到外部装置的输出，或者用于将该信息转换为文件并将该文件存储在存储设备6中的输出。
215.《3.处理示例》
216.说明具有上述功能的信息处理装置1的处理示例。
217.图8示出了信息处理装置1的处理示例。
218.在步骤s101，信息处理装置1通过传感器输入部件11的功能接收宏观测量部件2的
测量值的输入。
219.在步骤s102，信息处理装置1通过宏观测量分析计算部件21的功能执行宏观测量分析计算。例如，进行sif计算以获得与光合作用相关的信息。已知的sif计算包括通过使用太阳光谱中的暗线执行的fld方法。
220.在步骤s103，信息处理装置1通过传感器输入部件12的功能接收微观测量部件3的测量值的输入。
221.在步骤s104，信息处理装置1通过微观测量分析计算部件23的功能执行微观测量分析计算。例如，执行太阳叶子的提取。
222.图9示出了步骤s104处的该微观测量分析计算的处理示例。
223.注意，假设微观测量分析计算部件23已经获取了图10所示的rgb图像、nir图像和r图像。
224.在图9的步骤s201，微观测量分析计算部件23根据r图像和nir图像确定ndvi图像。如下确定ndvi值。
225.ndvi＝(nir-r)/(nir+r)
226.这里，“r”是可见光范围内红色的反射率，“nir”是近红外区域的反射率。
227.ndvi值是被标准化为
“‑
1”到“1”之间的值的数值。在正方向上值越大，植被密度越高。
228.图11a示意性地示出了基于ndvi值的ndvi图像。
229.在步骤s202，微观测量分析计算部件23提取ndvi图像中ndvi值等于或高于特定值的区域。即，生成表示ndvi值等于或大于预定阈值的像素的提取结果的图11b的图像ndvip(过滤的ndviplants)。表示ndvi值等于或大于预定阈值的像素的提取结果的图像ndvip可以说是表示植物部分的提取结果的过滤图像。
230.在步骤s203，微观测量分析计算部件23提取ndvi图像中nir值等于或高于特定值的区域。即，生成表示nir值等于或大于预定阈值的像素的提取结果的图11c的图像ndvipr(过滤的ndvipar)。
231.表示nir值等于或大于预定阈值的像素的提取结果的图像ndvip可以说是表示由阳光照射的部分的提取结果的过滤图像。
232.在步骤s204，微观测量分析计算部件23提取ndvi等于或高于特定值且nir值等于或高于特定值的区域。也就是说，通过图11b和图11c的“与”操作来执行提取，以生成图11d中的图像ndvip-pr(ndviplants过滤par过滤(ndviplants filtered par filtered))。
233.图像ndvip-pr对应于表示太阳叶子的提取结果的信息(图像)。
234.在通过上述处理执行图8中的步骤s104之后，在步骤s105，信息处理装置1通过位置映射部件25的功能执行位置映射。
235.即，执行在通过宏观测量分析计算获得的宏观测量分辨率的区域(每个区域的sif量)与作为微观测量分析计算结果的图11d的图像ndvip-pr之间的位置对准。
236.在步骤s106，信息处理装置1通过补充分析计算部件27的功能执行补充分析计算。图12中示出了该补充分析计算的处理示例。
237.注意，基于宏观测量的sif在图13a中示意性地示出。针对作为宏观测量分辨率示出的每个正方形(宏观分辨率单位w1至wn)确定sif。sif量的差异由图中的颜色密度表示。
238.图13b示出了带有细线的帧的微观测量分辨率，以及粗线的宏观测量分辨率的一个宏观分辨率单位w1。图13c通过上述表示提取的太阳叶子的图像ndvip-pr上的粗线示出了一个宏观分辨率单位w1。
239.对相当于微观测量区域的每个宏观分辨率单位进行补充分析计算。如参考图4等所解释的，微观测量区域rz3被包括在宏观测量区域rz2中。在补充分析计算中，在宏观测量区域rz2中，顺序地参考与微观测量区域rz3相当的位置处的宏观分辨率单位的测量值。即，从图13a中的宏观分辨率单位w1到wn顺序地执行处理。
240.在步骤s301，补充分析计算部件27读出sif，并将其赋予变量a。
241.例如，首先，宏观分辨率单位w1的sif被视为变量a。
242.在步骤s302，补充分析计算部件27计算当前对象宏观分辨率单位中的太阳叶子比，并将计算出的太阳叶子比赋予变量b。例如，在图13b和图13c中的宏观分辨率单位w1中，确定提取为太阳叶子的部分及其以外的部分的区域大小(例如，像素计数)，并确定太阳叶子部分的比率。
243.在步骤s303，补充分析计算部件27计算当前对象宏观分辨率单位中的太阳叶子sif量(＝c)。c定义为a/b。即，通过将一个宏观分辨率单位的sif量除以太阳叶子比率，确定宏观分辨率单位中的太阳叶子sif量。例如，在sif量(变量a)＝0.1且太阳叶子比率(变量b)＝0.5的情况下，太阳叶子sif量c为0.2。
244.按当前对象宏观分辨率单位存储计算出的太阳叶子sif量c，作为sif量的值。
245.通过从步骤s304返回到s301，重复上述处理，直到对所有微观测量区域执行了处理。也就是说，如上所述，针对宏观分辨率单位w1到宏观分辨率单位wn中的每一个顺序地确定太阳叶子sif量c的值。
246.在对相当于微观测量区域的所有宏观分辨率单位完成处理之后，补充分析计算部件27进入步骤s305，并将补充分析结果写入分析数据缓冲器31。在这种情况下，作为针对宏观分辨率单位w1到宏观分辨率单位wn中的每一个的分析结果，写入太阳叶子sif量c的值。图14示意性地示出了确定为太阳叶子sif量c的值的分析结果。即，图13a中的每个宏观分辨率单位的sif量被表示为根据太阳叶子比率校正的信息。
247.在通过执行上述处理完成图8中的步骤s106之后，信息处理装置1执行步骤s107的颜色映射、步骤s108的图像合成以及通过数据存储/输出部件30的功能的步骤s109的图像输出。
248.因此，用户可以在显示部件56等上检查分析结果。
249.说明在这种情况下已经经历颜色映射等的输出图像的示例。
250.图15示出了生成图像的示例，其中对以上述方式获得的每个宏观分辨率单位的补充分析结果执行颜色应用(颜色映射)。这里所说的“颜色应用”是预先设定对应于每个数值范围的颜色，并根据对象值选择颜色，并将颜色分配给感兴趣的像素。
251.图15a示出了作为补充分析结果获得的每个宏观分辨率单位的sif(上面解释的c的值)。如图15b所示，针对sif的这种值执行颜色应用以生成颜色映射图像。这对应于其中为每个区域分配与sif(c的值)对应的颜色的图像。
252.注意，该图通过斜线、点等的类型示出了颜色的差异。此外，没有有效sif值的宏观分辨率单位(例如，没有太阳叶子的部分等)用“无数据”表示。例如，背景色(白色)被分配给
由“无数据”表示的区域。
253.向用户呈现这样的颜色映射图像允许通过颜色表达每个宏观分辨率单位的区域的sif，并且给出了允许用户容易地知道每个区域的光合作用状况的图像。
254.接下来，图16示出了将具有应用的颜色的图像合成到对应于特定植被状态的部分的示例。图16a示出了作为补充分析结果获得的每个宏观分辨率单位的sif(上面解释的c的值)。图16b示出了表示提取的太阳叶子的图像ndvip-pr。
255.然后，按每个宏观分辨率单位对太阳叶子部分执行颜色应用，以生成如图16c所示的颜色映射图像。这是其中只有部分太阳叶子与它们的sif相对应地被着色的图像。因此，它是允许用户容易地知道太阳叶子在每个区域中的分布以及其中的光合作用状况的图像。
256.接下来，图17示出了在可见光图像(rgb图像)上的叠加显示的示例。
257.图17a示出了作为补充分析结果获得的每个宏观分辨率单位的sif(上面解释的c的值)。图17b示出了rgb图像。
258.然后，如图17c所示，将根据sif值分配给每个宏观分辨率单位的颜色叠加在rgb图像上。该图示出了相应像素部分被着色的状态。
259.也就是说，它是在rgb图像上表达表示分析结果的颜色的图像。因此，它是通常由用户视觉识别的图像，但是例如，在其上表示光合作用状况，并且用户可以容易地知道其上的植被状况。
260.注意，所分配的颜色可以不被叠加(overlay)，但是相应的像素可以被所分配的颜色盖写(write over)。
261.例如，以上面解释的图15、图16和图17所示的方式生成输出图像，并且生成的图像显示在显示部件56上，通过使用网络5发送到外部装置，或者转换为要存储在存储设备6中的文件，以允许用户使用分析结果。
262.《4.各种类型的示例》
263.同时，尽管在上面解释的处理示例中，输出通过考虑太阳叶子部分而获得的sif的分析结果，但在该情况下存在可能的修改，以及其他感测和输出信息的各种类型的示例。下面，举例说明宏观测量和微观测量的组合以及输出。
264.·
宏观测量：sif
265.·
微观测量：rgb、ndvi和nir反射率(用于太阳叶子辨别)
266.·
输出：与光合作用状态相关的信息
267.这是与上述处理示例等效的组合。
268.尽管在上述处理示例中基于微观测量简单地提取太阳叶子，但是可以对太阳叶子和阴影叶子(未被阳光照亮的叶子)使用权重。
269.·
宏观测量：sif
270.·
微观测量：rgb、ndvi、nir反射率(用于太阳叶子辨别)和偏振传感器(或立体相机或tof传感器)(用于测定叶子角度)
271.·
输出：与光合作用状态相关的信息
272.通过测定叶子角度，有关叶子角度的信息可以用作提取条件，也可以与权重结合使用，以提高精度。
273.·
宏观测量：植被指数，如ndvi
274.·
微观测量：rgb(用于区分土壤和植物)
275.·
输出：与叶子和个体相关的信息，如叶子的叶绿素浓度
276.这样的示例有助于构建服务以提供作为卫星感测和诸如安装有典型rgb相机的无人机之类的飞行器200的组合的植被指数，例如ndvi。
277.·
宏观测量：植被指数，如ndvi
278.·
微观测量：rgb(用于区分土壤和植物)和偏振传感器(或立体相机或tof传感器)(用于测定叶子的角度)
279.·
输出：与叶子和个体相关的信息，如叶子的叶绿素浓度
280.通过测定叶子的角度，brdf(双向反射分布函数)校正(光学校正)成为可能，并且可以提高精度。
281.·
宏观测量：红外线
282.·
微观测量：rgb、ndvi、nir反射率(用于太阳叶子辨别)，和偏振传感器(或立体相机或tof传感器)(用于测定叶子角度)
283.·
输出：与叶子蒸发速率相关的信息
284.叶子温度可以通过使用红外线来测量，蒸发速率可以从叶子温度得知。尽管通常叶子温度的变化很大程度上取决于叶子是否被阳光照射，但提取太阳叶子、测定叶子角度以及仅提取满足相同条件的值允许个体间比较伴随蒸发的叶子温度降低。
285.到目前为止，假设执行植被感测，给出了解释，但本公开中的技术可应用于广泛的领域。
286.例如，在诸如办公楼之类的建筑物中使用中央加热源的情况下，可以知道整个建筑物的能量使用量。然而，在某些情况下，并不精确地知道建筑物的一部分(例如，占用特定楼层的办公室)的能量使用量。
287.在这种情况下，可以使用诸如建筑物的每个位置(每个楼层)的照明或出口之类的每个使用的能量使用量的测量值(如果可用的话)，以允许估计办公室等的能量使用量。
288.在这种情况下，作为宏观测量，测量整个建筑物的能源使用量。
289.此外，作为微观测量，测量诸如建筑物的每个位置的照明或出口之类的每个使用的能量使用量。
290.然后，可以获得在建筑物的一部分(例如，特定办公室)处使用的能量量的估计值作为输出。
291.此外，例如，在诸如劳工统计之类的领域的示例中，作为宏观测量，测量特定长度的某一时段内失业率的转变，并作为微观测量，基于季节性失业率的转变生成季节性指数。
292.然后，通过季节性指数对失业率的转变信息进行调整，并输出调整后的信息。因此，例如，可以获得允许观察排除了季节性因素的影响的失业率转变的信息。
293.《5.总结和修改》
294.根据上述实施例，可以获得以下效果。
295.本实施例中的信息处理装置1包括宏观测量分析计算部件21，该宏观测量分析计算部件21执行来自宏观测量部件2的检测数据的计算，该宏观测量部件2以宏观测量分辨率(第一空间分辨率)进行测量对象的宏观测量区域rz2(第一测量区域)的感测。此外，信息处理装置1包括微观测量分析计算部件23，该微观测量分析计算部件23执行来自微观测量部
件3的检测数据的计算，该微观测量部件3以作为高于宏观测量分辨率的分辨率的微观测量分辨率(第二空间分辨率)执行包含在宏观测量区域rz2中的微观测量区域rz3(第二测量区域)的感测。此外，信息处理装置1包括补充分析计算部件27，该补充分析计算部件27通过使用宏观测量分析计算部件21的计算结果和微观测量分析计算部件23的计算结果来执行补充分析计算，以生成补充分析信息。
296.在这种情况下，通过组合使用能够以高空间分辨率进行感测的微观测量部件3的检测数据和具有低空间分辨率但能够进行高度功能感测的宏观测量部件2的检测数据来执行计算，可以测量不能单独通过微观测量部件3或单独通过宏观测量部件2测量的测量对象的表型特征或环境响应。
297.在本实施例的信息处理装置1中，补充分析计算包括通过使用微观测量分析计算部件23的计算结果来补充宏观测量分析计算部件21的计算结果的计算处理。
298.因此，例如，可以通过使用微观测量分析计算部件的计算结果来提高宏观分析的计算结果的分辨率，来提高检测精度。
299.假设在本实施例的信息处理装置1中，微观测量分析计算部件23的计算结果的分辨率高于宏观测量分析计算部件22的计算结果的分辨率。由此，可以获得补充分析计算结果，其中通过使用微观测量分析计算部件的计算结果来补充地添加了在宏观测量分析计算部件的计算结果中未表示的信息。
300.在实施例中说明的示例中，信息处理装置1借助补充分析计算部件27生成包括作为微观测量分析计算部件23的分析结果而在微观测量区域rz3中辨别的特定对象的物理属性值的补充分析信息，所述物理属性值是按宏观测量分辨率的单位作为是宏观测量分析计算部件21的分析结果的物理属性值来确定的。
301.能够以高空间分辨率进行感测的微观测量部件3的检测数据有利于在测量区域中辨别对象。例如，适于通过使用微观测量部件3的检测数据来执行由太阳光照射的叶子部分(太阳叶子)的辨别、土壤和叶子的辨别等。
302.另一方面，能够进行高功能感测的宏观测量部件2的检测数据允许物理属性值的详细计算。因此，可以获得利用微观测量部件3和宏观测量部件2的优点的补充分析信息。
303.例如，与被辨别的测量对象的表型特征、环境响应、分布等一起，可以获得表示环境响应的分析结果，例如与光合作用相关的信息，例如上述sif。
304.在实施例中解释的示例中，物理属性值是与植物光合作用相关的信息。
305.例如，与光合作用相关的信息示例包括sif，以及根据sif计算的各种类型的信息。
306.在这种情况下，可以根据基于微观测量的表型特征、环境响应、区域、分布等输出与光合作用相关的信息。
307.在实施例中解释的示例中，微观测量分析计算部件23基于rgb图像或与植被指数相关的信息来执行测定对象的辨别。
308.例如，rgb图像或ndvi图像用于通过诸如与预定阈值进行比较之类的技术来执行辨别。
309.在这种情况下，例如，可以适当地执行太阳叶子部分的辨别、土壤和植物部分的辨别等。具体地，在通过宏观测量部件2获得与光合作用相关的信息的情况下，通过使得能够显示与光合作用相关的信息(例如，sif)以及太阳叶子部分或植物部分的辨别结果，或者通
过调整值，可以输出更有意义的信息。
310.在本实施例中，宏观测量部件2布置在比微观测量部件3更远离测量对象4(例如耕地300)的位置处，以执行感测。
311.通过使宏观测量部件2相对远离测量对象4，容易实现作为宏观测量部件2或安装宏观测量部件2的装置的相对大的设备或装置。
312.注意，尽管在所解释的示例中，微观测量部件3安装在飞行器200上，宏观测量部件2安装在人造卫星210上，但宏观测量部件2也可以安装在飞行器200上，例如无人机。例如，可以将宏观测量部件2安装于在空中飞得更高的飞行器200上，并使宏观测量部件2执行宏观测量区域rz2的感测。
313.在实施例中解释的示例中，宏观测量部件2安装在人造卫星210上。
314.由于在人造卫星210上安装相对高功能或相对大尺寸的传感器更容易，因此人造卫星210适合安装执行高级感测的宏观测量部件2。
315.例如，通过允许大量农民、感测执行组织等共享人造卫星210的宏观测量部件2，还可以尝试降低运营成本或有效地使用宏观测量传感器2s。
316.注意，在一个可能的示例中，在不使用人造卫星210的情况下，将宏观测量部件2安装在飞行器200或相对大尺寸的飞行器上，并使其从高于微观测量部件3的位置执行感测。
317.在本实施例中解释的示例中，微观测量部件3安装在可通过无线或自动驾驶仪操纵的飞行器200上。
318.可通过无线或自动驾驶仪操纵的飞行器200的示例包括所谓的无人机、小型无线操纵固定翼飞机、小型无线操纵直升机等。
319.在小型飞行器200的情况下，从距离诸如耕地300之类的测量对象的相对低的高度处执行感测。因此，这种情况适合于以高空间分辨力进行感测。
320.此外，通过不在飞行器200上安装宏观测量部件2，操作小型飞行器200变得更容易，或者可以降低执行感测的成本。
321.在实施例中提到的示例中，微观测量部件3具有作为微观测量传感器3s的可见光图像传感器、立体相机、激光图像检测和测距传感器、偏振传感器或tof传感器中的任何传感器。
322.这些传感器适合于分析测量对象的表型特征、环境响应、区域、分布等，例如形状分析。
323.此外，这些是可以相对容易地安装在飞行器200上的传感器，并且适合于作为小型无人飞行器的飞行器200(例如无人机)的操作。
324.在实施例中解释的示例中，宏观测量部件2具有多谱相机、超谱相机、傅里叶变换红外分光光度计或红外传感器中的任何一个作为宏观测量传感器2s。
325.这些传感器适合于分析各种类型的物理属性值，例如与光合作用有关的信息。
326.此外，这些传感器可以相对不容易地安装在飞行器200上。然后，例如，在将它安装在人造卫星210上的情况下，可以促进作为小型无人飞行器(例如无人机)的飞行器200的操作。
327.在实施例中解释的示例中，信息处理装置1具有补充分析计算程序/数据保持部件26作为保持部件，其保持从外部装置输入的补充分析计算部件的补充分析计算程序。
328.也就是说，可以从外部装置获取定义补充分析计算部件的计算算法的程序。
329.例如，从诸如网络5或存储设备6之类的外部装置获取用于补充分析计算的程序并将其存储在补充分析计算程序/数据保持部件26中，并且基于该程序执行补充分析计算部件27的计算。因此，信息处理装置1可以执行多种补充分析计算。
330.本实施例的信息处理装置1具有基于补充分析信息生成和输出图像数据的数据存储/输出部件30。
331.当补充分析结果在某些情况下未经修改地使用时，补充分析结果不适合于人类视觉识别的图像(评估结果难以理解)。然后，数据存储/输出部件30将补充分析结果转换为处于适于呈现给人类的状态的图像，并且将该图像输出到显示部件56、网络5或存储设备6。因此，可以向用户提供允许更容易地理解补充分析结果的图像。
332.在实施例中说明的示例中，数据存储/输出部件30生成其中补充分析结果被颜色映射的输出图像(参见图15)。
333.也就是说，在为对应于宏观分辨率单位的每个区域获得补充分析结果的情况下，将用于呈现给用户的图像生成为其中向每个区域应用颜色的图像。
334.因此，可以向用户提供允许基于颜色识别分析结果的图像。
335.在实施例中说明的示例中，数据存储/输出部件30生成通过将补充分析结果被颜色映射的图像与第二图像合成而获得的输出图像(参见图16和图17)。
336.例如，通过以诸如叠加或盖写之类的形式合成第二图像和颜色映射图像，数据存储/输出部件30可以向用户提供允许基于每个区域的颜色识别评估结果的图像，同时第二图像允许识别每个区域。
337.在该实施例中，要与其中补充分析结果被颜色映射的图像合成的第二图像是基于微观测量分析计算部件的计算结果的图像。例如，它是图像ndvip-pr(参见图16)。
338.因此，可以向用户提供允许在表示微观测量区域rz3中的辨别结果的图像上对在宏观测量中获得的信息进行视觉识别的图像。
339.在该实施例中，输出图像是表示关于微观测量区域rz3的图像的按宏观测量分辨率的单位的补充分析结果的图像(参见图15、图16和图17)。
340.因此，可以向用户提供允许视觉识别在宏观测量中获得的信息以及微观测量区域rz3中的测量对象的图像。
341.注意，输出图像可以是表示不关于表示整个微观测量区域rz3的图像、而是关于表示微观测量区域rz3的一部分的图像的按宏观测量分辨率的单位的补充分析结果的图像。
342.实施例中的程序使得信息处理装置1执行宏观测量分析计算处理，该宏观测量分析计算处理执行来自宏观测量部件2的检测数据的计算，该宏观测量部件2以宏观测量分辨率执行测量对象的宏观测量区域rz2的感测。此外，该程序使信息处理装置1执行微观测量分析计算处理，该微观测量分析计算处理执行来自微观测量部件3的检测数据的计算，该微观测量部件3以作为高于宏观测量分辨率的分辨率的微观测量分辨率执行包括在宏观测量区域rz2中的微观测量区域rz3的感测。此外，该程序使得信息处理装置1执行补充分析计算处理，其通过使用宏观测量分析计算部件21的计算结果以及微观测量分析计算部件23的计算结果来执行进行补充分析计算，以及生成补充分析信息。
343.即，它是使信息处理装置执行图8、图9和图12的处理的程序。
344.这样的程序有助于本实施例的图像处理装置1的实现。
345.然后，可以将这样的程序预先存储在并入到诸如计算机装置之类的设备中的记录介质、具有cpu的微型计算机中的rom等中。或者，也可以将这样的程序临时或永久地保存(存储)在可移除记录介质中，例如半导体存储器、存储卡、光盘、磁光盘或磁盘。此外，这种可移除记录介质可以作为所谓的打包软件提供。
346.此外，除了从可移除记录介质安装在个人计算机等上之外，还可以经由诸如lan之类的网络或因特网从下载站点下载这样的程序。
347.注意，本说明书中描述的效果仅作为示例来说明，并且不是唯一的效果。可能还有其他效果。
348.本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。
349.注意，本技术可以具有以下配置。
350.(1)一种信息处理装置，包括：
351.进行来自宏观测量部件的检测数据的计算的宏观测量分析计算部件，宏观测量部件以第一空间分辨率进行测量对象的第一测量区域的感测；
352.进行来自微观测量部件的检测数据的计算的微观测量分析计算部件，微观测量部件以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一测量区域中包括的第二测量区域的感测；以及
353.补充分析计算部件，通过使用宏观测量分析计算部件的计算结果和微观测量分析计算部件的计算结果来进行补充分析计算，并生成补充分析信息。
354.(2)根据上述(1)的信息处理装置，其中
355.补充分析计算包括通过使用微观测量分析计算部件的计算结果来补充宏观测量分析计算部件的计算结果的计算处理。
356.(3)根据上述(1)或(2)的信息处理装置，其中
357.微观测量分析计算部件的计算结果的分辨率高于宏观测量分析计算部件的计算结果的分辨率。
358.(4)根据上述(1)至(3)中任一项的信息处理装置，其中
359.补充分析计算部件生成补充分析信息，补充分析信息是作为微观测量分析计算部件对第二测量区域的分析结果而辨别的特定对象的物理属性值，所述物理属性值被确定为作为宏观测量分析计算部件的分析结果的按第一空间分辨率的单位的物理属性值。
360.(5)根据上述(4)的信息处理装置，其中
361.物理属性值包括与植物光合作用相关的信息。
362.(6)根据上述(4)或(5)的信息处理装置，其中
363.微观测量分析计算部件基于rgb图像或与植被指数相关的信息来执行测定对象的辨别。
364.(7)根据上述(1)至(6)中任一项的信息处理装置，其中
365.宏观测量部件在比微观测量部件的位置更远离测量对象的位置处进行感测。
366.(8)根据上述(1)至(7)中任一项的信息处理装置，其中
367.宏观测量部件被安装在人造卫星上。
368.(9)根据上述(1)至(8)中任一项的信息处理装置，其中
369.微观测量部件被安装在能够无线地或通过自动驾驶仪操纵的飞行器上。
370.(10)根据上述(1)至(9)中任一项的信息处理装置，其中
371.微观测量部件具有可见光图像传感器、立体相机、激光图像检测和测距传感器、偏振传感器或tof传感器中的任何传感器作为微观测量传感器。
372.(11)根据上述(1)至(10)中任一项的信息处理装置，其中
373.宏观测量部件具有多谱相机、超谱相机、傅里叶变换红外分光光度计或红外传感器中的任何一个作为宏观测量传感器。
374.(12)根据上述(1)至(11)中任一项的信息处理装置，还包括：
375.保持部件，保持从外部装置输入的补充分析计算部件的补充分析计算程序。
376.(13)根据上述(1)至(12)中任一项的信息处理装置，还包括：
377.输出部件，生成基于补充分析信息的输出图像数据，并输出输出图像数据。
378.(14)根据上述(13)的信息处理装置，其中
379.输出部件生成补充分析结果被颜色映射的输出图像数据。
380.(15)根据上述(13)的信息处理装置，其中
381.输出部件生成通过合成第二图像和其中补充分析结果被颜色映射的图像而获得的输出图像数据。
382.(16)根据上述(15)的信息处理装置，其中
383.第二图像包括基于微观测量分析计算部件的计算结果的图像。
384.(17)根据上述(13)至(15)中任一项的信息处理装置，其中
385.输出图像数据包括指示以第一空间分辨率的单位表示第二测量区域的整个部分或一部分的图像的补充分析结果的图像数据。
386.(18)一种信息处理装置执行以下处理的信息处理方法：
387.进行来自宏观测量部件的检测数据的计算的宏观测量分析计算处理，宏观测量部件以第一空间分辨率进行测量对象的第一测量区域的感测；
388.进行来自微观测量部件的检测数据的计算的微观测量分析计算处理，微观测量部件以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一测量区域中包括的第二测量区域的感测；以及
389.补充分析计算处理，通过使用宏观测量分析计算处理中的计算结果和微观测量分析计算处理中的计算结果来进行补充分析计算，并生成补充分析信息。
390.(19)一种使信息处理装置执行以下处理的程序：
391.进行来自宏观测量部件的检测数据的计算的宏观测量分析计算处理，宏观测量部件以第一空间分辨率进行测量对象的第一测量区域的感测；
392.进行来自微观测量部件的检测数据的计算的微观测量分析计算处理，微观测量部件以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一测量区域中包括的第二测量区域的感测；以及
393.补充分析计算处理，通过使用宏观测量分析计算处理中的计算结果和微观测量分析计算处理中的计算结果来进行补充分析计算，并生成补充分析信息。
394.(20)一种感测系统，包括：
395.宏观测量部件，以第一空间分辨率进行测量对象的第一测量区域的感测；
396.微观测量部件，以作为高于第一空间分辨率的分辨率的第二空间分辨率进行测量对象的第一测量区域中包括的第二测量区域的感测；
397.宏观测量分析计算部件，进行来自宏观测量部件的检测数据的计算；
398.微观测量分析计算部件，进行来自微观测量部件的检测数据的计算；以及
399.补充分析计算部件，通过使用宏观测量分析计算部件的计算结果和微观测量分析计算部件的计算结果来进行补充分析计算，并生成补充分析信息。
400.[参考标志列表]
[0401]
1：信息处理装置，2：宏观测量部件，2s：宏观测量传感器，3：微观测量部件，3s：微观测量传感器，4：测定对象，5：网络，6：存储设备，10：数据输入部件，11：传感器输入部件，12：传感器输入部件，13：程序/数据输入部件，20：补充分析执行部件，21：宏观测量分析计算部件，22：宏观测量分析值缓冲器，23：微观测量分析计算部件，24：微观测量分析值缓冲器，25：位置映射部件，26：补充分析计算程序/数据保持部件，27：补充分析计算部件30：数据存储/输出部件31：分析数据缓冲器32：颜色映射部件33：图像合成部件34：图形生成部件35：图像输出部件36：数据输出部件51：cpu52：rom 53：ram 54：总线55：输入/输出接口56：显示部件57：输入部件58：扬声器59:存储部件60:通信部件61:驱动器200:飞行器210:人造卫星220:图像拍摄装置250:图像拍摄装置300:耕地