药剂识别装置、药剂识别方法及药剂识别程序与流程

本发明涉及一种识别药剂时能够提高主图像的稳健性的药剂识别装置、药剂识别方法及药剂识别程序。

背景技术：

一直以来提出或提供有识别药剂的种类的各种装置。例如，通过照亮药剂，拍摄该被照亮的药剂，并核对通过该拍摄得到的摄影图像中的药剂区域与按照药剂的每一种类预先登记的主图像，能够识别药剂的种类。

专利文献1中记载有如下技术：在针对在生产线上连续供给的工件的相异品种混入检查中，为了防止因照明的变化、工件的涂布状态的不同等外部原因引起的识别精度的变化，将最初供给的工件的图像数据作为主图像(基准图像数据)进行登记，并将陆续供给的多个工件的各个图像数据与主图像进行比较，从而判定为相同品种时，始终更新主图像。

并且，专利文献2中记载有如下技术：将药剂的计测值特性(色调、大小、形状等)作为查询检索项目而检索药剂信息数据库，并在屏幕上显示完全一致或近似的产品名。

并且，专利文献3中记载有如下技术：拍摄被照亮的药剂的图像且在与保存于数据库的各药剂的模板图像之间进行匹配来进行药剂的鉴别。

以往技术文献

专利文献

专利文献1：日本特开2005-249615号公报

专利文献2：日本特开平9-16681号公报

专利文献3：wo2015/152225号公报

技术实现要素：

发明要解决的技术课题

即使将专利文献1中记载的技术适用于药剂的识别，且在判定为药包内的药剂与主图像的药剂为相同品种时始终更新主图像，也很难提高主图像的稳健性。其理由为，药包内的药剂的位置根据药包而不同，因此在识别力低的位置拍摄到药剂时更新主图像，则会导致药剂的识别精度降低。专利文献2中没有关于与主图像的核对及提高主图像的稳健性的任何记载。并且，专利文献3中虽然对模板匹配进行了记载，但没有关于提高主图像的稳健性的任何记载。

本发明的目的在于提供一种识别药剂时能够提高主图像的稳健性的药剂识别装置、药剂识别方法及药剂识别程序。

用于解决技术课题的手段

为了实现上述目的，本发明的一方式所涉及的药剂识别装置具备：照明部，照亮药剂；摄影部，拍摄通过照明部照亮的药剂；存储部，按药剂的每一种类存储表示药剂的主图像；药剂位置获取部，根据通过摄影部得到的摄影图像来获取药剂的位置；更新判定部，根据通过药剂位置获取部获取的药剂的位置来判定是否更新主图像；主图像生成部，由通过摄影部得到的摄影图像中的药剂区域生成主图像；及登记部，在通过更新判定部判定为更新主图像时，将通过主图像生成部生成的主图像登记到存储部。

根据本方式，根据通过摄影部得到的摄影图像获取药剂的位置，根据该药剂的位置，判定是否更新药剂的每一种类的主图像，因此即使药剂的位置按照药包不同，也能够以药剂的识别率变高的方式更新主图像。即，识别药剂时，能够提高主图像的稳健性。

本发明的其他方式所涉及的药剂识别装置中，登记部将表示药剂的位置的药剂位置信息与主图像建立关联地存储于存储部，更新判定部根据通过摄影部拍摄的药剂的位置和与主图像建立关联的药剂位置信息来判定是否更新主图像。

本发明的另一其他方式所涉及的药剂识别装置中，在通过摄影部拍摄的药剂的位置相较于通过与主图像建立关联的药剂位置信息表示的主图像的药剂的位置对于药剂的识别力高时，更新判定部判定为更新主图像。

本发明的另一其他方式所涉及的药剂识别装置中，在通过摄影部拍摄到未登记主图像的种类的药剂时，登记部将通过摄影部得到的摄影图像中的药剂区域作为主图像登记到存储部。

本发明的另一其他方式所涉及的药剂识别装置中，更新判定部根据摄影部的摄影范围内的对于药剂的识别力满足基准的基准位置与药剂的位置之间的距离，判定是否更新主图像。

本发明的另一其他方式所涉及的药剂识别装置具备基准位置设定部，预先求出摄影部的摄影范围内的对于药剂的识别力满足基准的位置并设定为基准位置。

本发明的另一其他方式所涉及的药剂识别装置中，基准位置为摄影范围内的对于药剂的识别力最高的位置或摄影范围内的对于药剂的识别力最高的区域的代表位置。

本发明的另一其他方式所涉及的药剂识别装置中，识别力为对于药剂的表面的刻印的识别力，且根据照明部的照明光入射于药剂的表面的刻印上的入射角确定。

本发明的另一其他方式所涉及的药剂识别装置中，照明部从包围药剂的多个照明方向照亮药剂，摄影部与包住药剂的包裹材料的至少一面对置，基准位置为摄影范围的中心位置，更新判定部根据摄影范围的中心位置与药剂位置之间的距离，判定是否更新主图像。

本发明的另一其他方式所涉及的药剂识别装置中，照明部构成为包含多个光源，多个光源与摄影部的光轴为等间隔。

本发明的另一其他方式所涉及的药剂识别装置中，照明部从4个以上的方向照亮药剂。

本发明的另一其他方式所涉及的药剂识别装置中，在多个药剂包含在1个药包时，更新判定部根据多个药剂彼此的间隔，判定是否更新主图像。

本发明的另一其他方式所涉及的药剂识别装置中，照明部构成为包含多个光源，所述药剂识别装置具备；照明控制部，通过切换多个光源中照亮药剂的光源而依次切换药剂的照明方向；及摄影控制部，每次切换照明方向时，使摄影部拍摄药剂，主图像生成部合成通过摄影部得到的多个摄影图像即与多个照明方向对应的多个摄影图像而生成主图像。

本发明的另一其他方式所涉及的药剂识别装置中，摄影部构成为包含：第一相机，从第一方向拍摄药剂；及第二相机，从与第一方向不同的第二方向拍摄药剂。

本发明的另一其他方式所涉及的药剂识别装置中，药剂被包装。

本发明的另一其他方式所涉及的药剂识别装置中，包装有药剂的多个药包连续，在从1个药包拍摄到相同种类的多个药剂时，或者遍及多个药包拍摄到相同种类的多个药剂时，主图像生成部利用拍摄到相同种类的多个药剂的多个药剂区域来生成主图像。另外，也可以设为从1个药包仅拍摄到相同种类的1个药剂时，由1个药剂区域生成主图像的结构。并且，遍及多个药包未拍摄到相同种类的多个药剂时，可以由1个药剂区域生成主图像。

本发明的另一其他方式所涉及的药剂识别装置中，在从1个药包拍摄到相同种类的多个药剂时，或者遍及多个药包拍摄到相同种类的多个药剂时，主图像生成部利用多个药剂区域并通过平均或加权平均来生成主图像。

本发明的另一其他方式所涉及的药剂识别装置具备：显示部；及显示控制部，使显示部显示摄影图像中的药剂区域。

本发明的另一其他方式所涉及的药剂识别装置具备计算主图像与摄影图像中的药剂区域的相关值的相关值计算部，显示控制部使显示部显示相关值。

本发明的另一其他方式所涉及的药剂识别装置中，显示控制部在显示部显示更新了主图像的历史记录。

本发明的另一其他方式所涉及的药剂识别装置中，显示控制部将药剂位置与主图像的更新建立关联地显示于显示部。

本发明的另一其他方式所涉及的药剂识别装置具备：药剂判断部，核对摄影图像与登记到存储部的主图像中最后登记的主图像来判断摄影图像所表示的药剂为哪一种药；及判断结果输出部，输出判断的结果。根据本方式，核对摄影图像与最后登记的主图像(即，通过上述方式提高了稳健性的主图像)，因此能够准确地判断摄影图像所表示的药剂为哪一种药剂。本方式所涉及的药剂识别装置例如能够适用于药剂鉴别、药剂监查支持。

本发明的另一其他方式所涉及的药剂识别装置中，药剂判断部根据摄影图像与主图像的核对结果来选择摄影图像所表示的药剂的候选，判断结果输出部输出表示所选择的候选的信息。根据本方式，通过所输出的信息，能够确认摄影图像所表示的药剂的候选。

本发明的另一其他方式所涉及的药剂识别装置进一步具备输入与摄影图像所表示的药剂相关联的关联信息的关联信息输入部，药剂判断部参考关联信息进行判断。本方式中，能够将用于药剂的核对的信息作为关联信息输入，从而能够通过参考这种关联信息而准确地进行判断。

本发明的另一其他方式所涉及的药剂识别装置中，关联信息为处方数据中包含的药剂的信息，药剂判断部从存储部获取针对处方数据中包含的药剂的主图像，并核对摄影图像与所获取的主图像，来判断摄影图像所表示的药剂与所获取的主图像所表示的药剂是否相同。根据本方式，通过将处方数据中包含的药剂的信息作为关联信息输入，能够准确地判断摄影图像所表示的药剂与已获取的主图像所表示的药剂是否相同。

本发明的另一其他方式所涉及的药剂识别方法使用：照明部，照亮药剂；摄影部，拍摄通过照明部照亮的药剂；及存储部，按药剂的每一种类存储表示药剂的主图像，所述药剂识别方法包括：根据通过摄影部得到的摄影图像获取药剂的位置的步骤；根据已获取的药剂的位置来判定是否更新主图像的步骤；及在判定为更新主图像时，将摄影图像中的药剂区域作为主图像登记到存储部的步骤。

本发明的另一其他方式所涉及的药剂识别程序使计算机执行上述药剂识别方法。另外，作为本发明的另一其他方式，还能够举出记录有本方式所涉及的药剂识别程序的能够由计算机读取的代码的非暂时性记录介质。

根据本发明所涉及的药剂识别装置、药剂识别方法及药剂识别程序，在识别药剂时，能够提高主图像的稳健性。

附图说明

图1是表示本发明所涉及的一实施方式的药剂识别装置的结构例的图。

图2是表示多个药包连续的例子的图。

图3是表示照明部的光源及摄影部的相机的配置例的侧视图。

图4是表示照明部的光源及摄影部的相机的配置例的俯视图。

图5是表示很难检测药剂的刻印的条件的图。

图6是表示图5所示的情况下的亮度分布的图。

图7是表示为了设定基准位置而二维排列的药剂的图。

图8是用于说明用于设定基准位置的相关值计算的说明图。

图9是用于说明主图像的优选更新的说明图。

图10是用于说明核对的说明图。

图11是用于说明照明方向切换的第一说明图。

图12是用于说明照明方向切换的第二说明图。

图13是表示药剂识别结果的显示例的图。

图14是表示适用了本发明所涉及的药剂识别方法的处理例的流程的流程图。

图15是表示将本发明所涉及的药剂识别装置适用于药剂监查支持及药剂鉴别的系统的例子的图。

图16是表示将本发明所涉及的药剂识别方法适用于药剂监查支持的处理例的流程的流程图。

图17是表示将本发明所涉及的药剂识别方法及装置适用于药剂监查支持的结果的例子的图。

图18是表示将本发明所涉及的药剂识别方法及装置适用于药剂监查支持的结果的例子的其他图。

图19是表示将本发明所涉及的药剂识别装置适用于药剂鉴别的例子的图。

图20是表示将本发明所涉及的药剂识别装置适用于药剂鉴别的例子的其他图。

图21是表示将本发明所涉及的药剂识别方法适用于药剂鉴别的处理例的流程的流程图。

图22是表示将本发明所涉及的药剂识别方法及装置适用于药剂鉴别的结果的例子的图。

图23是表示将本发明所涉及的药剂识别方法及装置适用于药剂鉴别的结果的例子的图。

具体实施方式

以下，利用附图对本发明所涉及的药剂识别装置、药剂识别方法及药剂识别程序的实施方式进行说明。

图1是表示本发明所涉及的一实施方式的药剂识别装置的结构例的图。

本例的药剂识别装置10构成为包含：照明部12，照亮药剂；摄影部14，拍摄通过照明部12照亮的药剂；关联信息获取部16，获取表示针对用户的药剂的处方的处方数据等、与识别对象的药剂相关联的关联信息；存储部18(非暂时性记录介质)，存储程序(包括本发明所涉及的药剂识别程序)及执行程序所需的信息；处理部20，按照存储于存储部18的程序进行各种处理；显示部22，能够显示图像；及操作部24，从用户接收操作。另外，以下关于药剂被包装的情况进行说明，但本发明还能够适用于药剂未被包装的情况(后述)。

药剂的“包装”中包含一包化。“一包化”是指按每次服用对开出处方的药剂进行分包(封装)。依据处方内容，存在不同种类的多个药剂封装于1个包裹材料的情况，相同种类的多个药剂封装于1个包裹材料的情况及仅1个药剂封装于1个包裹材料的情况。一包化的药剂的形态例如可举出片剂、胶囊剂，但并无特别限定。并且，包裹材料例如可举出纸、塑料，但并无特别限定。并且，在本说明书中“分包”(或者“包装”)并不限定于按照每次服用进行分包的情况，只要是药剂被包裹材料包装的情况即可。

照明部12构成为包含光源。照明部12的具体例进行后述。

摄影部14构成为包含相机。摄影部14的具体例进行后述。

关联信息获取部16例如通过光学地读取处方笺上的字符，获取处方数据等关联信息。作为处方数据，例如能够举出记载于处方笺的药剂的识别信息、名称、数量、用法、用量等，但并不限定于这些。关联信息获取部16可以通过读取赋予到处方笺的条形码(或二维代码)获取处方数据。并且，也可以通过通信获取由医生和/或药剂师利用计算机装置输入的处方数据。另外，“处方数据”可以为记载于处方笺上的信息，也可以为根据记载于处方笺的信息由医生和/或药剂师进行如设定、变更等的信息。例如，通过进行在处方笺记载有原创医药品的名称时变更为仿制医药品(通常医药品)、或者只记载有药剂的通常名称时选择原创医药品或仿制医药品等而得到的信息也能够包含在“处方数据”中。将药剂识别装置10使用于药剂监查支持、药剂鉴别等时(后述)，作为关联信息，可以根据用户的操作，由关联信息获取部16(关联信息输入部)输入由肉眼等识别到的药剂的特征(例如，片剂或胶囊等药剂种类、形状、颜色等)或者记载于所谓的“药物手册”等手册上的药剂名称、数量、服用方法等信息。

存储部18由暂时性存储设备及非暂时性存储设备(非暂时性记录介质)构成。本例的存储部18存储按照药剂的每一种类表示药剂的主图像(也称作“药剂主图像”)。主图像优选与表示各药剂的属性的属性信息(例如药剂代码、名称、药剂类型、形状、尺寸等信息；参考图23的例子)建立关联地保存。

处理部20例如由cpu(centralprocessingunit：中央处理器)构成。本例的处理部20具有更新存储于存储部18的主图像的功能。满足后述的特定条件时，本例的处理部20进行使用通过摄影部14得到的摄影图像更新存储于存储部18的主图像的主更新处理。

本例的处理部20构成为包含：照明控制部32，控制照明部12的照明；摄影控制部34，控制摄影部14的拍摄；药剂位置获取部35，根据通过摄影部14得到的摄影图像获取药剂的位置；主图像生成部36，由通过摄影部14得到的摄影图像中的药剂区域生成主图像；核对部42，核对通过摄影部14拍摄药剂而得到的摄影图像的药剂区域和存储于存储部18的主图像；更新判定部44，根据通过药剂位置获取部35获取的药剂的位置判定是否更新主图像；登记部46，通过更新判定部44判定为更新主图像时，将通过主图像生成部36生成的主图像登记到存储部18；及显示控制部48，控制显示部22的显示。也可以设置计算主图像与摄影图像中的药剂区域的相关值或药剂区域之间的相关值的相关值计算部49及设定基准位置的基准位置设定部50。

<药包＞

图2表示包装有药剂t的多个药包tp连续的药包带pb。x轴为沿药包带pb的长度方向的轴，y轴为沿药包带pb的宽度方向的轴。能够沿x轴方向传送本例的药包带pb。通过刻印(或印字)在本例的药剂t示出药剂t的种类。为了便于说明以下内容，在各药剂t上刻印为“a”、“b”或“c”，但刻印内容(或印字内容)并无特别限定。

药包tp的包裹材料优选两个面均透明(包括半透明，以下相同)。也可以在药包tp的包裹材料的一面实施印字或消光加工。

连续的药包tp能够按1个药包tp的x轴方向上的每一尺寸传送。也可以是能够按每1个药包tp检测药包tp的位置。

另外，本发明并不限定于药包tp被传送的情况。也可以仅为药包tp载置于载置台等的情况。并且，本发明也可以是未包装有药剂t。例如，也可以将药剂t中所包含的各药剂直接或装入陪替氏培养皿等容器而载置于载置台。

<照明部及摄影部＞

关于构成照明部12的光源及构成摄影部14的相机的配置进行说明。

图3及图4表示照明部12的光源13及摄影部14的相机15(15a、15b)的配置例。图3是从药包带pb的侧面观察的侧视图，图4是从上方或下方观察药包带pb的一面的俯视图。x轴为沿药包带pb的长度方向的轴，y轴为沿药包带pb的宽度方向的轴，z轴为与药包带pb的一面(上表面或下表面)正交的轴。

照明部12构成为包含多个光源13，如图4所示，从包围药剂t的多个照明方向照亮药剂t。本例的照明部12从4个方向照亮药剂t的一面(上表面或下表面)。也可以从4个以上的方向照亮药剂t。

摄影部14与包住药剂t的透明包裹材料的至少一面对置并拍摄药剂t。

如图3所示，摄影部14构成为包含：相机15a(第一相机)，与药包带pb的上表面(包装有药剂t的包裹材料的一面)对置；相机15b(第二相机)，与药包带pb的下表面(包装有药剂t的包裹材料的另一面)对置。即，相机15a从第一方向(从药包带pb的上方朝向下方的方向)拍摄药剂t，相机15b从第二方向(从药包带pb的下方朝向上方的方向)拍摄药剂t。在图4中，多个光源13的每一个与相机15(15a、15b)的摄影光轴pa的间隔d1、d2、d3、d4相同。即，多个光源13与摄影光轴pa为等间隔(d1＝d2＝d3＝d4)。

<主图像的生成及更新判定>

主图像生成部36从通过摄影部14的相机15得到的摄影图像提取药剂区域来生成主图像。例如，通过从摄影图像检测药剂t的像的边缘识别药剂区域，且通过从摄影图像切出该药剂区域而提取药剂区域。提取药剂区域时，可以使用从上下两个方向拍摄药剂t得到的2张摄影图像。也可以使用更新了药剂背景的图像。也可以使用由透射药包tp的包裹材料的透射光构成的透射图像(药剂区域为黑色)生成掩模，并使用该掩模生成主图像。

通过摄影部14的相机15拍摄到未登记主图像的种类的药剂t时，登记部46将通过该相机15得到的新的摄影图像中的药剂区域作为主图像登记到存储部18。并且，判定为通过更新判定部44更新时，更新存储部18的主图像。

关于更新判定进行说明。药剂位置获取部35根据通过摄影部14得到的摄影图像获取摄影部14的摄影范围内的药剂位置。本例的药剂位置获取部35通过图像分析获取摄影图像中的药剂t的像的位置。即，实际空间的摄影范围内的药剂t的位置与摄影图像中的药剂t的像的位置对应，因此能够将摄影图像中的药剂t的像的位置用作摄影范围内的药剂的位置。

并且，在本说明书中，“药剂的位置”的获取并不限定于获取摄影范围(或摄影图像)内的药剂的绝对位置的情况，包括在摄影范围(或摄影图像)内获取与对于药剂的识别力满足基准的基准位置的距离(以下还称作“相对位置”)的情况。即，更新判定部44能够根据相对位置判定是否更新主图像。

并且，在本说明书中，对于药剂的“识别力”为根据摄影图像识别药剂的种类的识别力。该识别力通常根据摄影范围内的药剂位置变动。“识别力”可以由识别的几率(识别率)表示，也可以由预先计算出的评价值表示。例如，如后述，能够使用药剂图像之间的相关值表示示出识别力的评价值。

作为具体例，“识别力”为形成有在药剂的表面示出药剂的种类的刻印时，对于该药剂的表面的刻印的识别力。通常，对于药剂的表面的刻印的识别力根据照明部12的照明光入射于药剂的表面的刻印的角度(入射角)确定。并且，“识别力”为形成有在药剂的表面示出药剂的种类的印字时，对于该药剂的表面的印字的识别力。通常，对于药剂的表面的印字的识别力根据摄影部14的光轴(摄影光轴)相对于药剂的表面的印字的角度(摄影角度)确定。

如图4所示，配置有光源13及相机15时，主图像优选位于相机15的摄影范围(还称作“视野范围”)的中央区域的药剂的图像。其理由在于，图4所示的配置例的情况下，在摄影范围的中央区域拍摄到的药剂的图像的稳健性高，但在摄影范围的端部(即光源13的附近)拍摄到的药剂的图像的稳健性低。例如，片剂(药剂的一形态)具有3d(dimension：维)形状，越接近光源13，照明光相对于片剂的刻印的入射角越小，从而很难检测刻印。如图5所示，为了便于理解，假设为由实线表示的入射光li及由虚线表示的反射光lo与药剂t的刻印em的凹部侧面平行。如此一来，如图6所示，表示摄影图像的亮度分布的亮度轮廓l成为平坦形状，可知无法检测刻印em。

因此，更新判定部44根据摄影部14的摄影范围内的对于药剂的识别力满足基准的基准位置与药剂位置的距离，判定是否更新主图像。其中，基于“基准位置与药剂位置的距离”的判定可以使用与实际空间中的基准位置、药剂位置及距离对应的摄影图像中的基准位置、药剂位置及距离进行。

基准位置例如为摄影范围内的对于药剂的识别力最高的位置或摄影范围内的对于药剂的识别力最高的区域的代表位置。

如图4所示，配置有光源13及相机15时，可以将摄影范围的中心位置(实际空间的摄影范围内为摄影光轴pa的位置，摄影图像中为图像中心)设为基准位置。此时，更新判定部44根据摄影范围的中心位置与药剂位置的距离，判定是否更新主图像。由此，能够提高使用了主图像的药剂识别的精度。即能够提高主图像的稳健性。也可以将摄影范围的中心位置附近的位置设为基准位置。

并且，作为基准位置，能够通过基准位置设定部50预先求出并设定摄影范围内的对于药剂的识别力高的位置(对于药剂的识别力满足基准的位置)。例如，如图7所示，能够在摄影范围r内等间隔地二维排列多个药剂t，通过相机15拍摄排列成二维的该多个药剂t，通过相关值计算部49计算在各药剂t的位置与其他药剂t的药剂图像(药剂区域的图像)的相关值，且根据该相关值求出摄影范围r内的识别力最高的区域。为了便于理解，将图7所示的摄影范围r内的四分之一大小的四分之一区域rq中的药剂位置之间的药剂图像的相关值示于图8。在图8中，自相关值(关注位置pi的药剂图像与关注位置pi的药剂图像的相关值)为“1.00”。并且，在图8中，关注位置pi的药剂图像与其他位置的药剂图像的相关值小于“1.00”。由数值和颜色(但是，图8中为了便于图示成为渐变)表示计算出的该相关值。将摄影范围r内的二维排列的多个药剂t的每一个位置作为关注位置进行这种相关值的计算，能够将在整个摄影范围r(或药剂识别所需的范围)内的相关值的分布成为最优选的关注位置设为基准位置。例如，按照每一关注位置计算与其他位置的相关值的总和，且将该相关值的总和成为最大的关注位置设定为基准位置。即，能够将摄影范围r内的识别力最高的区域的代表位置设为基准位置。基本上，优选在药剂位于摄影范围r的中央部时拍摄药剂，但包装的药剂的位置按照每一药包不同，存在无意中在摄影范围r的端部拍摄药剂的情况。即，若无条件更新主图像，则使用了该主图像的药剂识别的精度下降。本例中，通过基准位置设定部50，预先求出在摄影范围r内的对于药剂的识别力满足基准的关注位置而设定为基准位置，根据该基准位置与进行药剂识别时拍摄到的实际的药剂位置的距离判定是否更新主图像，因此能够通过主图像的更新来提高使用了主图像的药剂识别的精度。即能够提高主图像的稳健性。

本例的登记部46将表示摄影范围内的药剂的位置(或基准位置与药剂位置的距离)的药剂位置信息与主图像建立关联地存储于存储部18。并且，更新判定部44根据通过摄影部14拍摄到的药剂位置(或基准位置与药剂位置的距离)及与主图像建立关联的药剂位置信息，判定是否更新主图像。

通过摄影部14拍摄到的药剂位置相较于通过与主图像建立关联的药剂位置信息表示的主图像的药剂位置更靠近基准位置时，本例的更新判定部44判定为更新主图像。

通过遵照这种基准的更新登记到存储部18的主图像依次更新为更良好的主图像。即，如图9所示，直至摄影范围r内的主图像的稳健性变高的区域ar内的药剂tr的图像成为主图像为止进行更新。若摄影范围r内的主图像的稳健性低的端部的药剂(图中的te)的图像登记为主图像，则刻印em的识别力变低，但是，本例中，收敛成更良好的主图像，且遵照基准的区域ar的药剂tr的图像登记为主图像，因此能够提高刻印em的识别力。另外，图4所示的光源13及相机15的配置(多个光源13与摄影光轴pa为等间隔)中，使主图像的药剂位置逐渐靠近作为摄影范围r的中心位置的摄影光轴pa的位置。

<核对>

如图3所示，相机15a及相机15b配置在摄影对象的药包tp的上下位置时，如图10所示，使用通过相机15a从上方拍摄药剂t得到的摄影图像img11、img21)及通过相机15b从下方拍摄药剂t得到的摄影图像(本例中为img12、img22)进行核对。在图10中，第一包药包tp1内的药剂t11、t12、t13中的符号为t13的药剂的种类(设为“种类c”)的主图像未登记到存储部18时，该符号为t13的药剂的图像(本例中，从上方拍摄药剂t13得到的摄影图像img11的药剂区域与从下方拍摄药剂t13得到的摄影图像img12的药剂区域)作为主图像并通过登记部46登记到存储部18。例如，在图中由虚线箭头所示，从下方观察第一包药包tp1内的药剂t13的主图像与从上方拍摄第二包药包tp2得到的摄影图像img21中的药剂t21、t22、t23的图像及从下方拍摄第二包药包tp2得到的摄影图像img22中的药剂t21、t22、t23的图像进行核对。例如，核对到从下方观察第二包药包tp2内的符号为t23的药剂的图像与主图像匹配。

<主图像的变化>

关于主图像的变化进行说明。

从多个药包tp中的1个药包tp(例如第一个药包)拍摄到相同种类的多个药剂t时，主图像生成部36能够使用拍摄到相同种类的药剂t的多个药剂区域生成主图像。例如，主图像生成部36使用多个药剂区域并通过平均或加权平均生成主图像。

并且，如图2所示，遍及多个药包tp拍摄到相同种类的多个药剂t时，主图像生成部36使用与多个药包tp对应的多个摄影图像的药剂区域(多个药剂区域)生成主图像。例如，主图像生成部36使用多个药剂区域并通过平均或加权平均生成主图像。另外，也可以设为如下结构：从1个药包(例如第一个药包)仅拍摄到一个相同种类的药剂t时，由1个药剂t的区域生成主图像。并且，遍及多个药包tp未拍摄到相同种类的多个药剂t时，也可以由1个药剂t的区域生成主图像。

并且，优选主图像生成部36在更新主图像时不删除更新前的主图像而保存，且在生成新的主图像时利用更新前的主图像。

<照明方向切换>

关于依次切换对于药剂的照明方向的药剂识别方式进行说明。本方式的照明控制部32通过切换多个光源中照亮药剂的光源，依次切换对于药剂的照明方向。每次切换对于药剂的照明方向时，本方式的摄影控制部34使摄影部14拍摄药剂。本方式的主图像生成部36合成与多个照明方向对应的多个摄影图像而生成主图像。根据本方式，能够不受照亮药剂的照明方向、药剂的表面形状的影响而准确地识别赋予在药剂上的刻印字符。

如图11所示，刻印em由形成于药剂t的表面上的槽构成。另外，图中的符号300为刻印em的主视图，符号301为沿图中的直线cl的药剂t的剖视图，符号302为表面形状与符号301不同的药剂t的剖视图。若从一个方向照亮刻印em，则沿刻印em的照明光源侧的轮廓产生阴影。该阴影的朝向、形状及强度根据照明方向、刻印em的形状及药剂t的表面形状不同。

如图12的上部(符号305)所示，在4个方向的药剂区域图像数据54上分别沿刻印em的照明光源侧(照射照明光的光源13侧)的轮廓产生阴影图像56。另外，刻印em与药剂t的表面为相同颜色，所以在实际的图像上很难识别，但在图中为了说明与照明方向相应的刻印em与阴影图像56的关系而图示成能够识别刻印em。

如图12的中部(符号306)所示，通过分别对每一药剂t的4个方向的药剂区域图像数据54实施边缘检测处理，从各药剂区域图像数据54提取分别与阴影图像56对应的特征图像数据58。由此，关于1分包量的药剂t的每一个药剂，得到4个方向的每一照明方向的特征图像数据58(以下，称作4个方向的特征图像数据58)，并将每一药剂t的4个方向的特征图像数据58依次存储于存储部18。

如图12的下部(符号307)所示，从存储部18读出1分包量的每一药剂t的4个方向的特征图像数据58，按每一药剂t统合4个方向的特征图像数据58而生成统合图像数据60。例如，重叠4个方向的特征图像数据58而统合。由此，4个方向的每一照明方向的阴影图像56统合成1个，因此刻印em的所有轮廓在统合图像数据60上变得明显。而且，按照1分包量的每一药剂t分别生成统合图像数据60，并将各个统合图像数据60存储于存储部18。

<显示控制>

显示控制部48具有在显示部22并列显示从摄影图像切出的药剂区域的功能。并且，显示控制部48具有在显示部22显示通过相关值计算部49计算的相关值的功能。

图13是表示识别图2所示的药包带pb的药包tp内的药剂的结果的图。图13的例子中，作为从药包带pb中的第一个药包tp及第2药包tp识别的药剂t，刻印“a”的药剂的图像、刻印“b”的药剂的图像及刻印“c”的药剂的图像显示于显示部22，作为从第3药包tp识别的药剂t，刻印“b”的药剂的图像及刻印“c”的药剂的图像显示于显示部22。各药剂的图像的下方的数值为通过相关值计算部49计算出的相关值，且为表示从摄影图像提取的药剂区域的图像与主图像的关联的相关值。并且，显示的药剂区域(药剂图像)实际上附加有与相关值相应的浓度的颜色。关于刻印“c”的药剂的图像的相关值，可知在识别第1药包tp的药剂时更新了主图像，因此第2药包及第3药包中的相关值变得高于第1药包中的相关值。

并且，显示控制部48具有在显示部22显示更新了主图像的历史记录的功能。

并且，显示控制部48具有将药剂位置(绝对位置或相对位置)与主图像的更新建立关联地显示于显示部22的功能。

<处理例>

图14是表示适用了本发明所涉及的药剂识别方法的处理例的流程的流程图。本处理通过构成药剂识别装置10的处理部20的cpu并按照程序(包括本发明所涉及的药剂识别程序)来执行。

首先，通过关联信息获取部16获取上述处方数据等关联信息(步骤s2)。

接着，通过照明部12照亮被分包的药剂(步骤s4)。

并且，通过摄影部14拍摄通过照明部12照亮的药剂(步骤s6)。

接着，通过药剂位置获取部35获取药剂位置，且通过主图像生成部36从摄影图像提取药剂区域(步骤s8)。

接着，通过核对部42核对存储于存储部18的主图像与摄影图像的药剂区域(步骤s10)。

接着，判定是否为主图像未登记到存储部18的药剂(步骤s12)，当为未登记主图像的药剂时(步骤s12中，是的情况)，进一步判定是否为第1包(步骤s14)。当未登记主图像且为第1包时(步骤s14中，是的情况)，通过登记部46将从摄影图像提取的药剂区域的图像登记为主图像(步骤s16)。

为登记了主图像的药剂时(步骤s12中，否的情况)，通过更新判定部44，且根据摄影范围的基准位置(例如中心位置)与药剂位置的距离，判定是否更新主图像(步骤s18)。

当判定为更新主图像时(步骤s18中，是的情况)，通过登记部46将从摄影图像提取的药剂区域的图像登记为主图像(步骤s20)。

判定药包内是否存在其他药剂(步骤s22)，当存在药包内的其他药剂时(步骤s22中，是的情况)，返回步骤s10，进行对于药包内的其他药剂的核对处理。

对药包的所有药剂进行药剂识别处理且在药包内不存在其他药剂时(步骤s22中，否的情况)，判定是否存在其他药包(步骤s24)，当存在其他药包时，返回步骤s4。

另外，多个药剂包含在1个药包时，更新判定部44也可以根据多个药剂彼此的间隔判定是否更新主图像。即，进行刻印时，若旁边存在大的药剂则存在不易出现阴影的情况，因此优选在周围没有其他药剂时判定为更新主图像。例如，药剂间的距离小于阈值(或者阈值以下)时，在摄影图像中不易出现刻印的阴影，因此判定为不更新主图像。

上述说明中，主要以识别药剂的刻印的情况为例进行了说明，但也可以识别在药剂上进行打印的字符或符号。

并且，上述图1中示出的处理部2()能够构成为包含如下所示的各种处理器(processor)。各种处理器包括通过软件(程序)执行各种处理的通用处理器即cpu(centralprocessingunit)、fpga(fieldprogrammablegatearray现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑设备(programmablelogicdevice：pld)、asic(applicationspecificintegratedcircuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。在上述实施方式中，处理部20的功能可由这些各种处理器中的一个实现，也可以由相同种类或不同种类的2个以上的处理器(例如，多个fpga、或cpu与fpga的组合)实现。并且，也可以由1个处理器实现多个功能。作为由1个处理器实现多个功能的例子，存在使用如以片上系统(systemonchip：soc)等为代表，由1个ic(integratedcircuit：集成电路)芯片实现包含多个功能的整个系统的功能的处理器的方式。如此，各种功能通过作为硬件结构而使用1个以上的上述各种处理器来实现。另外，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。

上述处理器或电路执行软件(程序)时，将能够由所执行的软件的处理器(计算机)读取的代码存储于rom(readonlymemory：只读存储器)和/或闪存rom等非暂时性记录介质，处理器参考该软件。存储于非暂时性记录介质的软件包括用于执行本发明所涉及的药剂识别方法的程序(药剂识别程序)。也可以将代码记录于各种光磁记录装置、半导体存储器等非暂时性记录介质而不是rom。进行使用了软件的处理时，例如vram(videoram：视频存储器)、sdram(synchronousdynamicrandomaccessmemory：同步动态随机存取存储器)用作暂时性存储区域，并且，例如还能够参考存储于未图示的eeprom(electronicallyerasableandprogrammablereadonlymemory：电可擦除可编程只读存储器)的数据。

上述药剂识别装置例如能够适用于进行调剂监查的支持的监查支持装置、将药剂一包化的一包化装置、进行药剂的鉴别的药剂鉴别装置及支持药剂的服用的服药支持装置。也可以适用于其他装置。也可以由计算机装置、监查支持装置、一包化装置、药剂鉴别装置、服薬支持装置等按照药剂识别程序执行上述药剂识别方法。

<对于药剂监查支持及药剂鉴别的适用例>

关于将上述药剂识别装置、药剂识别方法及药剂识别程序适用于药剂监查支持及药剂鉴别的例子进行说明。图15是表示药剂识别装置10a(药剂监查支持装置、药剂鉴别装置)经由网络nw与医院信息系统70连接的系统的图。网络nw可以连接有其他装置(一包化装置、服薬支持装置等)。

药剂识别装置10a具备通信部26，能够经由通信部26及网络nw与医院信息系统70(his：hospitalinformationsystem：医院信息系统)进行通信。其他结构与上述药剂识别装置10相同，因此对相同的结构标注相同的参考符号而省略详细的说明。处理部20的具体结构与图1相同。

图16是表示使用了药剂识别装置10a的药剂监查支持方法的处理的流程图。从步骤s2至步骤s24为止的处理与图14的流程图相同，在步骤s10中由核对部42(药剂判断部、判断结果输出部；参考图1)核对主图像与核对对象图像(从摄影图像提取的药剂区域的图像)，并由显示控制部48(判断结果输出部；参考图1)在步骤s26中显示核对结果。在步骤s10中的核对时所使用的主图像为在步骤s16或步骤s20中最后登记的主图像。

图17是表示核对结果的显示例(关于药剂a的核对结果的一览表l1的例)的图。图17中，在一览表l1的左侧(区域l1a、l1b)分别显示药剂a的主图像及属性信息(表示药剂的属性的信息)，在右侧(区域l1c)显示判别为“表示药剂a”的所有核对对象图像。图17中，一览表l1中仅包含有关于药剂的表面(实施刻印的一面)的图像，但也可以包含关于药剂的背面的图像。在一览表l1的区域l1c，核对对象图像按照每一分包袋且每一服用时间显示，并且，一并显示与药包tp相关联的检查支持信息(用于高效地进行药剂的核对、检查的信息)及核对对象图像。图17的例子中，检查支持信息为服用时间、分包袋编号、服用日，但也可以包含其他信息(摄影图像与主图像的类似度等)。另外，在图17的例子中，设为2片药剂a准确地分包在所有分包袋(1天服用3次×7天＝21包)中，服用期间为7天。

核对部42输出核对结果(步骤s28)。可以将核对结果存储于存储部18，也可以将核对结果经由通信部26及网络nw发送到医院信息系统70。从与医院信息系统70之间的信息的互换性的观点而言，也可以以ss-mix或ss-mix2形式(ss-mix：standardizedstructuredmedicalinformationexchange：标准结构化医疗信息交流)进行输出核对结果。

药剂识别装置10a中，如上述核对最后登记的主图像与核对对象图像，因此能够使用稳健性得到提高的主图像进行准确的药剂识别及监查支持。

图18是表示关于指定的药剂及类似药剂的核对结果的显示例的图。图18的(a)部分表示包含关于药剂b的一览表l8a及关于药剂b的类似药剂即药剂d的一览表l8b的一览表l8。并且，图18的(b)部分表示在一览表l8中发生了药剂的核对错误的状态(在一览表l8a中，通过核对对象图像is4表示的药剂d判断为药剂b，相反，在一览表l8b中，通过核对对象图像is5表示的药剂b判断为药剂d)。如此，即使类似药剂之间(药剂b与药剂d)因核对错误而被调换时，通过与关于药剂b的一览表l8a一同显示关于类似药剂即药剂d的一览表l8b，用户(药剂师)也能够容易察觉核对错误。并且，与图17所示的例子同样地，能够使用稳健性得到提高的主图像进行准确的药剂识别及监查支持。

图19及图20是表示使用药剂识别装置10a进行药剂的鉴别的例子的图。关于药剂的鉴别，能够在例如患者将已处方的药剂带到医院、药店等的情况，医生和/或药剂师访问患者的住所管理剩余药剂的情况等，虽然没有原来的处方数据但是想掌握药剂的种类、数量等的情况下进行，但并不限定于这种情况。图19及图20所示的例子中，药剂t装入培养皿sc并载置到未图示的载置台，该状态下，与图3所示的例子同样地进行照明及拍摄。药剂t可以直接载置于载置台而不装入培养皿sc，也可以以分包成分包袋的状态载置。

图21是表示使用了药剂识别装置10a的药剂鉴别方法的处理的例子的流程图。另外，关于表示与图14、图16的流程图相同的处理的部分标注相同的步骤编号而省略详细的说明。图21所示的例子中，关联信息获取部16(关联信息输入部)经由基于用户的操作部24的操作获取关联信息(步骤s3)。核对部42(药剂判断部、判断结果输出部)参考所获取的关联信息，判断摄影图像所表示的药剂为哪一种药剂。进行药剂鉴别的状况下，可考虑到将患者服用的药剂带到药店等，没有处方笺或处方数据的情况，但该情况时，能够将记载于所谓的如“药物手册”那样的手册上的药剂的信息作为关联信息而获取。或者，也可以将由医生和/或药剂师等通过肉眼观察或其他方法获取的药剂的信息(片剂、胶囊等药剂类型、颜色、刻印和/或印刷等)作为关联信息而获取并输入。即使得不到有效的关联信息时，也可以输入住院患者姓名、性别、年龄等确定患者的信息、病房名称等，或者也可以省略。

核对部42根据在步骤s3中输入的关联信息选择核对对象(步骤s9)。例如，将记载于“药物手册”上的药剂及其类似药剂选择为核对对象。或者根据通过肉眼观察或其他方法获取的药剂的药剂类型、颜色等选择核对对象。通过如此选择核对对象，能够缩小核对的范围而迅速进行鉴别。另外，在步骤s3未输入有关联信息时，可以省略步骤s9的处理。

核对部42对核对对象图像(从摄影图像提取的药剂区域的图像)与关于在步骤s9中选择的核对对象的药剂的主图像进行核对，且根据核对结果选择核对对象图像(摄影图像)所表示的药剂的候选(步骤s10)。用于核对的主图像为在步骤s16或步骤s20中最后登记的主图像，因此能够使用稳健性得到提高的主图像准确地进行药剂的识别、鉴别。另外，在省略了步骤s9的处理的情况下，可以与所有药剂的主图像进行核对。

若鉴别结束(步骤s25中的否)，则显示控制部48(判断结果输出部；参考图1)将核对结果显示于显示部22(步骤s26)。图22是表示核对结果的显示例(表示摄影图像所表示的药剂的候选的信息的输出例)的图，显示相对于核对对象的药剂的一致度高的药剂的主图像及药剂id。由此，用户能够确认摄影图像所表示的药剂的候选。如图22的显示中，也可以按照所显示的药剂的指定(例如，基于操作部24的未图示的鼠标的点击)，如图23那样由显示控制部48将主图像、属性信息显示于显示部22。

核对结果的输出(步骤s28)能够以与图16的流程图的步骤s28相同的方式进行。

上述的药剂的监查支持及鉴别可以由个人计算机、智能手机、平板电脑终端等设备(药剂识别装置的一方式)进行。例如，能够将执行本发明所涉及的药剂识别方法的处理的药剂识别程序安装于这些设备，并由内置和/或外设于这些设备的相机进行药剂的拍摄来与主图像进行核对。药剂识别、监查支持、鉴别的处理可以由这些设备进行，也可以在网络上、网盘上的服务器等处理输入于这些设备的信息并接收结果。

以上，对本发明的具体实施方式进行了说明，但本发明并不限定于上述实施方式及变形例，在不脱离本发明的主旨的范围内能够进行各种变形。

符号说明

10-药剂识别装置，10a-药剂识别装置，12-照明部，13-光源，14-摄影部，15(15a、15b)-相机，16-关联信息获取部，18-存储部，20-处理部，22-显示部，24-操作部，26-通信部，32-照明控制部，34-摄影控制部，35-药剂位置获取部，36-主图像生成部，42-核对部，44-更新判定部，46-登记部，48-显示控制部，49-相关值计算部，50-基准位置设定部，54-药剂区域图像数据，56-阴影图像，58-特征图像数据，60-统合图像数据，70-医院信息系统，a-药剂，ar-区域，b-药剂，d-药剂，em-刻印，li-入射光，l-亮度配置文件，lo-反射光，nw-网络，pa-摄影光轴，pb-药包带，pi-关注位置，r-摄影范围，rq-四分之一区域，sc-培养皿，t、t11、t12、t13、t21、t22、t23-药剂，te、tr-药剂，tp(tp1、tp2)-药包。