用于将电子显示单元与产品进行逻辑关联的方法与流程

本发明涉及一种用于将电子显示单元与产品进行逻辑关联的方法。

背景技术：

1、在现代商业场所，产品和/或价格信息被展示在电子显示单元、尤其是电子价格显示器上，在技术术语中称为电子货架标签(electronic shelf labels)，简称esl。在这种情况下，每个esl都在其屏幕上显示对应产品、即紧邻该esl的产品的产品和/或价格信息。为了esl可以显示关于相关产品的正确信息，必须预先使esl与正确的产品逻辑关联，即建立以数字方式存储的关系，这在技术术语中称为“匹配(matching)”。到目前为止，这被实现为使得员工带着移动条形码扫描仪设备走过商业场所的过道，并且分别扫描在esl的屏幕上以及在相关产品的包装上描绘的条形码或者用他的设备来检测该条形码。这些条形码允许对esl或产品的唯一的标识。由条形码扫描仪设备检测的条形码被转发给在服务器上运行或基于云地提供的商店管理软件(shop-management-software)，在那里，借助于数据库以数字方式存储相关esl与相关产品的逻辑关联。然而，该方法非常耗时而且占用人力资源。

2、因而，本发明提出了如下任务：提供一种克服这些缺点的方法。

技术实现思路

1、该任务通过按照权利要求1所述的方法来解决。因而，本发明的主题是一种用于通过关联装置将电子显示单元与产品进行逻辑关联的方法，其中，显示单元和产品位于图像检测装置的检测范围内的固定结构上，其中，该方法具有如下提出的方法步骤，即：通过图像检测装置来生成图像数据，这些图像数据表示产品和显示单元的光学图像，并且将这些图像数据传输给关联装置，借助于该关联装置能创建该逻辑关联；通过触发级来生成触发信号，该触发级被分配给显示单元固定在其上的固定结构，其中，该触发信号指示在该检测范围内存在未关联的显示单元；而且在考虑该触发信号的出现的情况下，将尚未关联的电子显示单元与产品进行逻辑关联。

2、按照本发明的措施带来了如下优点：电子显示单元与产品之间的逻辑关联被全自动地执行，借此，创建这种逻辑关联的与人员相关的时间花费显著减少，甚至可能被完全避免，而且完全排除了可能的与人员相关的错误。这种效果已经在单个显示单元中出现，尤其是在其中必须安装数千个这种显示单元或者必须随着时间的推移进行管理或维护数千个这种显示单元的商业场所中非常明显。

3、在此，逻辑关联的过程或者此外触发该逻辑关联的时间点是由于新显示单元的实际出现而被触发的。从时间环境来看，该触发信号指示：应在何时或从何时起执行显示单元与产品之间的逻辑关联。

4、利用该措施，省去了对由图像检测装置传送给关联装置的图像数据的在其它情况下必要的永久处理，其中，必须不断地检查：在图像检测装置的检测范围内是否出现尚未关联的显示单元，以及对于新添加的该显示单元是否要创建逻辑关联。在这种情况下，本发明的措施又能在例如大型超市的整体环境中看到，在该超市中，应利用安装在商业场所中的图像检测装置来持续地检测用于数百乃至数千个产品组的全部货架，而且应将在此生成的大量图像数据传输给关联装置，接着，在那里，必须进行计算机辅助的谚语式的“大海捞针式搜索”，即通过复杂的计算机化的图像数据评估来搜索潜在新添加的显示单元。为此所需的用于传输图像数据的网络组件以及关联装置的计算能力将会是巨大的。

5、与此相反，将在该关联装置处所需的计算能力集中或聚焦于重要事件、即新添加的显示单元的出现上，这明显更加高效。因此，根据本发明的在下文还详细探讨的实现方案，可以优化在时间、内容以及地理环境中的数据量及其处理。

6、在此创建的逻辑关联以数字方式被存储在数据库中，在该逻辑关联的情况下，将显示单元的唯一标识数据与产品或产品组的唯一标识数据进行关联或配对。

7、本发明的其它的、特别有利的设计方案和扩展方案从从属权利要求以及随后的描述中得出。

8、这里所讨论的本发明主要应用在esl系统的环境中。在这种系统中存在多个这种显示单元，即esl，以便分别使关于所展示的产品或产品组的产品和/或价格信息可视化。

9、这种esl可以固定在货架或其货架导轨上。因此，显示单元和产品所在的固定结构可以被设计为货架或者货架层。也能够固定在展示桌上。因此，该固定结构也可以被设计为桌。这种esl也可以被设计为用于竖立在桌上的显示牌。这种显示单元也可以被设计为用于固定在衣服上的挂签。因此，该固定结构也可以被设计为电子显示单元与产品之间的连接件。因此，这种固定结构例如也可以被实现为缝合线、针等等。由于本发明的讨论被简化，在下文，关于显示单元，总是探讨固定在货架、具体来说该货架的货架导轨上的esl。

10、为了使信息可视化，每个esl都具有屏幕，该屏幕通常被实现为电泳屏幕，以便能够在电池供电的esl的情况下实现尽可能节能的运行。然而，也可以应用其它类型的屏幕，诸如lcd屏幕等。这些esl也可以以有线方式来被供电。

11、在这种esl系统中，还存在多个接入点，这些接入点形成用于esl的通信技术供应的无线电网络。通常，将一组esl分别分配给接入点。该分配通过在ism频带内选择适合的由相应接入点使用的无线电信道并且将相关esl登记在负责该esl的接入点处来发挥作用。针对无线电通信，可以使用基本上标准化的无线电协议，诸如或者还有还可以应用专有无线电协议，诸如在wo 2015/124197a1中公开的那个专有无线电协议。

12、这些接入点就其而言通常以有线方式与中央控制设备、诸如本地服务器或者还有基于云的软件应用程序连接，在该本地服务器上执行用于管理和操控esl的软件应用程序(例如开头提及的商店管理软件(shop-management-software))，该基于云的软件应用程序提供所提及的功能。

13、结合本发明所提到的关联装置同样通过所提及的本地服务器利用在那里运行的单独软件或者基于云的单独软件解决方案来实现，或者被实现为上述商店管理软件的组成部分，该基于云的单独软件解决方案经由一个或多个外部服务器来供支配。类似于此，也可以在本地或者在云中提供数据库，借助于该数据库来存储相应的逻辑关联。该软件提供了所有功能，这些功能用于：在数字化图像或者视频中，即基于图像数据，搜索、查找以及最终标识未关联的显示单元。为此，使用本身公知的算法来进行图像或图案识别。相同的情况适用于在所提及的数字化图像或视频中搜索与所找到的未关联的显示单元相对应地(即相邻地)放置的产品。这些算法也可以得到人工智能的支持或者完全基于人工智能。

14、为了在图像数据中标识电子显示单元或esl以及产品，可以使用如下图案识别，该图案识别有关esl以及产品的形状和/或颜色来对这些图像数据进行检查。然而，也可以应用如下图案识别，该图案识别有关字母、条形码、qr码等等来对这些图像数据进行检查，以便基于此来执行该标识。还可以使用不同时间点(例如在出现触发信号之前以及在出现触发信号之后)的图像数据，以便基于在通过这些图像数据所表示的图像或视频中的差异来执行该标识。也可以使用电子显示单元的led(led这里代表“发光二极管(lightemittentdiode)”)的闪烁，以便借助于通过闪烁信号所传送的唯一的识别码来在图像数据中标识该电子显示单元。

15、在此分析的图像数据来自图像检测装置，该图像检测装置可以实现为静止图像摄像机和/或视频摄像机。

16、触发级可以被设计为：以自动方式和/或作为用户交互的结果来识别在固定结构上的未关联的电子显示单元的存在。

17、如果触发级被设计为：以自动方式识别在固定结构、诸如货架的货架导轨上的尚未关联的显示单元的存在，则正当将该显示单元安装或放置在相关或与之对应的产品周围的货架导轨上时，可以自动地、即无需商店员工的进一步动作地生成和发出触发信号，针对该产品，应利用新添加的显示单元来显示产品和/或价格信息。从中产生对该关联的创建的极其快速且完全自动化的触发。

18、如果触发级被设计为：作为用户交互的结果，识别在固定结构上的尚未关联的电子显示单元的存在，则可以通过销售员工的所提及的用户交互，以时间上灵活且能同时受用户影响的方式触发或启动对逻辑关联的全自动创建。这样，例如销售员工只需要执行用户交互，例如操纵在电子显示单元上的按钮或触敏元件，然后在无需销售员工的进一步动作的情况下生成并发出触发信号，然后，如所讨论的那样，自动开始关联的过程。这样，销售员工可以有针对性地触发已经放置的电子显示单元与新产品的逻辑关联，该新产品例如只有在放置显示装置之后才与之对应地被放在货架中。因此，销售员工可以主动定义或(一并)决定发出触发信号的时间点。然而，用户交互也可以借助于员工的(外部)用户设备、如个人数字助理(personal digital assistent)(例如实现为平板电脑)或者员工的移动电话来进行，其中，借助于该设备，将nfc信号(nfc这里代表“近场通信(nearfieldcommunication)”)或蓝牙信号传送给触发级，这触发或启动对逻辑关联的全自动创建。

19、如果触发级被设计为：以自动方式并且作为用户交互的结果，识别在固定结构上的未关联的电子显示单元的存在，则可以将这些措施的所提及的优点相结合或者也可以选择性地使用其中一个措施或者另外的措施，以便触发或启动该逻辑关联的过程。

20、因此，如果该识别以自动方式进行，则可以实现一种特别节省时间并且主要独立于用户的方法。在这种情况下，已经证明有利的是：为了以自动方式来识别，在将电子显示单元安装在固定结构上时，按照在下文提出的措施之一来影响电子电路，即：

21、a)借助于可机械操纵的触点。在该设计形式中，显示单元本身例如可以在其背面具有相对应的触点，在插入到例如货架导轨中时，该触点被操纵。这由显示单元中的电路来识别，并且触发该触发信号。

22、b)以电容方式。在该设计形式中，显示单元例如也可以在其背面具有电子元件，例如电容器配置等等，该电子元件对接近货架导轨做出反应。显示单元中的电路对该电子元件的发生变化的电容做出反应，并且随后触发该触发信号。

23、c)以电感方式。与电容式触发类似，在当前情况下，也可以提供集成到显示单元中的电感元件，例如导体环路配置等，该电感元件的电感受到接近货架导轨或安装在货架导轨上的影响，这随后又由在显示单元中容纳的电路来探测，响应于此，该电路触发该触发信号。

24、在这些设计形式b)和c)中，例如可以涉及谐振电路，这些谐振电路基本上形成可影响的电路。

25、d)通过电源的加载。该设计形式例如可以被实现为使得：货架导轨具有供应装置，该供应装置例如经由线路来给电子显示单元供电。一旦电子显示单元被设置到货架导轨中，就会形成由电子供应单元提供的供电电压的加载，这能以电子方式探测并且可以被用于触发该触发信号。在该配置中，应假定：通过该供应装置来触发该触发信号。

26、e)通过电源的出现。在该设计形式中，也假定通过所提及的供应装置对安装在货架导轨上的电子显示单元的有线供电。然而，不同于按照d)点的变体，在当前情况下，在电子显示单元中出现电源是发射触发信号的触发原因。在该配置中，可以通过电子显示单元来触发该触发信号。

27、f)通过在电子总线系统上的信令。在该变体中，也假定一种供应装置，不同于先前的讨论，该供应装置不仅仅或不强制提供供电电压，而且为了通信技术供应的目的而提供电子总线系统，用于供应装置与显示单元之间的数据和/或信号通信。将显示单元例如通过插入货架导轨来连接到该总线系统上。一旦建立该连接，就可以通过经由该总线系统的信令来在显示单元一侧或者在供应装置一侧执行对触发信号的发射。

28、所有这些措施可以单独地或者彼此组合地出现，而且优选地在所提出的实现变体中使用。

29、如所讨论的那样，如果作为用户交互的结果来识别未关联的显示单元的存在，则可以实现一种特别灵活的方法。在这种情况下，已经证明有利的是：为了识别用户交互，查明电子用户界面的状态变化。该用户界面例如可以是显示单元的外壳的触敏或者压敏区域或者也可以是显示单元的触敏屏幕。通过显示单元的电子电路，可以对借助于这些触敏和/或压敏元件感知的用户交互进行进一步处理，并且随后也可以生成和发射该触发信号。

30、如已经提到的那样，按照一个实施方式，电子显示单元可以具有触发级，而且通过该电子显示单元本身来生成该触发信号。借此确保了：电子显示单元可以自主地、即独立于其它系统组件地启动该逻辑关联的过程。该设计形式需要：各个电子显示单元具有为了实现触发级所需的电子组件。这种电子显示单元提供如下优点：这些电子显示单元能放置在任意位置，即能自由选择地放置，而且不依赖于任何其它系统组件，以便生成和发射触发信号。

31、另一方面，如同样已经提到的那样，按照另一实施方式，被设计用于对货架导轨上的至少一个电子显示单元进行电子供应和/或通信技术供应的电子供应单元可以具有触发级，而且通过该电子供应单元来生成触发信号。这样做的优点在于：针对每个固定结构、即例如货架导轨，存在中央实例，该中央实例启动该逻辑关联。安装或要安装在相关货架导轨上的显示内容可以被设计得相对简单，而且因而可以基本上相对便宜地被制造。接着，对于触发级所需的电子部件针对每个货架导轨一次性地集成在该供应单元中。优选地，该电子供应单元被设计用于对货架导轨上的多个电子显示单元进行电子供应和/或通信技术供应。借此，在系统中所需的电子组件的数量可以大大减少，这降低了提供以及维护该系统的成本。

32、优选地，该触发级具有无线电信号发射级，而且通过该无线电信号发射级来发射无线电信号、尤其是蓝牙低功耗无线电信号，作为该触发信号。尤其是通过借助于蓝牙低功耗无线电信号来实现，可以执行仅能在本地在该触发级附近感知的信令。

33、为了发出该触发信号，十分常见地，也可以使用所谓的信标或者无线电信标，该信标或无线电信标本身通过其无线电信标特性来被标识。因此，不强制基于蓝牙低功耗无线电信号的使用。

34、因此，对该触发信号的接收限于该触发信号的借助于所选择的信号强度或发射功率所限制的传播场。因而，接收器必须放置在其中能接收和使用该触发信号的区域内，在下文还详细地探讨该接收器。借此，得出发射无线电信号的那个设备周围的自然空间限制，使得为了找到未关联的显示单元，仅需要评估与该空间上受限制的区域有关的图像数据。当然，也可以使用另一无线电信号，该另一无线电信号能传到更远距离或者也能只是非常本地地被接收。

35、可选地，该触发级可以具有光信号输出级，而且通过该光信号输出级来发射光信号、尤其是led光信号，作为该触发信号。该光信号可以位于可见光谱中，然而优选地可以位于不可见光谱中，以便使商店中的顾客不受刺激。这里也可以仅考虑其中所发射的光信号可以被接收器接收的空间上受限制的区域。然而，光信号同时可以使图像数据的评估变得容易，因为该光信号本身能在图像数据中被发现。通过在图像数据中识别光信号，可以反推出尚未关联的显示单元的位置或者界定该尚未关联的显示单元在图像检测装置的检测范围内的位置。

36、就这方面来说，还应提及的是：该光信号可以被用于：利用对图像数据的计算机化的全自动评估，例如通过该关联装置来检测产品展示桌或货架底面或者货架导轨的方位。

37、因此，十分常见地，光信令使货架中的水平面的标识变得容易。

38、按照本发明的另一方面，提供触发信号接收级，利用该触发信号接收级来接收触发信号，并且使用该触发信号的接收作为数据处理的触发原因。

39、根据针对该触发信号所提出的选项，该接收级可以是光敏电子部件或者无线电信号接收器。

40、现在，按照一种设计形式，该触发信号接收级可以被设计为：检查所接收到的信标是否是针对该触发信号接收级及其相关的摄像机所确定的，即检查是否涉及对于将esl与产品之一进行关联(“匹配”)的目的所允许的信标，而且在这种情况下指导摄像机开始拍摄并且生成和输出图像数据。特别是如果在商业场所中要考虑其它信标，这些其它信标由其它无线电系统或无线电设备为了其它目的而发射，而且这些其它信标也能被该触发信号接收级接收，则可以有利的是：有关信标是否被分配给相关的触发信号接收级来检查该信标。在启动被分配给相关的信号接收装置的摄像机之前检查信标是有利的，因为这样把要进一步处理的图像数据量限制到绝对必要的程度——即限制到通过唯一的或少数几个摄像机生成的图像数据。因此，对信标的预先检查代表一种过滤器，以便并不允许所有在商业场所中可能能接收到的信标都作为生成图像数据的触发原因。由于信标(诸如优选地使用的低功耗信标)的优选地小的作用范围，得出另一自然过滤器，这限制了接收该信标的触发信号接收级的数量。

41、然而，按照第二设计形式，该触发信号接收级也可以被设计为：在接收到信标时，直接启动摄像机，使得生成和输出图像数据。如果能假定：不会预期有其它干扰性信标，即如果例如在其它情况下未使用的无线电信道中发射被提供用于进行“匹配”的信标，则可以有利的是：在没有有关信标是否被分配给进行接收的触发信号接收级来对该信标进行预先检查的情况下，启动摄像机。

42、按照一种设计形式，该触发信号接收级操控图像检测装置，并且数据处理的触发原因引起开始通过图像检测装置来生成图像数据。

43、在该设计形式中，图像数据的传输以及在该关联装置处对这些图像数据的接收的开始引起：在该关联装置处启动该逻辑关联的过程。在当前情况下，开头选择的措辞“在考虑该触发信号的出现的情况下”意味着：只有在该触发信号触发图像数据的生成和传输并且这些图像数据到达该关联装置处之后，才执行将尚未关联的电子显示单元与相关产品进行逻辑关联的过程。

44、按照另一设计形式，该触发信号接收级操控图像检测装置，并且数据处理的触发原因引起通过图像检测装置来将元数据嵌入图像数据。这些元数据标记了在图像数据中或者在这些图像数据的数据流中的通过触发信号表明存在未关联的显示单元的重要时间点或时间范围。

45、在该设计形式中，在该关联装置处接收到的图像数据中出现这些元数据会启动在该关联装置处的逻辑关联的过程。换言之，通过该关联装置，在该关联装置处接收到的图像数据中探测这些元数据，并且结果，启动将尚未关联的电子显示单元与相关产品进行逻辑关联的过程。在当前情况下，开头选择的措辞“在考虑该触发信号的出现的情况下”意味着：只有在该触发信号触发了这些元数据到图像数据中的嵌入并且该关联装置在所接收到的图像数据中探测到了这些元数据之后，才执行将尚未关联的电子显示单元与相关产品进行逻辑关联的过程。

46、这里提及的元数据可以是预定义的数据格式，诸如可唯一标识的二进制编码，该二进制编码对于该关联装置来说是事先已知的和/或该二进制编码以所定义的方式嵌入到图像数据或其数据流中。

47、在刚刚提及的这两种设计形式中，该触发信号接收级可以被设计为独立设备，而且可以经由信号线来操控图像检测装置。然而，优选地，该触发信号接收级是图像检测装置的集成部分，诸如蓝牙接收器。因此，一旦该接收级接收到该触发信号，就开始生成和传输图像数据。

48、按照另一设计形式，该触发信号接收级直接操控该关联装置，并且数据处理的触发原因引起对在该关联装置处的逻辑关联的过程的启动。按照该设计形式，可以由一个或多个图像检测装置向该关联装置持续地传送图像数据。然而，将尚未关联的显示单元与相关产品进行逻辑关联的计算密集型过程只有当该触发信号接收级触发这一点时才启动。在该设计形式中，该接收级同样可以被提供作为独立模块或设备，该独立模块或设备借助于控制信号来操控该关联装置。然而，优选地，该触发信号接收级这里也被实现为该关联装置的集成部分。

49、在所讨论的所有设计形式中，该关联装置在所生成的图像数据中搜索和标识未关联的电子显示单元。接下来，该关联装置在所生成的图像数据中搜索和标识与所找到并且所标识的未关联的电子显示单元的位置相对应地放置的、尚未与电子显示单元逻辑关联的产品，而且为了将所标识的电子显示单元与所标识的产品进行逻辑关联而生成逻辑关联数据，并且以数字方式来存储这些逻辑关联数据。

50、为了针对为此应用的软件来简化在图像数据中对未关联的电子显示单元的搜索和标识，可以规定：每个显示单元都具有自己的发光装置。该发光装置可以是单独的led，该led优选地附加于电泳屏幕地使用，或者该发光装置也可以是例如lcd屏幕的背光。一旦在该显示单元处开始发射该触发信号，就也借助于led来输出光信号，该光信号使在借助于图像检测装置所检测的商店区域的图像中的查找变得容易。该光信号可以通过单次闪光、多次闪光或者永久发光或者光信号的强度调制来给出。

51、然而，也可以规定：仅为每个供应装置提供这种发光装置。在该配置中，至少可以在所提及的图像中标识该发光装置。接着，基于该发光装置的位置，可以良好地界定在其中能概率高地找到所要搜索的显示单元的那个区域，因为例如在使用货架导轨和每个货架导轨的供应装置时能假定：所要找到的显示单元只能够沿着货架导轨放置在该供应装置的左侧或右侧。然而，如果只能在该供应装置的左侧或者只能在该供应装置的右侧搜索尚未关联的显示单元，则搜索的方向也可以还进一步被限制，即，因为该供应装置只能够安装在货架导轨的左边缘或者只能够安装在货架导轨的右边缘。

52、按照本发明的另一方面，还可以规定：借助于在该显示单元处或在该供应装置处形成的发光装置、尤其是led，发射编码光信号，借助于该编码光信号，使相关的所搜索的显示单元的标识变得容易，或者甚至传送识别码本身、即例如也作为条形码被显示在所要搜索的显示单元的屏幕上的编码。

53、还可以规定：图像检测装置也可以聚焦或缩放到所检测的整个区域的分区。尤其是当能够实现对在其中能概率高地找到未关联的显示单元的每个图像区域的先前讨论的界定时，这可以是有帮助的。优选地，在图像检测装置处以数字方式、即在没有机械组件的情况下进行聚焦或缩放。在该关联装置处，与要评估整个区域的情况相比，能快得多并且准确得多地评估借此所生成的图像数据。

54、最后，还应十分常见地提及的是：所讨论的电子设备当然具有电子部件。该电子部件可以分立式地或者通过集成的电子部件或者还有两者的组合来构造。也可以使用微型计算机、微控制器。专用集成电路(application specific integratedcircuit，asic)，必要时结合模拟或数字的电子外围设备模块。无线电设备通常具有用于发送和接收无线电信号的天线配置，作为收发器模块的组成部分。优选地，这些显示单元是电池供电的。

55、本发明的这些方面和其它方面通过随后探讨的附图得出。