显示装置、服务器、电子装置及其控制方法与流程

本公开涉及显示装置、服务器、电子装置及其控制方法。更具体地，本公开涉及一种用于将内容中的广告区域改变为另一广告的显示装置、服务器、电子装置及其控制方法。

背景技术：

电子技术的近期发展使得能够提供各种类型的内容。特别地，可以从存在广告标志牌等的图像中识别广告标志牌、用其他内容替换广告标志牌并提供广告标志牌。

通常，需要对整个图像进行处理以从拍摄图像中识别标志牌等，并且这种图像处理需要高性能的硬件处理。然而，准确识别图像中的区域仍然是困难的，并且因此被错误地识别为包括广告区域的区域(其不应该被替换)可能被其他内容错误地替换。

技术实现要素：

技术问题

本公开的各种示例性实施例解决了上述缺点和上述未描述的其他缺点。

本公开的目的是提供一种用于更准确地识别内容中的广告区域的显示装置、服务器、电子装置及其控制方法。

技术方案

根据实施例，显示装置可以包括通信器、显示器和处理器，处理器通过通信器接收内容信号，基于接收到的内容信号获得多个内容帧，并控制显示器显示多个内容帧，处理器还配置成识别所述多个内容帧的类型，并控制显示器显示所述多个内容帧之中的、被识别为预定类型的一组内容帧以及包括用于识别所述一组内容帧的预定图像的多个识别帧，并且所述预定图像可以是用于识别包括所述显示器的拍摄图像中的与显示器对应的区域的图像。

处理器可以基于内容的帧速率和多个识别帧的数量来改变显示器的扫描速度。

处理器可以以预定间隔在所述一组内容帧中插入多个识别帧中的每一个。

处理器可以将所述一组内容帧中的第一内容帧放置在多个识别帧中的最初识别帧之后，并且将所述一组内容帧中的最后内容帧放置在多个识别帧中的最后识别帧之前。

处理器可以通过在包括第一图像的第一识别帧和包括第二图像的第二识别帧之间放置所述一组内容帧中的至少一个内容帧来控制显示器显示所述一组内容帧和多个识别帧。

处理器可以将所述一组内容帧中的一部分内容帧改变为包括预定图像的识别帧。

处理器可以通过改变来自所述一部分内容帧的每一个的预定区域的像素值来将所述一部分内容帧改变为包括预定图像的识别帧。

处理器可以基于内容的帧速率来确定包括预定图像的多个识别帧的数量。

预定类型可以对应于广告内容帧。

根据实施例，服务器包括：存储器，用于存储其中拍摄了显示装置的拍摄内容；以及处理器，用于从包括在所述拍摄内容中的多个拍摄帧中识别预定图像，并且基于所述预定图像获得指示与所述显示装置的显示器对应的区域的第一信息和指示在所述显示装置中显示预定类型的内容时的时间点的第二信息。

处理器可以基于第一信息和第二信息改变多个拍摄帧之中的至少一个拍摄帧中的对应于显示器的区域。

处理器可以识别多个拍摄帧中的多个预定图像，并基于多个预定图像中最先识别的预定图像和最后识别的预定图像获得第二信息。

服务器还可以包括通信接口，并且处理器可以控制通信接口将拍摄内容、第一信息和第二信息发送到电子装置。

预定图像可以包括在多个识别帧中，并且包括在预定类型的内容中的多个内容帧中的至少一个内容帧可以在被布置在多个识别帧之间的情况下被显示。

根据实施例，电子装置包括通信接口以及处理器，处理器用于通过通信接口从服务器获得拍摄内容、指示包括在拍摄内容中的与显示装置的显示器对应的区域的第一信息、以及指示预定类型的内容在显示装置中显示时的时间点的第二信息，并且基于所述第一信息和所述第二信息改变包括在拍摄内容中的多个拍摄帧之中的至少一个拍摄帧中的与显示器对应的区域。

根据实施例，显示装置的控制方法包括：基于预定类型的内容获得多个内容帧，以及通过将所述多个内容帧中的至少一个内容帧放置在包括预定图像的多个识别帧之间，显示所述多个内容帧和所述多个识别帧，并且所述预定图像可以是用于识别包括所述显示器的拍摄图像中的与显示器对应的区域的图像。

控制方法还可以包括：基于内容的帧速率和多个识别帧的数量来改变显示器的扫描速度。

所述显示可以包括：以预定间隔将所述多个识别帧中的每一个插入到所述多个内容帧之间。

所述显示可以包括：将所述多个内容帧中的第一内容帧放置在所述多个识别帧中的最初识别帧之后，以及将所述多个内容帧中的最后内容帧放置在所述多个识别帧中的最后识别帧之前。

所述显示可以包括：通过在包括第一图像的第一识别帧和包括第二图像的第二识别帧之间放置多个内容帧中的至少一个内容帧来显示多个内容帧和多个识别帧。

控制方法还可以包括：将多个内容帧中的一部分内容帧改变为包括预定图像的识别帧。

所述改变可以包括：通过改变来自一部分内容帧的每一个的预定区域的像素值来将一部分内容帧改变为包括所述预定图像的识别帧。

控制方法还可以包括：基于内容的帧速率来确定包括预定图像的多个识别帧的数量。

预定类型的内容可以是广告内容。

根据实施例，服务器的控制方法包括：从包括在拍摄内容中的多个拍摄帧中识别预定图像；以及基于所述预定图像获得第一信息和第二信息，所述第一信息指示与所述显示装置的显示器对应的区域，所述第二信息指示在所述显示装置中显示预定类型的内容时的时间点。

控制方法还可以包括：基于第一信息和第二信息来改变在多个拍摄帧之中的至少一个拍摄帧中的对应于显示器的区域。

所述识别可以包括：识别所述多个拍摄帧中的多个预定图像，且所述获得包括：基于所述多个预定图像中最先识别的预定图像和最后识别的预定图像来获得所述第二信息。

控制方法还可以包括：将拍摄内容、第一信息和第二信息发送到电子装置。

预定图像可以被包括在多个识别帧中，并且包括在预定类型的内容中的多个内容帧中的至少一个内容帧可以在被布置在多个识别帧之间的情况下被显示。

根据实施例，电子装置的控制方法包括：通过通信接口从服务器接收拍摄内容、指示拍摄内容中所包括的与显示装置的显示器对应的区域的第一信息、以及指示预定类型的内容在显示装置中显示的时间点的第二信息；以及基于所述第一信息和所述第二信息，改变包括在所述拍摄内容中的所述多个拍摄帧之中的至少一个拍摄帧中的与所述显示器对应的区域。

有益效果

根据各种实施例，通过由显示装置在内容中包括和显示识别帧，可以容易地从拍摄内容中识别对应于显示器的区域，并且服务器或电子装置可以将所识别的区域改变为另外的内容。

附图说明

本公开的某些实施例的上述和/或其他方面、特征和优点将从以下结合附图的详细描述中变得更加明显，其中：

图1是示出根据实施例的电子系统的视图；

图2a是示出根据实施例的显示装置的配置的框图；

图2b是示出根据实施例的显示装置的具体配置的框图；

图3是示出根据实施例的服务器的配置的框图；

图4是示出根据实施例的电子装置的配置的框图；

图5a和图5b是示出本公开的实施例的环境的视图；

图6a、图6b、图6c和图6d是示出根据实施例的添加识别帧的方法的视图；

图7是示出根据实施例的用于对识别帧进行识别的方法的视图；

图8是示出根据实施例的用于添加其他内容的方法的视图；

图9是根据实施例的用于控制显示装置的方法的流程图；

图10是根据实施例的用于控制服务器的方法的流程图；

图11是根据实施例的用于控制电子装置的方法的流程图。

具体实施方式

发明的模式

本公开的示例性实施例可以被不同地修改。因此，在附图中示出了具体的示例性实施例，并且在该详细描述中详细描述了具体的示例性实施例。然而，应当理解，本公开不限于特定的示例性实施例，而是包括不脱离本公开的范围和精神的所有修改、等同和替换。此外，没有详细描述公知的功能或结构，以避免用不必要的细节使本公开不清楚。

在下文中，将参考附图进一步描述本公开。

本说明书和权利要求书中使用的术语是考虑本公开的各种实施例的功能而确定的一般术语。然而，这些术语可以根据本领域技术人员的意图、技术解释、新技术的出现等而变化。除非存在术语的具体定义，否则术语可以基于相关领域的技术人员的技术理解和整体内容来解释。

在本说明书中，表述“具有”、“可以具有”、“包括”或“可以包括”等表示相应特征(例如，诸如数字、功能、操作或部分的组件)的存在，并且不排除附加特征的存在。

表述“a或/和b中的至少一个”应理解为表示“a”或“b”或“a和b中的任意一者”。

如本文所用，术语“第一”、“第二”等可表示各种组件，而不管次序和/或重要性，且可用于将一个组件与另一个组件区分开，且不限制所述组件。

此外，在本公开中，一个元件(例如，第一元件)与另一个元件(例如，第二元件)(可操作地或通信地)与……联接/联接到或连接到另一个元件(例如，第二元件)的描述应当被解释为包括以下情况：一个元件直接联接到另一个元件的情况，以及一个元件通过又一个居间元件(例如，第三元件)联接到另一个元件的情况。

除非另有说明，否则单数表述包括复数表述。应当理解，术语诸如“包括”或“由……组成”在本文中用于表示特征、数字、步骤、操作、元件、组件或其组合的存在，并且不排除存在或添加一个或更多其他特征、数字、步骤、操作、元件、组件或其组合的可能性。

诸如“模块”、“单元”、“部分”等术语用于指代执行至少一个功能或操作的元件，且此类元件可以实现为硬件或软件，或硬件与软件的组合。此外，除了当需要在单个硬件中实现多个“模块”、“单元”、“部件”等中的每一个时，组件可以集成在至少一个模块或芯片中并且在至少一个处理器中实现。

在本公开中，术语用户可以指使用电子装置的人或使用电子装置的装置(例如，人工智能(ai)电子装置)。

在下文中，将参考附图详细描述本公开的实施例。

图1是示出根据实施例的电子系统1000的视图。电子系统1000可以包括显示装置100、服务器200和电子装置300。

显示装置100可以是包括显示器(诸如数字标牌装置、电子显示器、广告面板等)并通过显示器直接显示内容的装置。实施例不限于此，并且显示装置100可以是包括显示器的任何装置(诸如台式pc、笔记本、智能电话、平板pc、电视、mp3播放器、便携式媒体播放器(pmp)、蜂窝电话、智能眼镜、智能手表、导航装置等)。

显示装置100可以基于预定的内容类型获得多个内容帧，并且通过在包括预定图像的多个识别帧之间布置多个内容帧中的至少一个内容帧来显示多个内容帧和多个识别帧。

例如，如果要显示的内容是广告内容，则显示装置100可以获得包括在广告内容中的多个内容帧，并且将多个内容帧划分为九个帧组。例如，如果多个内容帧包括总共90个单独的内容帧，则显示装置100可以将多个内容帧从1到10、11到10、……81到90顺序地分组为帧组，并且将包括预定图像的识别帧插入在紧接在帧1之前、插入在所述帧组之中的每个帧组之间、以及插入在紧接在帧90之后。在这种情况下，要插入的识别帧的数量可以是10个。因此，显示装置100可以顺序地显示多个内容帧和识别帧。

这里，预定图像可以是用于从包括显示装置100的显示器的拍摄图像中识别与显示装置100的显示器对应的区域的图像。例如，拍摄装置可以执行拍摄以包括显示装置100。换句话说，由拍摄装置所得的拍摄内容中包括的多个拍摄帧可以包括显示装置100。下面将描述在拍摄内容中识别显示装置100的显示器的操作。

在上述示例中，显示装置100将多个内容帧划分成多个组，但是这是为了便于描述。例如，显示装置100可以顺序地显示多个内容帧，并且可以在多个内容帧中添加紧接在预定内容帧之前或之后的识别帧。或者，显示装置100可以紧接在显示多个识别帧中的第一识别帧之后显示多个内容帧中的至少一个内容帧，紧接在第一识别帧之后显示第二识别帧，并且再次显示多个内容帧中的至少一个内容帧。

服务器200可以是存储多个内容并发送多个内容的装置，并且可以是广播站服务器等。

特别地，服务器200可以存储拍摄了显示装置100的拍摄内容。例如，拍摄装置可以捕获其中包括显示装置100的照片，并且服务器200可以从拍摄装置接收由拍摄装置获得的照片。其中包括显示装置100的照片可以存储在服务器200的存储器中。然而，实施例不限于此，并且服务器200可以包括相机，并且可以通过相机捕获其中包括显示装置100的照片。在这种情况下，服务器200还可以存储直接拍摄的拍摄内容。

服务器200可以从包括在拍摄内容中的多个拍摄帧中识别预定图像，并且基于该预定图像，可以获得指示与显示装置100的显示器对应的区域的第一信息和指示预定类型的内容在显示装置100中显示时的时间点的第二信息。

服务器200可以将拍摄内容、第一信息和第二信息发送到电子装置300。服务器200可以将第一信息和第二信息作为拍摄内容的元数据发送到电子装置300。或者，服务器可以将除拍摄内容之外的第一信息和第二信息分别地发送到电子装置300。

基于第一信息和第二信息，服务器200可以改变多个拍摄帧之中的至少一个拍摄帧中的、与显示装置100的显示器对应的区域，以包括不同于显示装置100被拍摄时在显示装置100的显示器上显示的内容的其他内容。在这种情况下，服务器200可以向电子装置300发送其中部分区域被改变为其他内容的拍摄内容，并且可以不向电子装置300发送第一信息和第二信息。然而，实施例不限于此，并且即使其中部分区域被改变为其他内容的拍摄内容被发送到电子装置300，服务器200也可以将第一信息和第二信息发送到电子装置300。

电子装置300可以是接收内容的装置，例如机顶盒，对接收到的内容执行图像处理，并将处理后的图像内容提供给连接到电子装置300的显示装置。然而，实施例不限于此，并且电子装置300本身可以被配置为接收内容、对所接收的内容执行图像处理并且直接显示经图像处理的内容，例如电视、台式pc和具有显示器的笔记本计算机。

电子装置300可以从服务器200接收拍摄内容、指示与显示装置100的显示器对应的区域的第一信息、以及指示在显示装置中显示预定类型的内容的时间点的第二信息。

显示装置100可以基于第一信息和第二信息将包括在拍摄内容中的多个拍摄帧之中的至少一个拍摄帧中的、与显示装置100的显示器对应的区域改变为其他内容。

通过上述操作，服务器200可以更准确地识别拍摄内容中的预定区域，并且服务器200或电子装置300可以改变所识别的区域以显示其他内容。

图2a是示出根据实施例的显示装置的配置的框图。

参照图2a，显示装置100包括显示器110和处理器120。

显示器110被配置用于显示由处理器120处理的图像。显示器110可以被实现为阴极射线管(crt)、液晶显示器(lcd)、发光二极管(led)、以及等离子体显示面板(pdp)等，但是显示器100不限于此。此外，显示器110可以实现为柔性显示器、透明显示器等。

处理器120配置为控制显示装置100的整体操作。

处理器120可以实现为用于处理数字图像信号的数字信号处理器(dsp)、微处理器和时间控制器(tcon)，但是处理器120不限于此。处理器120可以实现为包括中央处理单元(cpu)、微控制器单元(mcu)、微处理单元(mpu)、控制器、应用处理器(ap)、通信处理器(cp)和高级精简指令集计算(risc)机器(arm)处理器中的一个或更多，或者可以被定义为相应的术语。处理器120可以以包含处理算法的片上系统(soc)类型或大规模集成(lsi)类型来实现，或者可以以现场可编程门阵列(fpga)类型来实现。处理器120可通过执行从存储器读取的计算机可执行指令来执行各种功能。

处理器120可以基于预定类型的内容获得多个内容帧，并且通过将多个内容帧中的至少一个放置在包括预定图像的多个识别帧之间来控制显示器110显示多个内容帧和多个识别帧。

预定图像可以是用于识别包括显示器110的拍摄图像中的对应于显示器110的区域的图像。也就是说，预定图像可以是用于从包括显示器110的拍摄图像中识别除显示器110的边框之外的像素区域的图像。

根据实施例，预定类型的内容可以是广告内容。也就是说，如果要显示的内容是广告内容，则处理器120可以控制显示器110显示广告内容和多个识别帧。

处理器120可以基于内容的元数据来识别广告内容。或者，处理器120可以通过从显示的内容帧中识别对象来识别广告内容。

处理器120可以基于内容的帧速率和多个识别帧的数量来改变显示器110的扫描速度。

例如，当内容的帧速率是每秒60帧(fps)，并且显示器110的扫描速度是60hz时，如果处理器120添加了十个识别帧，则显示器110的扫描速度可以改变为70hz。该操作允许处理器120再现内容而不改变内容的再现时间。

处理器120可基于内容的帧速率来确定包括预定图像的多个识别帧的数量。处理器120还可以考虑显示器110的最大扫描速度。

例如，如果内容的帧速率是每秒50帧(fps)，并且显示器110的最大扫描速度是60hz，则处理器120可以确定识别帧的数量是十个或更少。如果识别帧的数量超过10，则帧速率可能会大于显示器110的最大扫描速度，并且可能会改变内容的再现时间。

处理器120可以以预定间隔将多个内容帧中的每一个插入在多个内容帧之间。然而，实施例不限于此，并且处理器120可以在任何配置中在多个内容帧之间插入多个识别帧中的每一个。例如，每当多个内容帧中场景改变时，处理器120可以插入识别帧，并且因此识别帧可以紧接在第一场景中的最后一帧之后并且紧接在第二场景中的第一帧之前。

处理器120可以紧接在多个识别帧中的最初识别帧之后放置多个内容帧中的第一内容帧，并且紧接在多个识别帧的最后识别帧之前放置多个内容帧中的最后帧。通过该操作，可以识别预定类型的内容的多个帧内的再现开始时间和位置以及再现结束时间和位置。

处理器120可以通过在包括第一识别图像的第一识别帧和包括第二识别图像的第二识别帧之间设置多个内容帧中的至少一个内容帧来控制显示器110显示多个内容帧和多个识别帧。

例如，处理器120可以通过在整个区域是红色的第一识别帧和整个区域是蓝色的第二识别帧之间放置多个内容帧中的至少一个来控制显示器110显示多个内容帧和多个识别帧。这种配置强调了识别帧和在识别帧之前和之后的内容帧之间的差异，因此可以更准确地执行识别帧和内容帧的区分。

处理器120可以将多个内容帧中的一些内容帧改变为包括预定图像的识别帧。

例如，处理器120可以将60个内容帧中的第30个和第60个内容帧改变为包括预定图像的识别帧。因为内容以高帧速率再现，这可能超出人类观众的识别率，即使一些帧被改变为识别帧，观众也可能不会辨识出包括识别帧。然而，服务器200可以被配置为即使在以高帧速率再现时也辨识出识别帧。

这里，处理器120可以对一部分内容帧的每一个改变预定区域的像素值，并且将该部分内容帧改变为包括预定图像的识别帧。

例如，处理器120可以将一部分内容帧的每一个的边缘区域的像素值改变为白色，并且将该部分内容帧改变为包括预定图像的识别帧。

如上所述，处理器120添加识别帧，并且处理器120添加识别帧并且将内容帧的一部分改变为识别帧，但是实施例不限于此。例如，处理器120可以仅将内容帧的一部分改变为识别帧而不添加识别帧。在这种情况下，处理器120可以不改变显示器110的扫描速度。

图2b是示出根据实施例的显示装置100的具体配置的框图。显示装置100可以包括显示器110和处理器120。根据图2b，显示装置100还可以包括存储器130、通信接口140、用户接口150、输入和输出接口160、扬声器170和麦克风180。在图2b中所示的那些配置中，与上面关于图2a描述的那些配置冗余的配置的详细描述将被省略。

显示器110可以实现为各种类型的显示器，例如液晶显示器(lcd)、有机发光二极管(oled)显示器、等离子体显示面板(pdp)等。在显示器110中，还可以包括驱动电路和背光单元，其可以以a-sitft、低温多晶硅(ltps)tft、有机tft(otft)的形式实现。显示器110可以被实现为与触摸传感器、柔性显示器、三维显示器(3d显示器)等联接的触摸屏。

根据实施例的显示器110可以包括用于输出图像的显示面板和用于容纳显示面板的边框。特别地，根据实施例的边框可以包括用于检测用户交互的触摸传感器。

存储器130电连接到处理器120，并且可以存储实现本公开的各种实施例所必需的数据和程序。在这种情况下，存储器130可以被实现为包括在处理器120中的内部存储器，例如只读存储器(例如，电可擦除可编程只读存储器(eeprom))、随机存取存储器(ram)等，或者与处理器120分离的存储器。在这种情况下，根据数据使用目的，存储器130可以被实现为嵌入电子装置100的存储器，或者可以被实现为电子装置100中的可拆除存储器。例如，用于驱动电子装置100的数据可以被存储在嵌入电子装置100中的存储器中，并且用于电子装置100的扩展或升级功能的数据可以被存储在可从电子装置100拆除的存储器中。嵌入电子装置100中的存储器可以是易失性存储器(例如动态随机存取存储器(dram)、静态随机存取存储器(sram)、同步动态随机存取存储器(sdram))或者非易失性存储器(例如，一次性可编程rom(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩膜rom、闪存rom、闪存存储器(例如，nand闪存或nor闪存)、硬盘驱动器或固态驱动器(ssd))。在可拆除地安装到电子装置100的存储器的情况下，存储器可以实现为存储卡(例如，小型闪存(cf)、安全数字(sd)、微型安全数字(micro-sd)、迷你安全数字(mini-sd)、极速数字(xd)、多媒体卡(mmc)等)、可连接到usb端口的外部存储器(例如usb存储器)等。

存储器130可以存储各种数据，例如用于驱动显示装置100的操作系统(o/s)模块、图像处理模块和图像模块等。

处理器120通过读取和执行存储在存储器130中的各种程序来控制电子装置100的整体操作。

具体而言，处理器120包括ram121、rom122、主cpu123、第一至第n接口125-1～125-n以及总线126。处理器还可以包括图形处理器124，但是图形处理器124可以在显示装置中单独提供。例如，图形处理器124可以包括图形处理单元(gpu)，其与处理器120协调以控制在显示器110上显示内容的操作。

ram121、rom122、主cpu123、第一至第n接口125-1至125-n等可以通过总线126互连。

rom122存储用于启动系统等的一个或更多指令。当输入启动显示装置100的指令并供电时，cpu123根据存储在rom122中的一个或更多指令将存储在存储器130中的os复制到ram121，并执行os以启动系统。当启动完成时，cpu123将存储在存储器130中的各种应用程序复制到ram121，执行复制到ram121的应用程序，并执行各种操作。

主cpu123对存储器130进行存取并使用存储在存储器130中的操作系统(os)执行启动，并使用存储在存储器130中的各种程序、内容数据等执行各种操作。

第一至第n接口125-1至125-n连接到上述各种元件。接口之一可以是通过网络连接到外部装置的网络接口。

图形处理器124可以执行图形处理功能(视频处理功能)。例如，图形处理器124可以生成包括诸如图标、图像、文本等的各种对象的屏幕。在图形处理器124中，计算器可以基于接收到的控制命令，根据屏幕的布局来计算要由每个对象显示的属性值，例如坐标值、形状、大小和颜色。呈现器可以基于由计算器计算的属性值生成包括对象的各种布局的显示屏。处理器120和/或图形处理器124可对视频数据执行各种图像处理，例如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。

处理器120可以对音频数据执行处理。具体地，处理器120可以对音频数据执行各种音频处理，例如解码、放大、噪声滤波等。

通信接口140可以与各种类型的其他外部装置通信，从而可以在显示装置100和其他外部装置之间传输数据。通信接口140包括wi-fi模块141、蓝牙模块142、红外通信模块143、无线通信模块144等。每个通信模块可以被实现为实现通信所必需的至少一个硬件芯片和其他硬件。例如，如果无线地执行通信，则通信模块可以包括用于发送和接收数据的天线或红外收发器。如果通过有线执行通信，则通信接口可以包括端口，诸如以太网端口或光纤端口等。

处理器120可以使用通信接口140与各种外部装置通信。这里，外部装置可以包括显示装置(诸如电视)、图像处理装置(诸如机顶盒)、外部服务器、控制装置(诸如遥控器)、音频输出装置(诸如蓝牙扬声器)、照明装置、智能清洁器、家用电器(诸如智能冰箱)、服务器(诸如物联网(iot)家庭管理器)，等等。当然，外部装置可以包括图1所示的服务器200或电子装置。

wi-fi模块141和蓝牙模块142分别使用wi-fi方法和蓝牙协议执行无线通信。当使用wi-fi模块141或蓝牙模块142时，可以发送和接收诸如服务集标识符(ssid)和会话密钥之类的各种连接信息以建立通信会话，并且可以在建立通信连接之后发送通信信息。

红外线通信模块143根据红外数据关联(irda)技术执行通信，该技术利用可见光和毫米波之间的红外线将数据无线地传输到局域。

除了上述通信模式之外，无线通信模块144还可以包括根据各种通信标准执行通信的至少一个通信芯片，该通信标准例如zigbee、第三代(3g)、第三代合作伙伴计划(3gpp)、长期演进(lte)、lte高级(lte-a)、第四代(4g)、第五代(5g)等。

如上所述，在有线配置中，通信接口140还可以包括局域网(lan)模块、以太网模块或者使用对电缆、同轴电缆、光缆等执行通信的有线通信模块中的至少一个。

根据实施例，通信接口140可以使用相同的通信模块(例如wi-fi模块)来与诸如遥控器的外部装置和外部服务器进行通信。

根据另一个示例，通信接口140可以利用不同的通信模块(例如wi-fi模块)来与诸如遥控器的外部装置以及外部服务器通信。例如，通信接口140可以使用以太网模块或wi-fi模块中的至少一个来与外部服务器进行通信，并且可以使用蓝牙(bt)模块来与诸如遥控器的外部装置进行通信。然而，这仅仅是示例性的，并且当与多个外部装置或外部服务器通信时，通信接口140可以使用各种通信模块中的至少一个通信模块。

如果显示装置100还被配置成接收和处理视频内容，则根据示例，显示装置100还可以包括调谐器和解调器。

调谐器可以通过调谐由用户选择的信道或所有预先存储的信道来从通过天线接收的rf广播信号中接收射频(rf)广播信号。

解调器可以接收和解调由调谐器转换的数字中频(dif)信号，并执行信道解码等。

用户接口150可以被实现为按钮、触摸板、鼠标和键盘，或者可以被实现为也可以执行显示功能和操作输入功能的触摸屏。这里，按钮可以是形成在电子装置100的主体的外部的任意区域(例如前部、侧部、后部等)上的各种类型的按钮，例如机械按钮、触摸板、滚轮等。

输入和输出接口160可以是高清晰度多媒体接口(hdmi)、移动高清晰度链路(mhl)、通用串行总线(usb)、显示端口(dp)、雷电接口(thunderbolt)、视频图形阵列(vga)端口、rgb端口、d-超小型(d-sub)、数字视觉接口(dvi)等之一。在适当支持的情况下，输入和输出接口160可以被配置为单独地或结合通信接口140执行与外部装置的通信。

输入和输出接口160可以输入和输出音频信号和视频信号中的至少一者。

根据示例，输入和输出接口160可以包括作为单独的端口的、仅输入和输出音频信号的端口或者仅输入和输出视频信号的端口，或者可以实现为输入和输出音频信号和视频信号两者的端口。

扬声器170可以是可听地输出由输入和输出接口160处理的各种音频数据、各种报警声音、语音消息等的元件。

麦克风180是接收用户语音或其他声音并将所接收的声音转换为音频数据的元件。

麦克风180可以在启用状态接收用户语音。例如，麦克风180可以在电子装置100的上侧、前侧方向、侧向方向等上一体地形成为一个整体单元。麦克风可以包括各种配置，诸如用于以模拟格式收集用户语音的麦克风、用于放大所收集的用户语音的放大器电路、用于采样所放大的用户语音以转换为数字信号的音频-数字(a/d)转换电路、用于从所转换的数字信号中去除噪声元素的滤波器电路等。当接收到用户语音时，其声音信号可以被转换为用于控制显示装置100的命令。

图3是示出根据实施例的服务器200的配置的框图。

参照图3，服务器200包括存储器210和处理器220。

存储器210可以存储包括显示装置100的拍摄内容。例如，拍摄内容可以包括多个拍摄帧，并且显示装置100可以在所述多个拍摄帧的某一区域中被拍摄。拍摄内容可以通过单独的拍摄装置被拍摄，或者可以通过包括在服务器200中的相机被拍摄。

存储器210可以被实现为硬盘、非易失性存储器、易失性存储器等，并且可以是可以存储数据的任何配置。存储器可以类似于以上关于图2b的显示装置100描述的存储器121、122、123，并省略了对存储器210的冗余描述。

处理器220控制服务器200的整体操作。

处理器220可以识别包括在拍摄内容中的多个拍摄帧中的预定图像。例如，处理器220可以在拍摄内容中的多个拍摄帧中的一个拍摄帧中识别包括白色正方形图像的识别图像。然而，实施例不限于此，并且预定图像可以是可以由服务器200在图像内检测到的任何其他颜色、形状等。此外，预定图像可以包括多种颜色并且可以包括多个区域。

处理器220可以获得指示与显示装置100的显示器110对应的区域的第一信息和指示在显示装置100中显示预定类型的内容的时间点的第二信息。

例如，处理器220可以将在拍摄内容中包括的多个图像帧中的每一个中识别出预定图像的区域识别为与显示装置100的显示器110对应的区域。此外，处理器220可以将在拍摄内容中包括的多个拍摄帧中识别出预定图像的拍摄帧识别为显示预定类型的内容的时间点。

预定图像可以包括在多个识别帧中，并且包括在预定类型的内容中的多个内容帧中的至少一个内容帧可以以被放置在多个识别帧之间的状态被显示。如上所述，识别帧可以是这样的内容帧，该内容帧的特定部分包括标志预定类型的内容的存在的识别图像。

具体地，处理器220可以从多个拍摄帧中识别多个预定图像，并且基于多个预定图像中的最先识别的预定图像和最后识别的预定图像来获得第二信息。

处理器220可以识别多个拍摄帧中的多个预定图像，并且可以基于多个预定图像中的最先识别的预定图像和最后识别的预定图像来获得第一信息。

换句话说，处理器220可以比较在多个拍摄帧中的每一个中识别的预定图像，以便提高预定图像的识别精度。处理器220可以通过仅使用最先识别的预定图像和最后识别的预定图像来获得第一信息和第二信息。

处理器220可以基于第一信息和第二信息将多个拍摄帧之中的至少一个拍摄帧中的与显示器110对应的区域改变为另外的内容。

例如，当第一信息是在1920×1080的拍摄帧中x坐标是1000至1200，y坐标是500至600，并且第二信息是从100帧中的第20至40帧，处理器220可以在100帧中的第20至40帧中将x坐标是1000至1200并且y坐标是500至600的区域改变为其他内容。

这里，其他内容可以是存储在服务器200的存储器210中的内容。或者，另外的内容可以是从外部服务器接收的内容。

服务器200还可以包括通信接口，并且处理器220可以控制通信接口向电子装置300发送拍摄内容、第一信息和第二信息。

在图3中，处理器220和通信接口的硬件配置可以与显示装置100的处理器120和通信接口140相同，并且省略其冗余描述。

图4是示出根据实施例的电子装置300的配置的框图。

参照图4，电子装置300包括通信接口310和处理器320。因为图4的处理器320和通信接口310的硬件配置类似于图2b的通信接口140和处理器120，将省略对其的冗余描述。

处理器320可以通过通信接口310从服务器200接收拍摄内容、指示拍摄内容中所包括的与显示装置100的显示器110对应的区域的第一信息、以及指示预定类型的内容显示在显示装置100中的时间点的第二信息。

例如，处理器320可以通过通信接口310接收100帧的拍摄内容、指示在1920×1080的拍摄帧中x轴是1000-1200、y轴是500-600(其中与显示装置100的显示器110对应的区域是1920×1080)的第一信息、以及指示显示预定类型的内容时的时间点是从100帧中的第20帧至第40帧的第二信息。

处理器320可以基于第一信息和第二信息将来自于包括在拍摄内容中的多个拍摄帧之中的至少一个拍摄帧的与显示器110对应的区域改变为其他内容。

在上述示例中，处理器320可以将100帧中的第20帧至第40帧中x坐标为1000-1200且y坐标为500-600的区域改变为其他内容。

电子装置300还可以包括显示器，并且处理器320可以控制显示器来显示其他内容。

在图3和图4中，已经描述了第一信息是矩形区域，但是第一信息不限于此。例如，第一信息可以在显示器的任何区域中，诸如三角形区域等，并且可以包括倾斜信息(tiltinformation)。第一信息可以是作为向量存储的信息。

通过电子系统1000的操作，可以提高来自拍摄内容的对应于显示器110的区域的识别精度，可以更容易地识别，并且可以通过所识别的区域提供替换内容。

在下文中，将更详细地描述电子系统的操作。

图5a和图5b是示出本公开的实施例的环境的视图。

显示装置100可以是如图5a所示的棒球场的电子记分板。电子记分板是一种向棒球场的观众提供信息的装置，例如包括棒球队信息的屏幕。

在这种情况下，电子记分板可以在棒球队的信息屏幕上显示多个识别帧。或者，电子记分板可以在显示棒球队的信息屏幕的同时显示广告内容，并且可以显示添加到广告内容的多个识别帧。这里，广告内容可以是针对棒球场的观众的啤酒广告等。

拍摄装置可以拍摄如图5a所示的电子记分板。由拍摄装置拍摄的拍摄内容可以实时地被流传输。

由拍摄装置拍摄的拍摄内容可以被发送到服务器200。服务器200可以从图5a所示的拍摄内容的图像中对识别帧进行识别，并识别电子记分板所在的区域在拍摄内容中的位置。

服务器200可以基于电子记分板所在的区域在拍摄内容中的位置将其他内容添加到电子记分板所在的区域，并将该内容发送到电子装置300。电子装置300可以是家中的机顶盒。如图5b所示，电子装置300可以显示添加了其他内容的拍摄内容。因此，代替针对体育场中的观众显示啤酒广告的内容，家中的观众可以观看其他内容而不是棒球队的信息屏幕或广告内容。其他内容可以是例如针对家中的观众的家用电器的广告等。因此，可以用例如家用电器的广告、针对另一位置(例如家中)的观众的广告来替换针对体育场中的观众的广告(例如啤酒)。

或者，服务器200可以识别电子记分板所在的区域，并向电子装置300发送拍摄内容和识别信息。电子装置300可以是家中的机顶盒，并且电子装置300可以基于所识别的信息将其他内容添加到拍摄内容并显示该内容。其他内容可以是针对家中的观众的家用电器广告等。

在这种情况下，电子装置300可以根据观众的观看模式来确定替换内容。例如，布置在第一家中的电子装置300可以存储第一观众平时在家庭购物频道中非常感兴趣的信息，并且可以向拍摄内容添加和显示家用电器广告。布置在第二家中的电子装置300可以存储第二观众平时对电影非常感兴趣的信息，并且可以在拍摄内容上添加和显示电影预告片。因此，替换内容可以与用户档案相关联，并且可以参考用户档案以选择要提供给在外部位置的用户的替换内容。

或者，服务器200或电子装置300可基于当前时间信息来确定其他内容。例如，服务器200或电子装置300可以在上午9:00之前将交通状况的内容确定为其他内容，并且在下午8:00之后将电影预告片确定为其他内容。

图6a、图6b、图6c和图6d是示出根据实施例的添加识别帧的方法的视图。

图6a示出了预定类型的内容的示例。为便于描述，如图6a所示的帧可以保持三秒。实施例不限于此，并且预定类型的内容可以是其中每个内容帧彼此不同的图像。

图6b是包括预定识别图像的识别帧的实施例。这里，预定的识别图像可以是纯色的图像。或者，预定图像可以是具有预定图案的噪声图像，例如条形码、qr代码或用于传送信息的其他码。如上所述，预定图案可以指示第一信息和/或第二信息。

如图6c所示，显示装置100的处理器120可以通过将多个内容帧中的至少一个放置在包括预定图像的多个识别帧之间来控制显示器110显示多个内容帧和多个识别帧。

特别地，处理器120可以将多个内容帧中的第一内容帧放置于紧接在多个识别帧中的第一识别帧之后，并且将多个内容帧中的最后内容帧放置于紧接在多个识别帧中的最后识别帧之前。因此，服务器200可以识别预定类型的内容的开始点和结束点。

在图6c中，仅为了便于描述，描述了三个内容帧和两个识别帧，但是内容帧和识别帧可以以任何其他顺序放置。

尽管图6c已经被描述为添加识别帧，实施例不限于此。例如，如图6d所示，处理器120可以改变多个内容帧中的初始内容帧和最后内容帧中的每一个中的拐角区域的像素值。或者，如果预定类型的内容的帧速率足够高，则处理器120可用识别帧替换多个内容帧中的初始内容帧和最后内容帧中的每一个。

图6d示出了改变拐角区域的像素值，但是实施例不限于此。例如，处理器120可以从内容帧的边缘区域改变预定数量的像素值。

图7是描述根据实施例的用于对识别帧进行识别的方法的视图。在图7中，假定在拍摄内容中拍摄了左侧的第一显示装置和右侧的第二显示装置。

图7的上图表示拍摄内容的第一拍摄帧，而图7的下图表示在第一拍摄帧之后的第二拍摄帧。

服务器200的处理器220可从第一拍摄帧识别预定图像710，并基于预定图像识别指示与显示装置的显示器对应的区域的第一信息。

处理器220可以从第一拍摄帧中识别预定图像710，并且识别在第二拍摄帧中识别的区域改变了多少。当第一拍摄帧中的预定图像710和第二拍摄帧中与所识别的区域对应的区域720之间的像素值的差大于或等于预定值时，处理器220可以获得所识别的区域作为第一信息。换句话说，可以根据预定图像710的区域或位置来确定帧的区域或位置。因此，预定图像710本身代表显示备选内容的区域。或者，如果预定图像710包括图案，例如条形码、qr码，则处理器220可以识别图案并确定对应于图案的第一信息和/或第二信息。

同时，在图7中，为了便于描述，仅示出了两个拍摄帧，但是实施例不限于此。例如，如果有100个拍摄帧，则预定图像可以被包括在第一拍摄帧中、第50拍摄帧和第100拍摄帧中。在这种情况下，处理器220可以获得在第一拍摄帧、第50拍摄帧和第100拍摄帧中识别出预定图像的区域作为第一信息。如果没有从剩余的拍摄帧中识别出预定图像，则处理器220可以仅使用其中识别出预定图像的第一拍摄帧、第50拍摄帧和第100拍摄帧来获得第一信息。

处理器220可以从多个拍摄帧中识别多个预定图像，并且可以基于多个预定图像中的最初识别的预定图像和最后识别的预定图像来获得第二信息。在上述示例中，处理器220可以获得第二信息，该第二信息包括第一拍摄帧的再现时间和第100拍摄帧的再现时间。

图7描述了仅识别右侧的第二显示装置的预定图像，但是处理器220可以识别左侧的第一显示装置的预定图像。即，处理器220可以同时获取关于第二显示装置的显示区域的第一信息和第二信息以及关于第一显示装置的显示区域的第一信息和第二信息。

图8是示出根据实施例的用于添加其他内容的方法的视图。

处理器220可以基于第一信息和第二信息将多个拍摄帧之中的至少一个拍摄帧中的与显示器110对应的区域改变为其他内容。

如图8所示，处理器220可以基于关于第一区域810的第一信息和第二信息改变与第一显示装置的显示器对应的区域，并且基于关于第二区域820的第一信息和第二信息将与第二显示装置的显示器对应的区域改变为第二其他内容。即，处理器220可以将拍摄帧的多个区域分别改变为多个其他内容。

实施例不限于此，并且处理器220可以向电子装置300发送关于所识别的区域和拍摄内容的信息，并且电子装置300可以将多个拍摄帧中的每一个改变为多个其他内容。

图9是根据实施例的用于控制显示装置的方法的流程图。

在操作s910中，基于预定类型的内容获得多个内容帧。在操作s920中，可以将多个内容帧中的至少一个内容帧布置在包括预定图像的多个识别帧之间，并且可以显示多个内容帧和多个识别帧。这里，预定图像可以是用于识别包括显示器的拍摄图像中的与显示器对应的区域的图像。

这里，可以进一步包括基于内容的帧速率和多个识别帧的数量来改变显示器的扫描速度的步骤。

在操作s920中的显示步骤可以包括以预定间隔在多个内容帧之间插入多个识别帧中的每一个。

在操作s920中的显示步骤可以包括紧接在最初识别帧之后布置多个内容帧中的初始内容帧，以及紧接在多个识别帧中的最后识别帧之前布置多个内容帧中的最后内容帧。

在操作s920中的显示可以包括通过在包括第一图像的第一识别帧和包括第二图像的第二识别帧之间布置多个内容帧中的至少一个内容帧来显示多个内容帧和多个识别帧。

还可以包括将多个内容帧中的一些内容帧改变为包括预定图像的识别帧的步骤。

这里，改变步骤可以对一部分内容帧的每一个改变预定区域的像素值，并且将该部分内容帧改变为包括预定图像的识别帧。

同时，还可以包括基于内容的帧速率来确定包括预定图像的多个识别帧的数量的步骤。

预定类型的内容可以是广告内容。

图10是根据实施例的用于控制服务器的方法的流程图。

首先，在操作s1010中，在拍摄有显示装置的拍摄内容中所包括的多个拍摄帧中识别预定图像。在操作s1020中，可以基于预定图像来获得指示与显示装置的显示器对应的区域的第一信息和指示在显示装置上显示预定类型的内容的时间点的第二信息。

第一信息可以对应于预定图像的区域。也就是说，其中存在预定图像的区域可以对应于其中将显示替换内容的区域。

或者，第一信息可对应于在预定图像中编码的图案。图案可以是qr码或条形码，其指示将在其中显示替换内容的区域。

第二信息可以对应于预定图像。预定图像可以具有形状、位置、颜色或其其他特性。形状、位置、颜色或其他特性可以对应于要显示预定类型的内容的时间点。例如，基于60fps的帧再现率，红色可以指示替换内容将被显示在10个帧中。或者，基于100fps的帧再现率，蓝色可以指示替换内容将被显示在20个帧中。

或者，第二信息可以对应于在预定图像中编码的图案。图案可以是qr码或条形码，其指示要显示预定类型的内容的时间点。当然，qr码或条形码可以指示各种再现信息中的任何一种以控制何时要显示替换内容，各种再现信息包括：紧接于在其处开始显示替换内容的预定图像之后的帧数；紧接于在其处终止显示替换内容的预定图像之后的帧数；要显示的替换内容的帧的数量；被拍摄成使得显示装置上的替换内容的长度可以与其他装置(例如电子记分板)上的原始内容的显示同步地协调的显示装置的帧速率等。

这里，还可以包括基于第一信息和第二信息将多个拍摄帧之中的至少一个拍摄帧中的与显示器对应的区域改变为其他内容的步骤。

在操作s1010中的识别步骤可以包括识别多个拍摄帧中的预定图像，并且在操作s1020中，服务器可以基于多个预定图像中的最初识别的预定图像和最后识别的预定图像来获得第二信息。

还可以包括将第一信息和第二信息发送到电子装置的步骤。

预定图像可以包括在多个识别帧中，并且包括在预定类型的内容中的多个内容帧中的至少一个内容帧可以以布置在多个识别帧之间的状态被显示。

图11是根据实施例的用于控制电子装置的方法的流程图。

首先，在操作s1110中，从服务器接收拍摄内容、指示拍摄内容中所包括的与显示装置的显示器对应的区域的第一信息、以及指示显示预定类型的内容的时间点的第二信息。在操作s1120中，基于第一信息和第二信息，将包括在拍摄内容中的多个拍摄帧之中的至少一个拍摄帧中的与显示器对应的区域改变为其他内容。

根据如上所述的各种实施例，显示装置包括内容中的识别帧并显示该识别帧，并且对应于显示器的区域可以从拍摄内容中容易地被识别，并且服务器或电子装置可以将识别的区域改变为其他内容。

如上所述的根据各种实施例的方法可以被实现为可以在任何电子显示装置中安装和执行的程序。

根据上述各种实施例的方法可以通过任何电子显示装置的软件升级或硬件升级来实现。

上述各种实施例可以通过电子装置中提供的嵌入式服务器或电子装置的外部服务器来执行。

根据本公开的公开内容，可以用包括存储在机器(例如，计算机)可读的机器可读存储介质中的指令的软件来实现如上所述的各种示例性实施例。根据一个或更多实施例，装置可从所述存储介质读取指令且根据所述读取指令执行。当处理器执行指令时，处理器可使用其他组件，直接执行或在处理器的控制下执行对应于指令的功能。指令可以包括由编译器生成或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性”仅表示存储介质不包括信号而是有形的，并且不区分数据半永久性地存储在存储介质中的情况与数据临时存储在存储介质中的情况。

根据本公开的一个或更多实施例，可以在计算机程序产品中提供方法。计算机程序产品可以作为商品在卖方和买方之间交换。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(cd-rom))的形式分发或通过应用商店(例如，playstore^tm)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时存储或至少临时存储在存储介质中，例如制造商的服务器、应用商店的服务器或中继服务器的存储器。

在各种实施例中，根据一个或更多实施例的元件中的每个(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述子元件的一些子元件，可以进一步包括这些元件。可替换地或附加地，一些元件(例如，模块或程序)可以被集成到一个实体中，以执行在集成之前由每个相应元件执行的相同或类似的功能。根据各种实施例，由模块、程序或其他元件执行的操作可以以并行、重复或试探的方式顺序地执行，至少一些操作可以以不同的顺序执行，可以被省略，或可以添加其他操作。

虽然已经参考某些附图示出和描述了各种实施例，但是本公开不限于特定实施例或附图，并且本领域的普通技术人员将理解，在不脱离例如由所附权利要求及其等同限定的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。