一种数据处理方法、智能设备及智能处理系统与流程

1.本发明涉及智能设备技术领域，尤指一种数据处理方法、智能设备及智能处理系统。


背景技术：

2.在视频通话场景中，参见图1所示，若摄像头a1与显示器a2分别独立设置时，分别与显示器a2和摄像头a1连接的服务器a3，需要从摄像头a1中拉取本地用户y1的视频数据，并且从云端服务器a4获取与本地用户y1通话的对方用户y2的视频数据，然后该服务器a3将各视频数据进行画面拼接，然后在显示器a2上进行显示，在图1中，虚线框1内所示的画面为本地用户y1的视频数据对应的画面，虚线框1之外的画面为对方用户y2的视频数据对应的画面，且对方用户y2具有2个，也即本地用户y1在与2个对方用户y2进行视频通话。
3.然而，因摄像头与显示器分别独立设置，若要提高视频通话质量，需要降低时延，即减少服务器从摄像头拉取视频数据至在显示器上进行显示之间的处理时间；同时，因摄像头与服务器之间的连接方式或摄像头种类的问题，可能会导致视频数据的传输距离较短，如20cm左右，如此，难以满足实际应用场景中的长距离传输的需求。
4.基于此，在视频通话场景，如何实现长距离、低时延的视频数据的传输，保证视频通话质量，满足应用需求，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明实施例提供了一种数据处理方法、智能设备及智能处理系统，用以在视频通话场景，实现长距离、低时延的视频数据的传输，从而保证视频通话质量，满足应用需求。
6.第一方面，本发明实施例提供了一种智能设备，包括：
7.显示器，被配置为显示画面；
8.信号转换器，被配置为：
9.在接收到图像采集设备发送的携带有第一视频数据的高清多媒体接口hdmi信号时，将所述hdmi信号转换为移动行业处理器接口mipi信号并传输至处理器；其中，所述第一视频数据为：所述图像采集设备采集到的且未压缩的视频数据；
10.所述处理器，被配置为：
11.根据所述mipi信号，确定所述第一视频数据；
12.根据所述第一视频数据确定出对应的第一待显示信号后，将所述第一待显示信号传输至所述显示器中，以使所述显示器根据所述第一待显示信号进行显示。
13.在某些实施例中，所述第一视频数据为：分辨率不小于超高清分辨率的视频数据。
14.在某些实施例中，在所述智能设备处于第一用户与第二用户之间的视频通话场景时，所述第一视频数据为：处于所述图像采集设备的采集范围内的所述第一用户对应的视频数据；
15.所述处理器，被配置为：
16.在获取到云端服务器发送的所述第二用户对应的第二视频数据时，对所述第一视频数据和所述第二视频数据进行画面拼接处理后，确定对应的第二待显示信号；
17.将所述第二待显示信号传输至所述显示器中，以使所述显示器根据所述第二待显示信号，在不同显示区域分别显示所述第一视频数据和所述第二视频数据。
18.在某些实施例中，所述处理器，被配置为：
19.获取所述云端服务器发送的携带有所述第二视频数据的数据包；
20.对所述数据包进行解码后，确定出所述第二视频数据。
21.在某些实施例中，所述信号转换器为现场可编辑门阵列fpga。
22.第二方面，本发明实施例提供了一种数据处理方法，包括：
23.接收携带有未压缩的第一视频数据的高清多媒体接口hdmi信号；
24.将所述hdmi信号转为移动行业处理器接口mipi信号；
25.根据所述mipi信号确定出所述第一视频数据时，确定所述第一视频数据对应的第一待显示信号；
26.根据所述第一待显示信号进行显示。
27.在某些实施例中，在应用至第一用户与第二用户之间的视频通话场景，且所述第一视频数据为：采集到的所述第一用户对应的视频数据时，还包括：
28.在获取到远程发送的所述第二用户对应的第二视频数据时，对所述第一视频数据和所述第二视频数据进行画面拼接处理后，确定对应的第二待显示信号；
29.根据所述第二待显示信号，在不同显示区域分别显示所述第一视频数据和所述第二视频数据。
30.第三方面，本发明实施例提供了一种智能处理系统，包括：如本发明实施例提供的上述智能设备、图像采集设备、以及连接所述智能设备与所述图像采集设备的高清多媒体接口hdmi数据线；
31.所述图像采集设备，被配置为：
32.将采集到的视频数据转换为对应的hdmi信号；
33.将所述hdmi信号通过所述hdmi数据线传输至所述智能设备中，以使所述智能设备在将所述hdmi信号转换为移动行业处理器接口mipi信号后显示所述视频数据。
34.在某些实施例中，所述图像采集设备包括摄像头，所述摄像头为具有mipi接口的超高清摄像头。
35.第四方面，本发明实施例提供了一种可读性存储介质，所述可读性存储介质存储有智能设备可执行指令，所述智能设备可执行指令用于使智能设备执行上述数据处理方法。
36.本发明有益效果如下：
37.本发明实施例提供的一种数据处理方法、智能设备及智能处理系统，在图像采集设备与智能设备分别独立设置时，图像采集设备可以向智能设备发送未压缩的第一视频数据，使得智能设备在接收到该第一视频数据时，无需再进行解码或解压缩处理，且可以根据第一视频数据进行显示，从而减少了因压缩和解压缩而消耗的时间，最大限度地降低了时延。并且，图像采集设备向智能设备发送的是hdmi信号，该hdmi信号不仅可以传输未压缩的视频数据，还可以实现长距离传输，例如20米以上，可以大大增加视频数据的传输距离，从
而实现了视频数据的长距离传输，满足了用户的需求，提高了用户的体验感受。
附图说明
38.图1为现有技术中用于实现视频通话的结构示意图；
39.图2为在视频通话场景下采用不同协议的视频数据处理过程的对比图；
40.图3为本发明实施例中提供的一种智能处理系统的结构示意图；
41.图4为本发明实施例中提供的一种智能设备的结构示意图；
42.图5为本发明实施例中提供的另一种智能处理系统的结构示意图；
43.图6为本发明实施例中提供的智能处理系统的工作流程示意图；
44.图7为本发明实施例中提供的一种数据处理方法的流程图。
具体实施方式
45.下面将结合附图，对本发明实施例提供的一种数据处理方法、智能设备及智能处理系统的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.发明人在研究中发现，以图1所示为例，在摄像头a1与显示器a2分别独立设置时，服务器a3若要从摄像头a1中拉取视频数据并在显示器a2上进行显示，可以涉及到以下几方面的内容：
47.一、所依据的接口和协议：
48.1、rj45接口和rtsp协议。
49.其中，rj45接口和rtsp协议对应的视频数据的格式可以为：h.265/h.264，且可以支持4k的超高清视频数据。
50.2、usb接口和uvc协议。
51.其中，usb接口和uvc协议对应的视频数据的格式可以为：yuv/mjpg/h.264/vp8，但不支持4k的超高清视频数据，这是由于在通过此种接口和协议进行传输时，无法满足传输4k@30fps视频数据所需的带宽和cpu资源占用的需求，从而无法支持4k数据的传输。
52.3、mipi接口和mipi协议。
53.其中，mipi接口和mipi协议对应的视频数据的格式可以为：yuv/rgb，且可以支持4k的超高清视频数据。
54.因此，基于上述分析，若要实现4k的超高清视频数据的传输，可以采用rj45接口和rtsp协议，或者mipi接口和mipi协议。
55.二、在视频通话场景时，不同协议的时延情况：
56.参见图2所示，在采用rtsp协议和uvc协议时，包括摄像头的图像处理端(图1中仅示出了摄像头)在通过摄像头采集到本地用户的4k视频数据之后，需要对采集到的4k视频数据进行编码(即由图2中的编码模块执行)，然后将编码后的数据传输至服务器端，服务器端一方面需要对图像处理端发送的数据进行解码处理(即由图2中的解码模块执行，并得到数据a)，另一方面需要从云端获取远程用户的视频数据，并对远程用户的视频数据进行解码后(即由图2中的解码模块执行，并得到数据b)，将数据a和数据b进行画面拼接处理后，形
成对应的待显示信号传输至显示器中，以使显示器进行显示。
57.例如，如图1中显示器的显示画面，即为画面拼接后的显示结果，其中远程用户具有2个(除虚线框1之外的用户)，这2个远程用户对应的数据b与本地用户(如虚线框1内所示的用户)对应的数据a同时在不同的显示区域进行显示。
58.在上述过程中，因图像处理端需要对本地用户的视频数据进行编码处理，服务器端需要进行解码处理得到本地用户的视频数据，使得处理时间较长，增加了处理时间，从而导致时延增加。
59.同样参见图2所示，在采用mipi协议时，图像处理端在通过摄像头采集到本地用户的4k视频数据之后，并不需要进行编码处理，而是可以直接将采集到的视频数据传输至服务器端，也即，传输的是未压缩的视频数据，相应地服务器端也不需要对本地用户的视频数据进行解码处理，所以可以减少因编码和解码所消耗的时间。
60.因此，采用rtsp协议时，4k@30fps视频数据的拉取及显示的时延在200ms以上；
61.采用uvc协议时，4k@30fps视频数据的拉取及显示的时延预估在200ms左右；
62.采用mipi协议时，4k@30fps视频数据的拉取及显示的时延在110ms到150ms范围内。
63.然而，虽然采用mipi协议时，即选用具有mipi接口的摄像头(简称为mipi摄像头)时，可以实现未压缩的原始的视频数据额传输，但是，mipi摄像头的传输距离较短(如20cm)，难以满足实际场景中长距离的需求。
64.因此，本发明实施例提供了一种智能处理系统，可以实现低时延的同时，实现长距离的数据传输，从而提高用户的体验感受，满足用户需求。
65.具体地，本发明实施例提供的一种智能处理系统，如图3所示，可以包括：智能设备20、图像采集设备10、以及连接智能设备20与图像采集设备10的高清多媒体接口hdmi数据线30；
66.图像采集设备10，被配置为：
67.将采集到的视频数据转换为对应的hdmi信号；
68.将hdmi信号通过hdmi数据线30传输至智能设备20中，以使智能设备20在将hdmi信号转换为移动行业处理器接口mipi信号后显示视频数据。
69.在本发明实施例中，在图像采集设备与智能设备分别独立设置时，图像采集设备可以向智能设备发送未压缩的第一视频数据，使得智能设备在接收到该第一视频数据时，无需再进行解码或解压缩处理，且可以根据第一视频数据进行显示，从而减少了因压缩和解压缩而消耗的时间，最大限度地降低了时延。并且，图像采集设备向智能设备发送的是hdmi信号，该hdmi信号不仅可以传输未压缩的视频数据，还可以实现长距离传输，例如20米以上，可以大大增加视频数据的传输距离，从而实现了视频数据的长距离传输，满足了用户的需求，提高了用户的体验感受。
70.在某些实施例中，如图3所示，图像采集设备10包括摄像头11，摄像头11为具有mipi接口的超高清摄像头。
71.如此，通过该摄像头可以采集到超高清的视频数据，从而有利于在智能设备中的显示器上显示超高清的画面，在满足用户对画面分辨率的要求的同时，还可以实现超高清视频数据的低时延和长距离的传输，提高用户的体验感受。
72.在某些实施例中，如图3所示，图像采集设备10还包括：与摄像头11和智能设备20连接的智感器12，该智感器12可以用于：将摄像头11采集到的超高清的视频数据转换为hdmi信号，并发送至智能设备20中。
73.如此，该智感器可以实现对数据的处理，以便于产生hdmi信号，进而有利于实现长距离的超高清数据的传输，例如hdmi 2.0可以达到18gbps，可以支持4k@60fps，使得摄像头的放置位置可以更远更广，从而满足用户对长距离传输的需求。
74.在具体实施时，在本发明实施例中，对于智能设备的设置，可以采用以下方式：
75.参见图4所示，智能设备20可以包括：
76.显示器23，被配置为显示画面；
77.信号转换器21，被配置为：
78.在接收到图像采集设备10发送的携带有第一视频数据的高清多媒体接口hdmi信号时，将hdmi信号转换为移动行业处理器接口mipi信号并传输至处理器22；其中，第一视频数据为：图像采集设备10采集到的且未压缩的视频数据；
79.处理器22，被配置为：
80.根据mipi信号，确定第一视频数据；
81.根据第一视频数据确定出对应的第一待显示信号后，将第一待显示信号传输至显示器23中，以使显示器23根据第一待显示信号进行显示。
82.如此，通过对智能设备的结构的设置，可以实现将图像采集设备输出的hdmi信号转换为mipi信号，以便于在传输视频数据时，实现长距离和低时延的传输目的，并且能够将第一视频数据在显示器上进行显示，从而实现了数据的传输和显示。
83.在某些实施例中，第一视频数据为：分辨率不小于超高清分辨率的视频数据。
84.也就是说，即使在传输超高清的视频数据，即4k数据时，同样可以实现长距离和低时延的传输，从而提高用户的体验感受。
85.在某些实施例中，智能处理系统可以应用至满足以下条件的应用场景中：
86.1、图像采集设备与智能设备分别独立设置；
87.2、智能设备需要从图像采集设备中拉取本地用户的视频数据，并在处理之后进行显示。
88.其中，本地用户可以理解为：处于图像采集设备中的摄像头的采集范围的用户。
89.也就是说，只要应用场景可以满足上述条件，均属于本发明实施例需要保护的范围，所以对于具体的应用场景，在此并不限定。
90.因此，以该智能处理系统应用至视频通话场景中为例，此时：
91.在某些实施例中，在智能设备处于第一用户与第二用户之间的视频通话场景时，第一视频数据为：处于图像采集设备的采集范围内的第一用户对应的视频数据；
92.处理器，被配置为：
93.在获取到云端服务器发送的第二用户对应的第二视频数据时，对第一视频数据和第二视频数据进行画面拼接处理后，确定对应的第二待显示信号；
94.将第二待显示信号传输至显示器中，以使显示器根据第二待显示信号，在不同显示区域分别显示第一视频数据和第二视频数据。
95.如此，在智能设备中的处理器还获取到第二用户(即远程用户)对应的第二视频数
据时，可以将第一视频数据和第二视频数据进行画面拼接处理后，在显示器的不同显示区域分别显示第一视频数据和第二视频数据，此时对于第一用户(即本地用户)而言，可以通过显示器看到自己的画面(即第一视频数据对应的画面)，还可以通过显示器同时看到通话对方的画面(即第二视频数据对应的画面)，从而实现视频通话过程。
96.当然，对于第一视频数据和第二视频数据的画面拼接处理过程，可以参见现有技术，在此不再详述。
97.在某些实施例中，处理器，被配置为：
98.获取云端服务器发送的携带有第二视频数据的数据包；
99.对数据包进行解码后，确定出第二视频数据。
100.其中，在实际情况中，第二视频数据是通过云端服务器传输的，所以智能处理系统的结构如图5所示，还可以包括：云端服务器40，与智能设备20中的处理器22连接，用于传输第二用户的第二视频数据，以便于实现第一用户与第二用户之间的视频通话。
101.并且，通过云端服务器传输的数据可以是编码后的数据，以便于数据的有效传输，因此，智能设备中的处理器若要获取第二视频数据，需要对携带有第二视频数据的数据包进行解码处理，从而获取到第二视频数据。
102.同时，说明一点，从图像采集设备中确定出的第一视频数据，同样需要上传至云端服务器，以便于第二用户通过显示器可以看到与第一用户进行视频通话的画面。
103.也就是说，从第一用户所在的空间位置考虑时，第一用户可以理解为本地用户，而第二用户可以理解为远程用户；若从第二用户所在的空间位置考虑时，第二用户可以理解为本地用户，第一用户可以理解为远程用户。
104.因此，通过云端服务器和智能设备，可以实现本地用户与远程用户之间的视频通话，从而满足用户之间的视频通话需求。
105.在实际情况中，以从第一用户所在的空间位置考虑为例，为了便于第一用户更加清楚地知道第二用户的通话内容，除了可以显示第二视频数据对应的画面之外，还可以显示与第二视频数据对应的字幕数据，因此：
106.在某些实施例中，处理器，被配置为：
107.在获取到云端服务器发送的第二视频数据对应的字幕数据时，确定字幕数据对应的第三待显示信号并传输至显示器中，以使显示器在显示第二视频数据的显示区域内显示字幕数据。
108.因此，通过显示器上显示第二视频数据和对应的字幕数据，当第二用户说话不清晰而无法听清第二用户的通话内容时，可以通过显示字幕，使得第一用户知道第二用户的通话内容，从而可以提高第一用户和第二用户之间的通话质量，提高用户的体验感受。
109.当然，在云端服务器与智能设备之间传输字幕数据时，同样可以通过数据包进行传输，例如：
110.1、云端服务器发送的数据包中包括第二视频数据和对应的字幕数据；
111.2、云端服务器发送的数据包中仅包括第二视频数据或字幕数据，且携带第二视频数据的数据包和携带字幕数据的数据包中均携带有相同的标识信息，以便于智能设备可以确定出第二视频数据与字幕数据之间的对应关系，以免出现显示混乱。
112.因此，不管是上述哪种方式传输第二视频数据和对应的字幕数据，可以根据实际
的应用场景、数据传输协议等因素进行选择，在此并不限定。
113.在某些实施例中，信号转换器可以设置为现场可编辑门阵列fpga。
114.当然，信号转换器的实现方式，并不限于fpga，还可以是本领域技术人员所熟知的其他可以实现信号转换器功能的结构，在此并不限定。
115.并且，对于处理器和智感器而言，可以采用本领域技术人员所熟知的任何可以实现处理器和智感器功能的结构，对于处理器和智感器的具体实现方式，在此并不限定。
116.需要说明的是，在本发明实施例中，若智能设备中的处理器采用nvidia xavier agx开发平台来实现时，所需要的处理时间可以为3-5ms；
117.若智能设备中的信号转换器采用fpga来实现时，所需要的处理时间可以为1-2ms；
118.若图像采集设备中的摄像头采用支持4k@30fps且具有mipi接口的摄像头时，所需要的处理时间可以为33ms；
119.若图像采集设备中的智感器采用海思3559的开发平台来实现时，所需要的处理时间可以为3-5ms，且该智感器在得到hdmi信号且输出时，所需要的处理时间可以为1-2ms；
120.如此，将上述处理时间累加，使得第一视频数据的拉取和显示的时延可以减少至50ms左右，同时，虽然图像采集设备与智能设备分别独立设置，但二者之间传输的是hdmi信号，可以通过hdmi数据线进行传输，且hdmi数据线不仅可以传输未压缩的原始数据，还可以实现长距离的传输，从而最终可以实现视频数据的长距离、低时延传输，大大提高了用户的体验感受。
121.并且，还需要说明的是，在本发明实施例中，智能设备、以及智能处理系统，除了上述内容中的介绍的结构之外，还可以包括其他可以实现智能设备功能和智能处理系统功能的结构，具体可参见现有技术，在此不再详述。
122.此外，在本发明实施例中，若要实现第一视频数据的有效传输，可以首先建立一条传输路径，即管道指令，具体的管道指令可以但不限于为：
123.gst-launch-1.0nvarguscamerasrc！'video/x-raw(memory:nvmm),width＝3840,height＝2160,framerate＝21/1,format＝nv12'！nvvidconv！'video/x-raw,width＝960,height＝616'！nvvidconv！nvegltransform！nveglglessink
–
e。
124.其中，“gst-launch-1.0nvarguscamerasrc”可以理解为：用于表示摄像头的型号等信息；
[0125]“'video/x-raw(memory:nvmm),width＝3840,height＝2160,framerate＝21/1,format＝nv12'”可以理解为：用于表示根据采集到的第一视频数据，确定出对应的hdmi信号且进行传输的指令的信息；
[0126]“nvvidconv！'video/x-raw,width＝960,height＝616'”可以理解为：用于表示显示转换指令，即将4k信号转换成普通分辨率的信号；
[0127]“nvvidconv！nvegltransform！nveglglessink
–
e”可以理解为：用于表示显示转换指令，即将普通分辨率的信号转换成与显示器的显示分辨率相适配的信号。
[0128]
因此，通过上述管道指令的设置，可以有效实现低时延、长距离的超高清的视频数据的传输，提高用户的体验感受。
[0129]
下面通过具体实施例，对上述图像处理系统的具体工作过程进行说明。
[0130]
以图5所示结构为例，结合图6所示的流程图。
[0131]
s601、摄像头采集本地用户的第一视频数据；
[0132]
s602、智感器对第一视频数据进行处理，得到携带有第一视频数据的hdmi信号；
[0133]
s603、信号转换器将hdmi信号转换成mipi信号；
[0134]
s604、处理器根据mipi信号确定出第一视频数据；
[0135]
s605、处理器在通过云端服务器接收到携带有远程用户的第二视频数据和对应的字幕数据的数据包，且对数据包进行解码处理，得到第二视频数据和对应的字幕数据时，将第一视频数据、第二视频数据和字幕数据进行画面拼接处理，得到对应的待显示信号；
[0136]
s606、显示器根据待显示信号进行显示，使得在不同的显示区域，分别显示第一视频数据和第二视频数据，且第二视频数据与对应的字幕数据在同一显示区域进行显示。
[0137]
其中，在实际情况中，对于第一视频数据和第二视频数据对应的显示区域的分布位置，可以根据实际需要随意设置，只要能够显示出第一视频数据和第二视频数据对应的画面即可。
[0138]
基于同一发明构思，本发明实施例提供了一种智能设备，该智能设备的具体实现方式可参见上述内容中智能设备的实施例，重复之处不再赘述。
[0139]
具体地，本发明实施例提供的一种智能设备，如图4所示，可以包括：
[0140]
显示器23，被配置为显示画面；
[0141]
信号转换器21，被配置为：
[0142]
在接收到图像采集设备10发送的携带有第一视频数据的高清多媒体接口hdmi信号时，将hdmi信号转换为移动行业处理器接口mipi信号并传输至处理器22；其中，第一视频数据为：图像采集设备10采集到的且未压缩的视频数据；
[0143]
处理器22，被配置为：
[0144]
根据mipi信号，确定第一视频数据；
[0145]
根据第一视频数据确定出对应的第一待显示信号后，将第一待显示信号传输至显示器23中，以使显示器23根据第一待显示信号进行显示。
[0146]
在某些实施例中，第一视频数据为：分辨率不小于超高清分辨率的视频数据。
[0147]
在某些实施例中，在智能设备处于第一用户与第二用户之间的视频通话场景时，第一视频数据为：处于图像采集设备的采集范围内的第一用户对应的视频数据；
[0148]
处理器，被配置为：
[0149]
在获取到云端服务器发送的第二用户对应的第二视频数据时，对第一视频数据和第二视频数据进行画面拼接处理后，确定对应的第二待显示信号；
[0150]
将第二待显示信号传输至显示器中，以使显示器根据第二待显示信号，在不同显示区域分别显示第一视频数据和第二视频数据。
[0151]
在某些实施例中，处理器，被配置为：
[0152]
获取云端服务器发送的携带有第二视频数据的数据包；
[0153]
对数据包进行解码后，确定出第二视频数据。
[0154]
在某些实施例中，信号转换器为现场可编辑门阵列fpga。
[0155]
基于同一发明构思，本发明实施例提供了一种数据处理方法，应用于智能设备一侧，如图7所示，可以包括：
[0156]
s701、接收携带有未压缩的第一视频数据的高清多媒体接口hdmi信号；
[0157]
s702、将hdmi信号转为移动行业处理器接口mipi信号；
[0158]
s703、根据mipi信号确定出第一视频数据时，确定第一视频数据对应的第一待显示信号；
[0159]
s704、根据第一待显示信号进行显示。
[0160]
其中，显示器可以为任何具有显示功能的结构，例如但不限于为电视等。
[0161]
在某些实施例中，在应用至第一用户与第二用户之间的视频通话场景，且第一视频数据为：采集到的第一用户对应的视频数据时，还包括：
[0162]
在获取到远程发送的第二用户对应的第二视频数据时，对第一视频数据和第二视频数据进行画面拼接处理后，确定对应的第二待显示信号；
[0163]
根据第二待显示信号，在不同显示区域分别显示第一视频数据和第二视频数据。
[0164]
基于同一发明构思，本发明实施例提供了一种可读性存储介质，可读性存储介质存储有智能设备可执行指令，智能设备可执行指令用于使智能设备执行上述数据处理方法。
[0165]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。