使用信号通知触觉交换文件格式的随机存取的方法与流程

本申请公开涉及一组先进的视频编码技术。更具体地，本申请公开涉及对用于多媒体呈现的触觉体验进行编码和解码。

背景技术：

1、触觉体验已经成为多媒体呈现的一部分。在多媒体呈现包括触觉体验的一个方面的应用中，触觉信号可以被传送到设备或可穿戴设备，并且用户可以在应用的使用期间感受到与视觉和/或音频媒体体验相协调的触觉感知。

2、认识到触觉体验在多媒体呈现中越来越受欢迎，运动图像专家组(mpeg)已经开始研究用于触觉的压缩标准(针对mpeg-dash(motion picture experts group-dynamicadaptive streaming over http，运动图像专家组-http动态自适应流媒体)和mpeg-i两者)，以及以基于iso(international organization for standardization，国际标准化组织)的媒体文件格式(iso based media file format，isobmff)传送压缩的触觉信号。

3、相关技术包括一种javascript对象标记(javascript object notation，json)格式和两种二进制格式。mpeg沉浸式触觉流(mpeg immersive haptic stream，mihs)二进制格式包括同步信令，其提供用于指定随机存取点的工具。然而，触觉委员会草案中定义的hjif文件格式不包括随机存取点的信令。

技术实现思路

1、根据实施例，可以提供一种用于解码触觉数据的方法。所述方法可以包括接收基于javascript对象标记(json)交换格式(hjif)的触觉数据；接收与全局触觉体验相关联的运动图像专家组触觉(mpeg_haptics)对象，hjif格式的mpeg触觉对象包括多个同步或重置点时间戳；基于hjif格式的触觉数据渲染效果；以及基于确定与全局触觉体验相关联的当前时间戳等于mpeg触觉对象中的重置点时间戳，重置渲染器的输出。

2、根据实施例，可以提供一种用于解码触觉数据的装置。所述装置可以包括：至少一个存储器，配置为存储程序代码；以及至少一个处理器，配置为读取程序代码并按照程序代码的指示操作。程序代码可以包括第一接收代码，配置为使至少一个处理器接收基于javascript对象标记(json)对象的交换格式(hjif)的触觉数据；第二接收代码，配置为使至少一个处理器接收与全局触觉体验相关联的运动图像专家组触觉(mpeg_haptics)对象，hjif格式的mpeg触觉对象包括多个同步或重置点时间戳；渲染代码，配置为使至少一个处理器基于hjif格式的触觉数据渲染效果；以及重置代码，配置为使至少一个处理器基于确定与全局触觉体验相关联的当前时间戳等于mpeg触觉对象中的重置点时间戳，重置渲染器的输出。

3、根据实施例，可以提供一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有计算机指令。所述指令可以包括一个或多个指令，所述一个或多个指令在由用于解码触觉数据的设备的一个或多个处理器执行时，使一个或多个处理器接收基于javascript对象标记(json)对象的交换格式(hjif)的触觉数据；接收与全局触觉体验相关联的运动图像专家组触觉(mpeg_haptics)对象，hjif格式的mpeg触觉对象包括多个同步或重置点时间戳；基于hjif格式的触觉数据渲染效果；以及基于确定与全局触觉体验相关联的当前时间戳等于mpeg触觉对象中的重置点时间戳，重置渲染器的输出。

技术特征：

1.一种用于解码触觉数据的方法，所述方法由至少一个处理器执行，所述方法包括：

2.根据权利要求1所述的方法，其中，所述重置渲染器的输出表示所述重置之后的效果独立于所述重置之前的效果。

3.根据权利要求1所述的方法，其中，所述mpeg触觉对象包括重置点时间戳数组，以及

4.根据权利要求3所述的方法，其中，所述整数数组中的整数的数量大于或等于零。

5.根据权利要求3所述的方法，其中，所述重置点时间戳指示所述渲染的输出被重置的时间。

6.根据权利要求5所述的方法，其中，所述mpeg触觉对象还包括时间刻度参数。

7.根据权利要求6所述的方法，其中，所述时间刻度参数指示所述重置点时间戳数组中的重置点时间戳的刻度，其中，所述刻度的单位为每秒刻度数，以及

8.一种用于解码触觉数据的装置，所述装置包括：

9.根据权利要求8所述的装置，其中，所述重置渲染器的输出表示所述重置之后的效果独立于所述重置之前的效果。

10.根据权利要求8所述的装置，其中，所述mpeg触觉对象包括重置点时间戳数组，以及

11.根据权利要求10所述的装置，其中，所述整数数组中的整数的数量大于或等于零。

12.根据权利要求10所述的装置，其中，所述重置点时间戳指示所述渲染的输出被重置的时间。

13.根据权利要求12所述的装置，其中，所述mpeg触觉对象还包括时间刻度参数。

14.根据权利要求13所述的装置，其中，所述时间刻度参数指示所述重置点时间戳数组中的重置点时间戳的刻度，其中，所述刻度的单位为每秒刻度数，以及

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有指令，所述指令包括：一个或多个指令，所述一个或多个指令在由用于解码触觉数据的设备的一个或多个处理器执行时，使所述一个或多个处理器：

16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述重置渲染器的输出表示所述重置之后的效果独立于所述重置之前的效果。

17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述mpeg触觉对象包括重置点时间戳数组，以及

18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述整数数组中的整数数量大于或等于零。

19.根据权利要求17所述的非暂时性计算机可读介质，其中，所述重置点时间戳指示所述渲染的输出被重置的时间。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述mpeg触觉对象还包括时间刻度参数。

技术总结
提供了用于触觉信号处理的方法、装置和系统。该处理可以包括接收基于JavaScript对象标记(JSON)的交换格式(HJIF)的触觉数据和接收与全局触觉体验相关联的运动图像专家组触觉(MPEG_haptics)对象，HJIF格式的MPEG触觉对象包括多个重置点时间戳。该处理可以包括基于HJIF格式的触觉数据渲染效果；并且可以包括基于确定与全局触觉体验相关联的当前时间戳等于MPEG触觉对象中的重置点时间戳来重置渲染器的输出。

技术研发人员：伊拉吉·索达加
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/8/21