专利名称：手语识别系统及方法
技术领域：
本发明涉及一种移动通信系统及方法，特别是关于一种应用于移动通信设备的手 语识别系统及方法。
背景技术：
移动通信设备(例如手机)是现代生活中必不可少的通信工具，人们可以通过拨 打电话或发送短信息进行相互沟通。当聋 人士想使用通信工具与对方通信时，他们通话 时可能采用手语进行进行交流；或者，当移动通信的一方不懂得对方的语言时，例如汉语使 用者不懂得俄语，他们通话时也可能采用手语进行交流。然而，一般的移动通信设备不具有 手语识别功能，从而使得聋哑人士或者不同语种人士无法利用移动通信设备进行有效地通 信，给他们在信息交流上带来不便。
发明内容
鉴于以上内容，有必要提供一种手语识别系统，能够对不同的手语进行识别，从而 方便聋 人士或者不同语种人士利用移动通信设备进行有效地通信。此外，还有必要提供一种手语识别方法，能够对不同的手语进行识别，从而方便聋 现人士或者不同语种人士利用移动通信设备进行有效地通信。一种手语识别系统，应用于移动通信设备。该移动通信设备通过网络与服务器连 接。所述的移动通信设备包括摄像单元、输入单元、显示单元以及手语识别单元。该手语识 别单元包括界面产生模块，用于产生一个操作手语识别功能的主菜单界面，并将该主菜单 界面显示在显示单元上；影像处理模块，用于当使用者选择主菜单界面的录像按钮时，控制 摄像单元摄取目标人物的人体影像，根据人体特征从人体影像中抽取手语数据，将抽取的 手语数据与移动通信设备的预设语言进行压缩并打包成手语数据包，将该手语数据包通过 网络发送给服务器进行手语解析并产生使用者可识别的手语识别信息；文本处理模块，用 于当使用者选择主菜单界面的文本输入按钮时，将使用者从输入单元输入的文本、接收方 的使用语言以及接收方号码进行压缩并打包成文本数据包，将该文本数据包通过网络发送 给服务器进行文本解析并产生接收方可识别的手语影像。一种手语识别方法，通过使用移动通信设备进行手语识别。该移动通信设备通过 网络与服务器连接，所述的移动通信设备包括摄像单元、输入单元以及显示单元。该方法 包括步骤产生一个用于操作手语识别功能的主菜单界面，并将该主菜单界面显示在显示 单元上；当移动通信设备的使用者选择主菜单界面的录像按钮时，执行步骤(al)至步骤 (a5) :(al)控制摄像单元摄取目标人物的人体影像；(U)根据人体特征从人体影像中抽取 手语数据；(a!3)将抽取的手语数据与移动通信设备的预设语言信息进行压缩并打包成手 语数据包；(a4)将手语数据包通过网络发送给服务器进行手语解析并产生使用者可识别 的手语识别信息；(a5)接收服务器产生的手语识别信息，并将手语识别信息显示在显示单 元上；当移动通信设备的使用者选择主菜单界面的文本输入按钮时，执行步骤(bl)至步骤(b3) :(bl)将使用者从输入单元输入的文本、接收方的使用语言以及接收方号码进行压缩 并打包成文本数据包；( )将该文本数据包通过网络发送给服务器进行文本解析并产生 接收方可识别的手语影像；(b!3)将该手语影像按照接收方号码发送到接收方的接收终端 上。 相较于现有技术，本发明所述的手语识别系统及方法，通过移动通信设备对不同 的手语进行识别，从而方便聋哑人士或者不同语种人士利用该移动通信设备进行有效地通
图1是本发明手语识别系统较佳实施例的架构图。
图2是本发明手语识别方法较佳实施例的流程图。
图3是主菜单界面的示意图。
图4是子菜单界面的示意图。
主要元件符号说明
移动通信设备1
手语识别单元10
界面产生模块101
影像处理模块102
文本处理模块103
摄像单元11
显示单元12
输入单元13
服务器2
手语分析单元21
文本分析单元22
数据库3
网络具体实施例方式如图1所示，是本发明手语识别系统较佳实施例的架构图。在本实施例中，所述 的手语识别系统应用于移动通信设备1，该移动通信设备1通过网络4与服务器2连接，该 服务器2连接有数据库3。该数据库3用于存储识别手语的手语事件标准以及文本解析标 准。所述的手语事件标准一般包括通用手语标准以及聋哑手语标准。例如，通用手语标准 包括正常人士用手势表示数字0-9对应的手语，聋哑手语标准包括聋哑人士用手势表示数 字0-9对应的手语。此外，所述的手语事件标准还可以为使用者自定义暗号事件，亦即使用 者可以定义人体肢体的某一个动作或姿势作为事件暗号，例如双手抱头表示“急救120”，以 及弯腰表示“火警119”等。所述的移动通信设备1包括手语识别单元10、摄像单元11、显示单元12以及输入 单元13。所述的手语识别单元10包括界面产生模块101、影像处理模块102以及文本处理模块103。所述的服务器2包括手语分析单元21以及文本分析单元22。所述的界面产生模块101用于产生一个操作手语识别功能的主菜单界面110以及 子菜单界面120，并将该主菜单界面110以及子菜单界面120显示在显示单元12上。参考 图3所示，主菜单界面110包括录像按钮111、文本输入按钮112以及界面退出按钮113。本 实施例中，当使用者选择录像按钮111时，则手语识别单元10启用影像处理模块102进行 影像手语识别；当使用者选择文本输入按钮112时，则手语识别单元10启用文本处理模块 103进行文本手语识别。参考图4所示，子菜单界面120包括文本输入框121、语言选择按 钮122、号码输入按钮123、文本解析按钮124以及界面返回按钮125。文本输入框121用 于供用户通过输入单元13输入文本以及接收方号码。语言选择按钮122用于选择接收方 的使用语言，例如汉语、英语、法语、德语以及俄语等国际语言。文本解析按钮1 用于将输 入文本、接收方号码以及接收方的使用语言发送给服务器3进行文本解析。界面返回按钮 125用于从子菜单界面120返回主菜单界面110。所述的影像处理模块102用于控制摄像单元11摄取目标人物的人体影像，根据人 体特征从人体影像中抽取手语数据。所述的手语数据包括手形、手势、头部、嘴巴、肩膀以及 面部表情等人体肢体语言数据。影像处理模块102还用于将抽取的手语数据与移动通信设 备1的预设语言信息进行压缩并打包成一个手语数据包，以及将该手语数据包通过网络4 发送给服务器2进行手语解析。所述的预设语言是使用者在使用移动通信设备1时设置的 使用语言，例如汉语、英语、法语、德语以及俄语等国际语言。所述的文本处理模块103用于将从文本输入框121输入的文本、接收方的使用语 言以及接收方号码进行压缩并打包成一个文本数据包，以及将该文本数据包通过网络4发 送给服务器2进行文本解析。所述的手语分析单元21当服务器报2接收到移动通信设备1发送过来的手语数 据包时，根据存储在数据库3中的手语事件标准解析手语数据包，并产生手语解析结果。该 手语分析单元21还用于根据移动通信设备1的预设语言将手语解析结果描述为使用者可 识别的手语识别信息，以及将手语识别信息通过网络4发送给移动通信设备1。例如，使用 者在使用移动通信设备1时设置的语言为汉语，手语分析单元21将手语解析结果用汉语描 述成移动通信设备1的使用者可识别的手语识别信息，使用者通过该手语识别信息即可了 解目标人物的手语或肢体语言。所述的文本分析单元22用于当服务器报2接收到移动通信设备1发送过来的文 本数据包时，根据存储在数据库3中的文本解析标准和接收方的使用语言解析文本数据 包，并产生文本解析结果。该文本分析单元22根据文本解析结果产生接收方可识别的手语 影像，将该手语影像按照接收方号码发送到接收方的接收终端上。由此，接收方可通过观看 接收终端的手语影像即可了解移动通信设备1的使用者所输入的文本意思，从而完成使用 者与接收方之间的相互沟通。如图2所示，是本发明手语识别方法较佳实施例的流程图。步骤S201，移动通信 设备1初始化手语识别单元10，该手语识别单元10包括界面产生模块101、影像处理模块 102以及文本处理模块103。界面产生模块101产生一个操作手语识别功能的主菜单界面 110，并将该主菜单界面110显示在显示单元20上。参考图3所示，主菜单界面110包括录 像按钮111、文本输入按钮112以及界面退出按钮113。
步骤S202，手语识别单元10判断使用者启用的是影像手语识别功能还是文本手 语识别功能。在本实施例中，如果使用者选择录像按钮111，则手语识别单元10启用影像处 理模块102进行影像手语识别；如果使用者选择文本输入按钮112，则手语识别单元10启 用文本处理模块103进行文本文本识别。步骤S203，当移动通信设备1的使用者选择录像按钮111时，影像处理模块102控 制摄像单元11摄取目标人物的人体影像。步骤S204，影像处理模块102根据人体特征从人 体影像中抽取手语数据。所述的手语数据包括手形、手势、头部、嘴巴、肩膀以及面部表情等 人体肢体语言数据。步骤S205，影像处理模块102将抽取的手语数据与移动通信设备1的 预设语言信息进行压缩并打包成一个手语数据包。所述的预设语言是使用者在使用移动通 信设备1时设置的使用语言，例如汉语、英语、法语、德语以及俄语等国际语言。如果使用者 在使用移动通信设备1时设置的语言为汉语，则影像处理模块102将手语数据与汉语信息 进行压缩并打包成手语数据包。步骤S206，影像处理模块102将该手语数据包通过网络4发送给服务器2。步骤 S207,当服务器2接收到移动通信设备1发送过来的手语数据包时，手语分析单元21根据 存储在数据库3中的手语事件标准解析接收到的手语数据包，并产生手语解析结果。本实 施例中，所述的手语事件标准一般包括通用手语标准以及聋哑手语标准。其中，通用手语标 准包括正常人士用手势表示数字0-9对应的手语，聋哑手语标准包括聋哑人士用手势表示 数字0-9对应的手语。此外，所述的手语事件标准还可以为一种使用者自定义暗号事件，亦 即使用者可以定义人体肢体的某一个动作或姿势作为事件暗号，例如双手抱头表示“急救 120”，以及弯腰表示“火警119”等。步骤S208，手语分析单元21根据移动通信设备1的预设语言将手语解析结果描述 为使用者可识别的手语识别信息。例如，使用者在使用移动通信设备1时设置的预设语言 为汉语，手语分析单元21将手语解析结果用汉语描述成移动通信设备1的使用者可识别的 手语识别信息。步骤S209，手语分析单元21将该手语识别信息通过网络4发送给移动通信 设备1，显示单元12显示该手语识别信息，该移动通信设备1的使用者即可了解目标人物的 手语或肢体语言。在上述步骤S202中，当移动通信设备1的使用者选择主菜单界面110中的文本 输入按钮112时，步骤S210，界面产生模块101产生一个操作文本识别功能的子菜单界面 120，并将该子菜单界面120显示在显示单元20上。参考图4所示，子菜单界面120包括文 本输入框121、语言选择按钮122、号码输入按钮123、文本解析按钮124以及界面返回按钮 125。步骤S211，使用者通过输入单元13在文本输入框121中输入文本以及接收方号 码，并通过语言选择按钮122选择接收方的使用语言。步骤S212，文本处理模块103将输入 文本、使用语言以及接收方号码进行压缩并打包成一个文本数据包。步骤S213，文本处理模 块103将该文本数据包通过网络4发送给服务器2。步骤S214，当服务器2接收到移动通 信设备1发送过来的文本数据包时，文本分析单元22根据存储在数据库3中的文本解析标 准和使用语言解析接收到的文本数据包，并产生文本解析结果。步骤S215，文本分析单元 21根据文本解析结果产生接收方可识别的手语影像。步骤S216，文本分析单元21将该手 语影像按照接收方号码发送到接收方的接收终端上。因此，接收方可通过接收终端观看手语影像即可了解移动通信设备1的使用者所输入的文本意思，从而完成使用者与接收方之 间的相互沟通。
权利要求
1.一种手语识别系统，应用于移动通信设备，该移动通信设备通过网络与服务器连接， 所述的移动通信设备包括摄像单元、输入单元以及显示单元，其特征在于，所述的手语识别 系统包括界面产生模块，用于产生一个操作手语识别功能的主菜单界面，并将该主菜单界面显 示在显示单元上，该主菜单界面包括一个录像按钮和一个文本输入按钮；影像处理模块，用于当移动通信设备的使用者选择录像按钮时，控制摄像单元摄取目 标人物的人体影像，根据人体特征从人体影像中抽取手语数据，将抽取的手语数据与移动 通信设备的预设语言进行压缩并打包成手语数据包，将该手语数据包通过网络发送给服务 器进行手语解析并产生移动通信设备的使用者可识别的手语识别信息；文本处理模块，用于当移动通信设备的使用者选择文本输入按钮时，将使用者从输入 单元输入的文本、接收方的使用语言以及接收方号码进行压缩并打包成文本数据包，将该 文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像。
2.如权利要求1所述的手语识别系统，其特征在于，所述的服务器连接有数据库，该数 据库用于存储手语事件标准以及文本解析标准，该手语事件标准包括通用手语标准以及聋 哑手语标准。
3.如权利要求2所述的手语识别系统，其特征在于，所述的服务器包括手语分析单元， 用于当服务器接收到手语数据包时，根据所述的手语事件标准解析手语数据包并产生手语 解析结果，根据移动通信设备的预设语言将手语解析结果描述为使用者可识别的手语识别 信息，以及将手语识别信息通过网络发送给移动通信设备。
4.如权利要求2所述的手语识别系统，其特征在于，所述的服务器包括文本分析单元， 用于当服务器接收到文本数据包时，根据所述的文本解析标准和接收方的使用语言解析文 本数据包并产生文本解析结果，根据生文本解析结果产生接收方可识别的手语影像，将该 手语影像按照接收方号码发送到接收方的接收终端上。
5.如权利要求1所述的手语识别系统，其特征在于，所述的界面产生模块还用于当使 用者选择主菜单界面的文本输入按钮时产生一个子菜单界面，该子菜单界面包括文本输入 框、语言选择按钮、号码输入按钮、文本解析按钮以及界面返回按钮。
6.一种手语识别方法，通过使用移动通信设备进行手语识别，该移动通信设备通过网 络与服务器连接，所述的移动通信设备包括摄像单元、输入单元以及显示单元，其特征在 于，该方法包括步骤产生一个用于操作手语识别功能的主菜单界面，并将该主菜单界面显示在显示单元 上，该主菜单界面包括一个录像按钮和一个文本输入按钮；当移动通信设备的使用者选择录像按钮时，执行步骤(al)至步骤(a5) (al)控制摄像单元摄取目标人物的人体影像； (a2)根据人体特征从人体影像中抽取手语数据；(a3)将抽取的手语数据与移动通信设备的预设语言进行压缩并打包成手语数据包； (a4)将手语数据包通过网络发送给服务器进行手语解析并产生使用者可识别的手语 识别信息；(a5)接收服务器产生的手语识别信息，并将手语识别信息显示在显示单元上； 当移动通信设备的使用者选择文本输入按钮时，执行步骤(bl)至步骤(b3)(bl)将使用者从输入单元输入的文本、接收方的使用语言以及接收方号码进行压缩并 打包成文本数据包；(b2)将该文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手 语影像；(b3)将该手语影像按照接收方号码发送到接收方的接收终端上。
7.如权利要求6所述的手语识别方法，其特征在于，所述的服务器连接有数据库，该数 据库用于存储手语事件标准以及文本解析标准，该手语事件标准包括通用手语标准以及聋 哑手语标准。
8.如权利要求7所述的手语识别方法，其特征在于，所述的步骤(a4)包括如下步骤 当服务器接收到手语数据包时，根据所述的手语事件标准解析手语数据包并产生手语解析结果；根据移动通信设备的预设语言将手语解析结果描述为移动通信设备的使用者可识别 的手语识别信息；将手语识别信息通过网络发送给该移动通信设备。
9.如权利要求7所述的手语识别方法，其特征在于，所述的步骤(b2)包括如下步骤 当服务器报接收到文本数据包时，根据所述的文本解析标准和接收方的使用语言解析文本数据包并产生文本解析结果；根据文本解析结果产生接收方可识别的手语影像。
10.如权利要求6所述的手语识别方法，其特征在于，该方法还包括如下步骤当使用者选择主菜单界面的文本输入按钮时产生一个子菜单界面，该子菜单界面包括 文本输入框、语言选择按钮、号码输入按钮、文本解析按钮以及界面返回按钮。
全文摘要
一种手语识别系统，应用于移动通信设备。该移动通信设备包括摄像单元、输入单元和显示单元。该手语识别系统包括界面产生模块、影像处理模块和文本处理模块。影像处理模块通过控制摄像单元摄取目标人物的人体影像，根据人体特征从人体影像中抽取手语数据，并将手语数据通过网络发送给服务器进行手语解析并产生使用者可识别的手语识别信息。文本处理模块将使用者输入的文本、接收方使用语言和接收方号码进行压缩并打包成文本数据包，将文本数据包通过网络发送给服务器进行文本解析并产生接收方可识别的手语影像。实施本发明，能够对不同手语进行识别，方便聋哑人士或者不同语种人士利用移动通信设备进行有效地通信。
文档编号H04M1/247GK102104670SQ200910311739
公开日2011年6月22日 申请日期2009年12月17日 优先权日2009年12月17日
发明者林永钏 申请人:奇美通讯股份有限公司, 深圳富泰宏精密工业有限公司