心、方块、梅花和无将NT)，1?7的数字，加上一些特殊的符号牌，如“PASS”、“X” (加倍)、“XX” (再加倍)和“STOP”等构成，如图1所示。桥牌叫牌卡片的外观比较规范化，不同厂家生产的牌基本上都一样。
[0044]在整个桥牌比赛过程中，所有的牌都必须放在推盘上，图3展示了两个不同厂家生产的推盘。每位牌手的牌只能放在推盘上固定的位置，图3中推盘上的4个矩形框就是每位玩家的放牌位置。在整个比赛过程中推盘在桌上会被移动，有时会发生一定角度的旋转。
[0045]2、摄像头视频流的获取
[0046]视频流的获取是利用摄像头的SDK文件，应用API从摄像头采集到一帧帧现场的原码流，再分离出视频流(原码流有音频流和视频流)，通过API解码得到YUV420格式的视频流。
[0047]YUV,分为三个分量，Y表示明亮度，也是灰度值；而U和V表示色度。YUV码流的采样方式有三种:YUV4: 4: 4，YUV4: 2: 2，YUV4: 2: 0，根据采样方式从码流中还原每个像素点的YUV值，图4直观的表示采样的方式，以黑点表示采样该像素点的Y分量，以空心圆圈表示采用该像素点的UV分量。本系统采用YUV420，YUV420对每行扫描线来说，只有一种色度分量以2: I的抽样率存储，进行隔行扫描，相邻的扫描行存储不同的色度分量。再把YUV420转化为RGB的图像。
[0048]3、推盘和放牌区的定位跟踪
[0049]在一张很大分辨率的图像中找到放牌区是非常困难的，如1920X1080中的放牌区是150X150。本发明在推盘上贴上若干易于定位和识别的特殊图案，通过识别定位这些特殊图案来定位放牌区。在推盘的放牌区分别贴上E、W、S、N四个字母的图案，在推盘的内部贴上1、2、3数字的图案，如图5所示。
[0050]任意两个数字连成的直线就可以构成一个极坐标系，如图5所示。比赛最开始的时候记录下4个字母在极坐标系中的角度和距离，在比赛过程中，无论推盘在图像中处于任何位置、任何角度，由于字母和数字之间的相对位置是不会变化，我们可以通过定位其中两个数字来定位其他字母，从而确定放牌区。
[0051]4、基于深度信念网络的叫牌卡片识别
[0052]深度信念网络(De印Belief Nets, DBN)是Hinton等人于2006年提出，并给出该模型的高效学习算法⑶-k。DBN是由若干个受限波尔兹曼(Restricted BlotzmannMachines，RBM)组成。RBM是一类具有两层结构、层间全连接、层内无连接的随机神经网络模型，如图6所示。RBM是一种有效的特征提取方法，DBN具有更强大的学习能力，能提取数据中复杂抽象的特征。
[0053]DBN的训练由低到高逐层训练RBM，每层之间的训练是相互独立:
[0054]I)底部RBM以输入原始数据训练
[0055]2)将底部RBM提取的特征作为下一层RBM的输入数据进行训练
[0056]本系统中分类模型是由两层RBM的深度信念网络和一层BP分类器构成。第一层RBM输入是样本数据二值化后连通块的像素值，样本二值化如图7所示。第一层RBM训练提取低级的特征，如边缘，轮廓，将提取的特征输入下一层RBM，第二层RBM提取更高级的特征，如目标的形状。再把提取的特征交给BP分类器建立分类模型。
[0057]5、系统运行界面显示
[0058]I)实施过程需要的设备:
[0059]一张桌子(上面有挡板和架子可以悬挂摄像头)，四个椅子(牌手使用)，摄像头，一条网线，一台电脑。
[0060]2)实时识别显示
[0061]启动系统后需要大概3min加载深度信念网络模型参数。系统启动后进入显示界面，如图8所示，最上面的显示为每位牌手当前出牌的英文显示，中间是每位牌手当前出牌的中文显示，最下面是每位牌手整个打牌过程的记录。图9展示了一个叫牌场景和系统自动识别的记录情况。图10是桥牌叫牌自动识别系统程序流程图。图11是基于深度信念网络的桥牌叫牌自动识别系统的摄像头A与电脑B的连接关系示意图。
[0062]本发明主要在于推盘和放牌区的定位跟踪，桥牌叫牌卡片的识别。
[0063]桥牌的定位跟踪是基于桥牌比赛的特定环境，提出了一种创新的桥牌定位方法。本发明设计了若干个特殊的图案并贴在比赛推盘上，通过对这些图案的识别，根据极坐标系原理定位放牌区，取得了较高的定位准确率。其次，将深度信念网络应用于桥牌卡片的识别，取得与人工识别相当的准确率。
[0064]本发明设计并识别特殊图案，建立极坐标系定位放牌区。
[0065]本发明的卡片识别是应用深度信念网络建立分类模型，深度信念网络有三层网络，两层RBM提取低级特征(边缘轮廓)和高级特征(图形形状)，最后一层是BP分类器进行特征分类。
【主权项】
1.基于深度信念网络的桥牌叫牌自动识别方法，其特征在于包括以下步骤: 1)利用摄像头获取叫牌过程的视频数据，通过网络将视频数据实时传至计算机； 2)应用图像处理技术定位推盘位置和放牌区； 3)接着建立深度信念网络模型进行叫牌卡片识别。
2.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤I)中，所述利用摄像头获取叫牌过程的视频数据的方法为:利用摄像头的SDK文件，应用API采集到现场的原码流并解码为YUV420格式的视频流，根据YUV转为RGB的公式把YUV420视频流转化为一帧帧的RGB图像。
3.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤2)中，所述应用图像处理技术定位推盘位置和放牌区的具体方法为:推盘和放牌区的定位跟踪是设计一图案并贴在推盘上，通过识别该图案建立极坐标系，根据该图案的初始化信息定位放牌区。
4.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤3)中，所述叫牌卡片识别的方法为:利用深度信念网络提取样本的特征，并交给BP分类器建立分类模型。
5.如权利要求1所述基于深度信念网络的桥牌叫牌自动识别方法，其特征在于在步骤3)中，叫牌的顺序和识别结果显示是在运行界面显示每位牌手当前叫牌卡片的中文和英文，每位牌手历史叫牌的记录。
6.基于深度信念网络的桥牌叫牌自动识别系统，其特征在于设有: 摄像头，摄像头用于获取自动实时识别和记录牌手叫牌过程的视频信号； 方形桌，方形桌中间设有挡板，用于隔开同一比赛队的两家牌手；方形桌桌面正上方安置摄像头； 推盘，推盘上贴有用于定位桥牌位置的若干个图案，推盘上设有4个矩形框，所述矩形框用于每位玩家的放牌位置；推盘在方形桌上可移动或旋转；推盘上设有放牌区，放牌区上分别贴上E、W、S、N四个字母的图案，在推盘的内部贴上1、2、3数字的图案； 叫牌卡片，叫牌卡片设有5种不同的花色、I?7的数字、符号牌；叫牌卡片放置在推盘上; 椅，为比赛牌手提供座位； 电脑，电脑通过网线与摄像头视频信号输出端连接。
7.如权利要求6所述基于深度信念网络的桥牌叫牌自动识别系统，其特征在于所述摄像头离方形桌桌面的距离为0.8?1.2m。
8.如权利要求6所述基于深度信念网络的桥牌叫牌自动识别系统，其特征在于所述5种不同的花色为黑桃、红心、方块、梅花和无将NT。
9.如权利要求6所述基于深度信念网络的桥牌叫牌自动识别系统，其特征在于所述符号牌采用PASS，X即加倍，XX即再加倍，STOP。
【专利摘要】基于深度信念网络的桥牌叫牌自动识别方法及识别系统，涉及图像识别。提供可自动准确实时地识别牌手的叫牌信息，无需改变牌手的传统叫牌习惯，实施成本低，且具有很好通用性的一种基于深度信念网络的桥牌叫牌自动识别方法。1)利用摄像头获取叫牌过程的视频数据，通过网络将视频数据实时传至计算机；2)应用图像处理技术定位推盘位置和放牌区；3)接着建立深度信念网络模型进行叫牌卡片的识别。基于深度信念网络的桥牌叫牌自动识别系统设有：摄像头、方形桌、推盘、叫牌卡片、椅、电脑，电脑通过网线与摄像头视频信号输出端连接。通过摄像头自动实时地识别和记录牌手的叫牌过程，可解放人力资源，同时减少因工作人员失误造成的错误。
【IPC分类】A63F1-06
【公开号】CN104874173
【申请号】CN201510269000
【发明人】罗林开, 章焱, 杨恒宝, 彭洪
【申请人】厦门大学
【公开日】2015年9月2日
【申请日】2015年5月25日