一种数字书画方法及装置制造方法
【专利摘要】本发明涉及一种数字书画方法及装置，数字书画方法包括以下步骤：首先书画笔发出光线，在投影图上形成光斑,所述书画笔书写或绘画,所述光斑在所述投影图上移动；按照预定频率拍摄所述投影图确定所述光斑的位置并确定光斑运动轨迹；实时连续叠加所述多幅单帧拍摄图像，得到笔迹图像，包含笔迹像素点和非笔迹像素点；在背景图上，将所述笔迹像素点填充,对所述非笔迹像素点则不填充，由此形成第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理确定为第二填充图；按照指定格式将所述第一填充图、第二填充图融合成数字格式图并连续输出;连续显示所述数字格式图。与之对应的涉及一种数字书画装置完成书画创作。
【专利说明】—种数字书画方法及装置
【技术领域】
[0001]本发明涉及一种书画方法及装置，尤其涉及一种数字书画方法及装置。
【背景技术】
[0002]现有数字书画产品有电子白板和手写板。电子白板目前已发展到交互式电子白板，可以作为PC白板使用，将电子白板与PC相连，此时的电子白板就相当于一个面积特别大的手写板，可以在上面任意书写、绘画并即时的在PC上显示，文件保存为图形文件，交互式电子白板一般需要一个专用的应用程序支持。市场上出现的手写板，其作用和键盘类似，基本上只局限于输入文字或者绘画，也带有一些鼠标的功能；在手写板的日常使用上，除用于文字、符号、图形等输入外，还可提供光标定位功能，从而手写板可以同时替代键盘与鼠标，成为一种独立的输入工具。例如，上海科技馆2010年申请了一种虚拟绘画实现的装置及其方法的专利(申请号:201010206150.X)，介绍了一种虚拟绘画实现的装置及其方法。海尔集团公司、海尔集团技术研发中心2011年申请了触控绘画处理系统及方法的专利(申请号:201110001617.1)，该发明系统地介绍了触控绘画处理系统及方法。乐金电子(中国)研究开发中心有限公司2010年申请了基于触控面板的书法练习方法、书法练习装置及触控笔的专利(申请号:201010193369.0)，该发明涉及了基于触控面板的书法练习方法、书法练习装置及触控笔。中国科学院合肥物质科学研究院2011年申请了一种基于力信息的毛笔书法表达方法的专利(申请号:201110360097.3)，该发明采用三维力传感器来获取毛笔笔毫与纸张平面接触产生的三维手写力矢量信息，即当有毛笔手写过程发生时，三维力传感器可以实时的感知和输出作用在其上的三维手写动态力信息变化。
[0003]然而，本发明数字书画方法及装置与上述发明显著区别的地方是，本发明实现的方法是在发明专利201210348567.9的书写装置的基础上，通过发光笔发出光信号，经由主控系统进行图像采集与识别、跟踪，最后实时地在数字显示器上输出数字书画影像。
【发明内容】
[0004]本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种数字书画方法及装置。
[0005]本发明解决其技术问题所采用的技术方案是:一种数字书画方法，包括以下步骤；
[0006]S1、在指定位置上投影得到投影图，书画笔发出光线，在所述投影图上书写或绘画形成光斑；
[0007]S2、按照预定频率拍摄所述投影图形成多幅单帧拍摄图像，实时确定所述光斑的位置并通过连续跟踪所述光斑的位置来确定光斑运动轨迹；
[0008]S3、实时连续叠加所述多幅单帧拍摄图像，得到笔迹图像，所述笔迹图像中包含笔迹像素点和非笔迹像素点；
[0009]S4、将所述笔迹图像叠加于预设的背景图之上，即将所述笔迹像素点填充至所述背景图中并涂成预定颜色，对所述非笔迹像素点不填充，由此形成第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将所述平移后的图像确定为第二填充图；
[0010]S5、按照指定格式将所述第一填充图、第二填充图融合成数字格式图并连续输出；
[0011]S6、连续显示所述数字格式图，形成数字书画图像。
[0012]优选地，所述步骤S2中，确定所述光斑的位置的具体操作为:提取所述每幅单帧摄制图像中所有像素点的RGB值，对所述单帧摄制图像中所有像素点的RGB值进行灰度化，根据预设的灰度化阈值，进行灰度化阈值分割操作，提取灰度大于所述灰度化阈值的像素点，并将这些灰度大于所述灰度化阈值的像素点的位置确定为所述光斑的位置。
[0013]优选地，所述步骤S2中，连续跟踪所述光斑位置的具体操作为:在所拍摄得到的所述单帧拍摄图像的相邻帧拍摄图像中，以当前所述光斑的位置为起始位置，就近提取强度大于所述灰度化阈值的连通域，以此跟踪所述光斑的位置。
[0014]优选地,所述指定格式是指side-by-side格式或者dot-by-dot格式。
[0015]一种数字书画装置，包括书画笔、投影机、投影屏幕、具有双摄像头的拍摄系统、主控系统、数字显示器，所述主控系统与所述投影机、拍摄系统、数字显示器电性连接；
[0016]所述书画笔用于发出光线，在投影图上形成光斑；
[0017]所述投影机用于在所述投影屏幕上投影得到所述投影图；
[0018]所述投影屏幕用于供所述书画笔发出光线在所述投影图上形成光斑；
[0019]所述拍摄系统用于按照预定频率拍摄所述投影图形成多幅单帧拍摄图像；
[0020]所述主控系统用于实时确定所述光斑的位置并通过连续跟踪所述光斑位置来确定光斑运动轨迹；实时连续叠加所述多幅单帧拍摄图像，得到笔迹图像，所述笔迹图像中包含笔迹像素点和非笔迹像素点；将所述笔迹图像叠加于预设的背景图之上，所述笔迹像素点填充至所述背景图中并涂成预定颜色，对所述非笔迹像素点不填充，由此形成第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将所述平移后的图像确定为第二填充图；按照指定格式将所述第一填充图、第二填充图融合成数字格式图并连续输出；
[0021 ] 所述数字显示器用于连续显示所述数字格式图，形成数字书画图像。
[0022]优选地，所述书画笔包括光纤笔头、沿着所述光纤笔头延伸的笔管和笔帽，在所述笔管靠近光纤笔头的一端内置有光源，在所述笔管的中间内置有控制电路，在所述笔管的另一端内置有电池，所述控制电路与所述光纤笔头、光源、电池电性连接，所述光源用于发出光线，所述电池用于为所述书画笔提供电能，所述控制电路用于控制所述光源发光。
[0023]优选地，所述主控系统包括光斑定位模块、实时叠加模块、填充平移模块、融合模块和输出模块；
[0024]所述光斑定位模块用于实时确定所述光斑的位置并通过连续跟踪所述光斑位置来确定所述光斑运动轨迹；
[0025]所述实时叠加模块实时连续叠加所述多幅单帧拍摄图像，得到所述笔迹图像，所述笔迹图像中包含笔迹像素点和非笔迹像素点；
[0026]所述填充平移模块用于将所述笔迹图像叠加于预设的背景图之上，即将所述笔迹像素点填充至所述背景图中并涂成预定颜色，对所述非笔迹像素点不填充，由此形成所述第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将所述平移后的图像确定为所述第二填充图；
[0027]所述融合模块用于按照指定格式将所述第一填充图、第二填充图融合成数字格式图；
[0028]所述输出模块用于连续输出所述数字格式图。
[0029]优选地，所述光源为LED红外灯。
[0030]优选地，所述电池为锂电池。
[0031]实施本发明的有益效果是:通过发光笔发出光信号，经由主控系统进行图像采集与识别、跟踪、修补、填充平移、融合，最后实时地在数字显示器上输出数字书画影像，创新性强，充分展示了科技与艺术的融合，技术复杂度高。
【专利附图】
【附图说明】
[0032]下面将结合附图及实施例对本发明作进一步说明，附图中:
[0033]图1是本发明一种数字书画方法及装置的方法实施例的流程图；
[0034]图2-3是本发明一种数字书画方法及装置的方法实施例中光斑定位的示意图；
[0035]图4-5是本发明一种数字书画方法及装置的方法实施例中笔迹修补的示意图，图4为修补前，图5为修补后；
[0036]图6是本发明一种数字书画方法及装置的产品实施例的结构示意图；
[0037]图7是本发明一种数字书画方法及装置的产品实施例中书画笔的结构示意图。
【具体实施方式】
[0038]方法实施例
[0039]如图1所示，一种数字书画方法，包括以下步骤；
[0040]S1、在指定位置上投影得到投影图，书画笔发出光线，在投影图上形成光斑，书画笔书写或绘画，光斑在投影图上移动；
[0041]S2、按照预定频率拍摄投影图形成多幅单帧拍摄图像，实时确定光斑的位置并通过连续跟踪光斑位置来确定光斑运动轨迹；
[0042]S3、实时连续叠加多幅单帧拍摄图像，得到笔迹图像，笔迹图像中包含笔迹像素点和非笔迹像素点；
[0043]S4、将笔迹图像叠加于预设的背景图之上，即将笔迹像素点填充至背景图中并涂成预定颜色，对非笔迹像素点不填充，由此形成第一填充图；将第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将平移后的图像确定为第二填充图；
[0044]S5、按照指定格式将第一填充图、第二填充图融合成数字格式图并连续输出；
[0045]S6、连续显示数字格式图，形成数字书画图像。
[0046]优选地，步骤S2中，确定光斑位置的具体操作为:提取每幅单帧摄制图像中所有像素点的RGB值，对单帧摄制图像中所有像素点的RGB值进行灰度化，根据预设的灰度化阈值，进行灰度化阈值分割操作，提取灰度大于灰度化阈值的像素点，并将这些点灰度大于灰度化阈值的像素的位置确定为光斑的位置。[0047]优选地，如图2-3所示，步骤S2中，连续跟踪光斑位置的具体操作为:在所拍摄得到的单帧拍摄图像的相邻帧拍摄图像中，以当前光斑的位置为起始位置，就近提取强度大于灰度化阈值的连通域，以此跟踪光斑的位置。
[0048]在这个过程中，为了真实的还原用户的书画笔迹，增强书画体验，需确定光斑的位置，即进行光斑定位。
[0049]光斑定位在于通过采集的数据，精确地计算出光斑位置，实时跟踪、定位光斑，使用户书写、绘画时在数字显示器上均能连续、快速的显示光斑位置。
[0050]按屏幕上光斑的数量进行划分，光斑定位技术可分为单点定位和多点定位技术，单点定位技术是指针对一个光斑的定位技术，多点定位是指针对多个光斑的定位技术；按是否接触屏幕划分，光斑定位技术可分为接触式定位和非接触式定位技术，接触式定位技术是指光斑通过接触屏幕进行定位的技术，非接触式定位技术是指光斑不通过接触屏幕进行定位的技术。
[0051]本实施例针对上述两种划分情况，重点研究非接触式单点定位技术，将光斑定位技术与数字技术融合，以实现数字化互动。
[0052]优选地，如图4-5所示，需要确定在这个过程中笔迹是否有间断，有间断需要进行修补，其具体操作为:判断相邻帧拍摄图像中笔迹是否有间断，若有间断，继续判断笔迹的间断距离是否小于预设的临界值，若笔迹间断距离小于该临界值，则在历史笔迹与当前笔迹的重心连线的方向上，连续复制当前笔迹至间断处，使得间断部分得到连接、补充，从而修补断笔；若笔迹间断距离大于或等于该临界值，则不予以修补。
[0053]笔迹修复是本实施例的一大突出技术特征，不仅能实时再现笔迹，而且能对笔迹进行一定的修补，在确定间断部分是断笔的情况下对一些不太理想的断笔进行的修补体现了本方法跟随智能化的趋势。
[0054]优选地，指定格式是指side-by-side格式或者dot-by-dot格式。
[0055]本实施例为配合数字显示器的需要，数字格式指定为side-by-side格式或者dot-by-dot格式，可以理解的是，根据本发明的思路，将数字格式图指定为其它格式也在本发明的范围之内。
[0056]在现实中，进行书画创作时，笔作用于纸上，在笔迹的边缘通常都会出现一种浸润的效果，即笔迹的颜色由浓变淡，依次向外渗透，给人一种渐变的视觉感受。
[0057]为了真实模拟书画创作时笔作用于纸上的浸润效果，本实施例还重点研究边缘弱化技术，针对笔迹边缘，弱化边缘颜色，由深变浅、由浓变淡、依次渐变，最终形成浸润效果。
[0058]产品实施例
[0059]一种数字书画装置，如图6所示，包括书画笔100、投影机200、投影屏幕300、具有双摄像头的拍摄系统400、主控系统500、数字显示器600，主控系统500与投影机200、拍摄系统400、数字显示器600电性连接；
[0060]书画笔100用于发出光线，在投影图上形成光斑；
[0061]投影机200用于在投影屏幕300上投影得到投影图；
[0062]投影屏幕300用于供书画笔100发出光线在投影图上书写或绘画形成光斑；
[0063]拍摄系统400用于按照预定频率拍摄投影图形成多幅单帧拍摄图像；
[0064]拍摄系统400用于拍摄光斑运动轨迹形成单帧拍摄图像；由于摄像头分辨率大小不一，针对不同的摄像头，在细腻程度上，最终呈现在用户眼前的笔迹可能会存在不一样的效果。一般而言，当摄像头的分辨率较大时，观看到的轨迹较光滑；当摄像头的分辨率较小时，观看到的轨迹较粗糙，在画面上可能会出现明显的锯齿。
[0065]鉴于此，本实施例不仅采用分辨率较大的摄像头，而且采用锯齿消除技术，当摄像头固定时，对笔迹边缘进行锯齿消除操作，对照操作前后，使用户可明显感觉出锯齿改良的效果。
[0066]主控系统500可以是计算机的CPU，用于实时确定光斑的位置并通过连续跟踪光斑的位置来确定光斑运动轨迹；实时连续叠加多幅单帧拍摄图像，得到笔迹图像，笔迹图像中包含笔迹像素点和非笔迹像素点；将笔迹图像叠加于预设的背景图之上，即将笔迹像素点填充至背景图中并涂成预定颜色，对非笔迹像素点不填充，由此形成第一填充图；将第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将平移后的图像确定为第二填充图；按照指定格式将第一填充图、第二填充图融合成数字格式图并连续输出；
[0067]数字显示器600用于连续显示数字格式图，形成数字书画图像。
[0068]数字显示器600用于显示主控系统500输出的数字格式图，用户就可以实时地观看到创作出来的立体书画作品。
[0069]优选地，如图7所示，书画笔100包括光纤笔头101、沿着光纤笔头101延伸的笔管102和笔帽103，在笔管102靠近光纤笔头101的一端内置有光源105，在笔管102的中间内置有控制电路106，在笔管102的另一端内置有电池107，控制电路106与光纤笔头101、光源105、电池107电性连接，光源105用于发出光线，电池107用于为书画笔100提供电能，控制电路106用于控制光源105发光。
[0070]优选地，主控系统500包括光斑定位模块501、实时叠加模块502、填充平移模块503、融合模块504和输出模块505 ；
[0071]光斑定位模块501用于实时确定光斑的位置并通过连续跟踪光斑的位置来确定光斑运动轨迹；
[0072]实时叠加模块502实时连续叠加多幅单帧拍摄图像，得到笔迹图像，笔迹图像中包含笔迹像素点和非笔迹像素点；
[0073]填充平移模块503用于将笔迹图像叠加于预设的背景图之上，即将笔迹像素点填充至背景图中并涂成预定颜色，对非笔迹像素点不填充，由此形成第一填充图；将第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将平移后的图像确定为第二填充图；
[0074]融合模块504用于按照指定格式将第一填充图、第二填充图融合成数字格式图；
[0075]输出模块505用于连续输出数字格式图。
[0076]优选地，光源105为LED红外灯。
[0077]优选地，电池107为锂电池。
[0078]主控系统500是本发明装置的核心部件，主控系统500要对书画笔100、投影屏幕300、具有双摄像头的拍摄系统400的信息进行综合处理，并输出能够用于数字显示器播放的格式图像。
[0079]具有双摄像头的拍摄系统，还使得数字化书画装置具有如下功能:在同一时刻拍摄投影图，得到两张图片，对两张图片中光斑位置分别进行定位，求取光斑中心位置，并据此计算出书画笔到摄像头的距离，以此作为深度信息。依据此深度信息，确定书写或绘画的高度区域，即控制书画笔在一定高度范围内能形成笔迹，在高度范围外则不能形成笔迹，这有助于模拟真实书写或绘画时提笔或落笔的动作。
[0080]实施本发明的有益效果是:通过发光笔发出光信号，经由主控系统进行图像采集与识别、跟踪、修补、填充平移、融合，最后实时地在数字显示器上输出数字书画影像，创新性强，充分展示了科技与艺术的融合，技术复杂度高。
[0081]以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。
【权利要求】
1.一种数字书画方法，其特征在于，包括以下步骤； 51、在指定位置上投影得到投影图，书画笔发出光线，在所述投影图上形成光斑，所述书画笔书写或绘画，所述光斑在所述投影图上移动； 52、按照预定频率拍摄所述投影图形成多幅单帧拍摄图像，实时确定所述光斑的位置并通过连续跟踪所述光斑的位置变化来确定光斑运动轨迹； 53、实时连续叠加所述多幅单帧拍摄图像，得到笔迹图像，所述笔迹图像中包含笔迹像素点和非笔迹像素点； 54、将所述笔迹图像叠加于预设的背景图之上，即将所述笔迹像素点填充至所述背景图中并涂成预定颜色，对所述非笔迹像素点不填充，由此形成第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将所述平移后的图像确定为第二填充图； 55、按照指定格式将所述第一填充图、第二填充图融合成数字格式图并连续输出； 56、连续显示所述数字格式图，形成数字书画图像。
2.如权利要求1所述的数字书画方法，其特征在于，所述步骤S2中，确定所述光斑位置的具体操作为:提取每幅所述单帧摄制图像中所有像素点的RGB值，对所述单帧摄制图像中所有像素点的RGB值进行灰度化，根据预设的灰度化阈值，进行灰度化阈值分割操作，提取灰度大于所述灰度化阈值的像素点，并将这些灰度大于所述灰度化阈值的像素点的位置确定为所述光斑的位置。
3.如权利要求1所述的数字书画方法，其特征在于，所述步骤S2中，连续跟踪所述光斑位置的具体操作为:在所拍摄得到的所述单帧拍摄图像的相邻帧拍摄图像中，以当前所述光斑的位置为起始位置，就近提取强度大于所述灰度化阈值的连通域，以此跟踪所述光斑的位置。
4.如权利要求1所述的数字书画方法，其特征在于，所述指定格式是指side-by-side格式或者dot-by-dot格式。
5.一种数字书画装置，其特征在于，包括书画笔(100)、投影机(200)、投影屏幕(300)、具有双摄像头的拍摄系统(400)、主控系统(500)、数字显示器(600)，所述主控系统(500)与所述投影机(200)、拍摄系统(400)、数字显示器(600)电性连接； 所述书画笔(100)用于发出光线，在投影图上书写或绘画形成光斑； 所述投影机(200 )用于在所述投影屏幕(300 )上投影所述投影图； 所述投影屏幕(300)用于供所述书画笔(100)发出光线在所述投影图上形成光斑； 所述拍摄系统(400)用于按照预定频率拍摄所述投影图形成多幅单帧拍摄图像； 所述主控系统(500)用于实时确定所述光斑的位置并通过连续跟踪所述光斑的位置变化来确定光斑运动轨迹；实时连续叠加所述多幅单帧拍摄图像，得到笔迹图像，所述笔迹图像中包含笔迹像素点和非笔迹像素点；将所述笔迹图像叠加于预设的背景图之上，即将所述笔迹像素点填充至所述背景图中并涂成预定颜色，对所述非笔迹像素点不填充，由此形成第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将所述平移后的图像确定为第二填充图；按照指定格式将所述第一填充图、第二填充图融合成数字格式图并连续输出； 所述数字显示器(600 )用于连续显示所述数字格式图，形成数字书画图像。
6.如权利要求5所述的数字书画装置，其特征在于，所述书画笔(100)包括光纤笔头(101 )、沿着所述光纤笔头(101)延伸的笔管(102)和笔帽(103)，在所述笔管(102)靠近光纤笔头(101)的一端内置有光源(105)，在所述笔管(102)的中间内置有控制电路(106)，在所述笔管(102)的另一端内置有电池(107)，所述控制电路(106)与所述光纤笔头(101)、光源(105)、电池(107)电性连接，所述光源(105)用于发出光线，所述电池(107)用于为所述书画笔(100)提供电能，所述控制电路(106)用于控制所述光源(105)发光。
7.如权利要求5所述的数字书画装置，其特征在于，所述主控系统(500)包括光斑定位模块(501)、实时叠加模块(502 )、填充平移模块(503 )、融合模块(504 )和输出模块(505 ); 所述光斑定位模块(501)用于实时确定所述光斑的位置并通过连续跟踪所述光斑的位置来确定所述光斑运动轨迹； 所述实时叠加模块(502)实时连续叠加所述多幅单帧拍摄图像，得到所述笔迹图像，所述笔迹图像中包含笔迹像素点和非笔迹像素点； 所述填充平移模块(503)用于将所述笔迹图像叠加于预设的背景图之上，即将所述笔迹像素点填充至所述背景图中并涂成预定颜色，对所述非笔迹像素点不填充，由此形成所述第一填充图；将所述第一填充图中笔迹按照设定的视差值进行平移处理，得到平移后的图像，将所述平移后的图像确定为所述第二填充图； 所述融合模块(504)用于按照指定格式将所述第一填充图、第二填充图融合成所述数字格式图； 所述输出模块(505 )用于连续输出所述数字格式图。
8.如权利要求5所述的数字书画装置，其特征在于，所述光源(105)为LED红外灯。
9.如权利要求5所述的数字书画装置，其特征在于，所述电池(107)为锂电池。
【文档编号】G06T11/80GK103617642SQ201310601120
【公开日】2014年3月5日 申请日期:2013年11月22日 优先权日:2013年11月22日
【发明者】张晓波, 刘道, 李海泉, 李炜 申请人:深圳市掌网立体时代视讯技术有限公司