专利名称：二网合一的移动多媒体可视电话及其实现方法
二网合一的移动多媒体可视电话及其实现方法， 二是Wi-Fi模块[2]，三是视频和非通话音频处理电路 [3]。第一部分的原理和实现方法与普通GSM手机完全相同，不再赘述。第二部份的作用是 进行Internet的无线访问，采用支持无线局域网802.11b/g的芯片实现。第三部分的作用主要
有二 r是实现视频通信，二是支持其他多媒体服务。视频通信功能的实现采用摄像头与LCD 显示屏进行视频数据采集与显示；通过相关图像算法可以把摄像头采集到的YUV422格式原 始视频数据，转换为可得到符合液晶屏显示的RGB565格式视频数据与符合网络传输的H.264 格式视频数据流，经过位于IP网络的视频交换服务器的传送到达对方手机解码显示。本部分 还可对其他视频、音频信号进行采集、编码、显示，支持其他多媒体服务。
本发明的手机电路第三部分[3]包括模拟信号处理部分[301],数字信号预处理部分[302], 编、解码部分[303]，接口部分[304]，主控系统部分[305]以及视频摄像头和液晶显示屏等。
模拟信号处理部分[301]则包括音频模拟信号处理部分[301-1]和视频模拟信号处理部分 [301-2]，数字信号预处理部分[302]包括音频的预处理[302-1]和视频的预处理[302-2]，编/解码部 分[303]包括音频部分[303-l]和视频部分[303-2],接口部分[304]包括SDIO接口 [304-3],SDRAM 存储器接口 [304-2],键盘/键盘接口 [304-4]，Nand Flash/Nand Flash接口 [304-1];应用程序和相关 数据存储于Nand FLASH[304-1中；主控系统[305]由数字媒体处理器核DSP[305-3]，音频 MPEG3编/解码模块[305-l]和视频编/解码模块H264H [305-2],键盘/电话控制单片机[305-5]和 接口控制单片机[305-4]以及视频拨号/振铃处理模块[305-6]组成。
信号处理。发送时，音、视频模拟信号处理部分[301]采集或接收音、视频输入信号，处 理后送入数字信号预处理部分[302]，接收时处理从数字预处理部分[302]传来的信号并输出模 拟的音、视频输出信号；发送时，数字信号预处理部分[302]处理从模拟信号处理部分[302] 传来的话音或视频信号，然后送往编/解码部分[303]，接收时，处理从编/解码部分[303]传来 的音、视频信号，然后送往模拟信号处理部分[301];发送时，编/解码部份[303]对经预处理的 音、视频的格式进行变换后成为主控系统[305]能够进行压縮处理的信号，接收时处理主控系 统[305]传来的信号；主控系统[305]对音频信号进行MPEAG3编码、对视频信号进行H.264 编码并把编码码流送往Wi-Fi模块[2]发往Internet,或对从Wi-Fi模块传来的MPEAG3或H.264 码流进行解码处理；对各接口电路进行控制、处理；对键盘/电话事件进行处理。其中视频拨 号/振铃处理模块[305-6]用于在本发明的手机拨号或来电振铃时査询对方IP地址，是本发明 的手机间建立P2P连接实现视频通话的关键之一。
本发明的手机可视互通流程与功能模块。视频部分互通的流程和主要功能模块参见图3， 包括本发明的手机登录注册、拨打呼叫/来电振铃査询对方IP地址信息、主叫方和被叫方 进行网络NAT穿透、视频互通协商、视频釆集/编解码显示、视频码流传输、视频互通终止 协商。
本发明的手机登录服务器流程。登录过程参见图4。为了对话机本发明的手机的入网进行 管理控制，本发明的手机入网时需要向注册服务器登录注册，只有通过注册，才能进行正常 的视频通信，否则只能使用GSM进行话音通信。注册的信息包括本发明的手机ID、手机号 码、本发明的手机类型、内网IP地址等。本发明的手机发送的注册信息包在通过NAT设备 时，映射成的公网IP地址和端口号亦被注册服务器记录。
与登录注册服务器相对应，本发明的手机下线前应向注册服务器发送注销信息，注销过 程参见图5，其操作码与登录操作码相反。 拨号呼叫处理流程。该流程和下面的来电振铃处理流程是实现"二网合一"的关键。参 见图6，本发明的手机A拨号时，视频拨号处理功能模块捕获所拨出的手机号码,通过Wi-Fi 向Internet的视频交换服务器发送拨号信令(拨号信息帧)，通知服务器当前本发明的手机所 拨号码，直到收到拨号响应信令(连接信息帧，载有对方网络IP地址、端口号和手机号码信 息等)或挂机时停止发送；检测返回的连接信息帧的手机号码是否与所拨手机号码相同，若 不相同，则停止视频拨号功能；若相同，则以对方NAT映射的公网IP地址、端口号为目标 开始网络NAT穿透。
来电振铃处理流程。参见图7，本发明的手机B收到来电振铃时，视频来电处理功能模 块捕获并记录来电号码，通过Wi-Fi向Internet的视频交换服务器发送心跳帧，以确定更新本 本发明的手机的网络信息；同时向视频交换服务器发送振铃信令(振铃帧)，直到收到振铃响 应帧(连接信息帧，载有对方网络IP地址、端口号和手机号码信息等)或挂机时停止发送振 铃帧；检测连接信息帧的手机号码是否与来电号码相同，若不相同，则停止视频功能；若相 同，则以对方NAT映射的公网IP地址和端口号为目标开始网络NAT穿透。
本发明的手机间网络NAT穿透功能模块。模块框图参见图8，两台本发明的手机进行视 频互通实际上是P2P的会话连接，本发明的网络NAT穿透功能模块使得本发明的手机的UDP 报文能穿越各种ConeNAT设备，实现互联网上点到点的网络互通。
视频协商功能。该模块的位置参见图9。视频协商主要是指在确认双方本发明的手机建 立了网络互通后，达成视频互通的一个协商过程，以确认双方正式开始进行视频流传输。是 启动视频采集、编码、显示、传输前的一个功能模块。
视频采集、编解码、传输、显示功能模块。参见图IO，该功能模块集中了视频的采集、 编解码、传输、显示等功能。视频采集初始化主要是对COMS摄像头进行初始化，并开始对 摄像头数据进行采集、编码等处理；当每帧视频编码完毕后立即送至视频传输子模块，由其 负责视频流在互联网上的发送与接收；当接收到完整的视频数据时，即可将视频数据提交给 解码功能子模块，由其负责对视频流的解码；视频显示功能主要是将采集到的本地视频图像 和接收到的对方的视频显示在液晶屏上。
视频互通终止协商模块。任意一方都有权首先挂机结束通话和视频互通，以主叫方主动 挂机结束通话为例，其处理过程参见图ll。 [
]
图l为本发明的系统示意图
图2为本发明的手机电路组成框图
图3为本发明的手机视频互通流程和主要功能模块框图
图4为本发明的手机登录注册服务器注册流程图
图5为本发明的手机向注册服务器注销流程图
图6为本发明的手机拨号呼叫时视频处理流程图
图7为本发明的手机来电振铃时视频处理流程图
图8为本发明的手机间网络NAT穿透流程图
图9为视频协商功能框图
图10为视频采集、编解码、传输、显示功能流程图
图11为终止视频互通协商流程图
图12为本发明的手机硬件结构框图 [具体实施方式
I
实施例的本发明的手机硬件结构参见图12 (a)。其中视频和非通话音频处理部分采用 德州仪器的数字媒体处理芯片DM6441和微控制器MSP430为主构成；无线访问Internet部 分釆用Broadcom公司的BCM4318E单芯片实现，该芯片整合了 802.1 lb/g Baseband, MAC 和Radio。参见图12 (b) ， DM6441是一款包含ARM9、 TMS320C64x+DSP内核以及视频/ 图像协处理器的双内核SoC，该平台是达芬奇技术基于便携式应用而开发的一款芯片。ARM9 是ARM公司的32位RISC(精简指令集)处理核，支持JAVA,可支持多种高级的操作系统， 例如Linux、 WinCE等。C64x+核的DSP是TI的一个高性能DSP内核，可以处理大量的运 算，可实现每秒30帧的H.264、 MPEG-2、 MPEG-4或VC1视频性能，并且可完成较大分辨 率的RMVB播放，以及AVS的算法。视频/图像协处理器作为DSP的补充，可以加速和提高 算法的性能。
DM6441拥有视频处理子系统，包括视频处理前端和后端，有数字视频接口、 CCD/CMOS 接口、预览引擎、硬件縮放器、支持多种LCD屏，内部集成视频编码器和4个DAC，支持 模拟视频输出。DM6441集成了当前便携式媒体应用需要的主要外设，其中包括多种存储卡 的接口(MMC/SD/SDIO/CF/MS/MS Pro)、 ATA硬盘驱动接口 、 USB2.0高速Host和Device,
以太网的支持等。
DM6441有多种省电方式。它具备两种电源模式1.2V全速工作模式(513MHz DSP与 256MHz ARM)或1.05V省电工作模式(405MHz DSP与202MHz ARM)。当应用不需要很高处 理性能的情况下，就可以使用省电工作模式来减少功耗。DM6441还有时钟门控制功能，在 内部的各个功能模块不使用时，也可以关闭其时钟。由于ARM和DSP内核的电源域相互隔 离，在不使用DSP时就可以关掉DSP的电源，进一步省电。
通话和非通话音频处理均使用德州仪器的TLV320AIC33芯片。TLV320DAC33是一低功 耗立体声音频Codec,立体声耳机放大器和多输入输出的可编程为单端或全差分配置的器件， 该器件还包含基于寄存器的扩展的电源控制功能,使用3.3V模拟电源即可实现功耗低至 14mW的48KHz立体声回放。
录音通道包括可编程麦克风偏压,数字控制立体声麦克风前置放大器和自动增益控制。模 拟输入具有混合/复用功能。回放通道包含混合/多路复用功能，即从立体声DAC与模拟输入到
可编程音量控制,再到耳机输出。
TLV320DAC33包含四个高功率输出驱动器和三个全差分输出驱动器。四个高功率驱动器 能够驱动各种负载配置，其中包括釆用交流耦合电容器的四通道单端16欧耳机，或采用无电容 输出配置的立体声16欧耳机。此外,还可采用驱动器驱动BTL配置下的8欧扬声器，每通道功
耗为500mW。而三个全差分输出驱动器分别是立体声全差分或单端耳机驱动器/全差分立体 声线路输出驱动器/全差分MONO输出驱动器。
立体声音频DAC支持8kHz至96kHz的采样速率，通过在DAC通道中采用可编程数字滤 波技术,实现了 3D、低音、高音、中音效果,扬声器均衡以及32kHz、 44.1kHz与48kHz速率
下的去加重效果。
串行控制总线可采用SPI或I2C协议，而串行音频数据总线在多种模式下为可编程,其中包 括I2S、左/右对齐、DSP或TDM模式。该器件还提供高度可编程的PLL，以实现高灵活性的 时钟生成，并支持各种可用MCLK的所有标准音频速率,频率范围为512kHz至50MHz,其中要 特别注意的是最常见的12MHz、 13MHz、 16MHz、 19.2MHz与19.68MHz系统时钟。
TLV320DAC32的工作模拟电源范围为2.7V-3.6V，数字内核电源范围为1.525V-1.95V, 且数字I/O电源为1.1V-3.6V。内部LDO稳压器允许该器件在内部生成数字内核逻辑所需的 较低电压电源，因而可以在3.3V单电源电压下正常工作。
本实施例操作系统使用嵌入式Linux,音频编/解码算法采用MP3，视频编/解码算法采用 H264。使用MSP430超低功耗微控制器处理键盘/电话事件，处理手机拨号号码和来电号码的 捕获和拨号帧、振铃帧的封装等。音频串行控制总线采用SPI协议，数据总线采用I2S模式。
权利要求
1.一种二网合一的手机及其实现方法，其特征在于使用GSM传送话音、使用IP网络传送通话者视频图像并在终端同步还原，即通过Wi-Fi接入IP网络并通过IP网络实现手机之间的视频通信，其关键的方法是1)各手机向注册服务器注册自己的手机号码、机身码、终端类型和内网IP地址，2)双方终端在呼叫拨号或来电振铃时发送拨号包振铃包向交换服务器查询对方IP地址，进而进行视频连接。
2. 根据权利要求1所述的手机，其特征在于通话者话音信号单独由GSM 网络传送，通话者视频图像信号通过终端Wi-Fi模块由IP网络传送。
3. 根据权利要求1所述的手机，其特征在于手机接入Internet上电后即向 注册服务器发送注册信息，注册自己的手机号码、机身码、终端类型和内网IP 地址等。
4. 根据权利要求1所述的手机，其特征在于手机在拨号或来电振铃时将捕 获对方手机的电话号码，并编码为拨号包或振铃包，通过Wi-Fi送往位于Internet 的视频交换服务器査询该电话号码对应的IP地址。
5. 根据权利要求1所述的手机，其特征在于上电时、以及每隔一定的时间 间隔，向交换服务器发送心跳包。
6. 根据权利要求1所述的手机，其特征在于其电路组成由GSM模块、Wi-Fi 模块和视频通信处理模块组成。
全文摘要
本发明公开了一种融合GSM和Internet长处的，可视通话时话音和视频图像同时还原的手机及其实现方法。本发明是用使用GSM传送话音、用Wi-Fi接入IP网络通过IP网络传送通话者视频图像并在终端同步还原，其特征是手机上电后向位于Internet的注册服务器发送心跳包注册手机号码和IP地址等信息，在主叫或被叫时捕获对方手机号码封装为拨号包或振铃包用以查询对方手机IP地址、端口号等，建立视频连接并在通话时传送通话者视频。
文档编号H04L12/28GK101374168SQ200810028030
公开日2009年2月25日 申请日期2008年5月12日 优先权日2008年5月12日
发明者硕 石, 蔡朝曦, 陈建国 申请人:陈建国;石 硕