CN1960408B

CN1960408B - 用于交互式多媒体应答系统的交互式多媒体应答方法

Info

Publication number: CN1960408B
Application number: CN200510118785A
Authority: CN
Inventors: 杨战宏; 杨明川; 冯明; 谭国权; 广小明; 雷葆华; 王琳; 支金龙; 吴琦
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2005-10-31
Filing date: 2005-10-31
Publication date: 2010-05-26
Anticipated expiration: 2025-10-31
Also published as: CN1960408A

Abstract

一种用于交互式多媒体应答系统的交互式多媒体应答方法，包括：用户终端、交互式多媒体应答服务器分别向H.323网守进行注册，当用户终端拨打属于交互式多媒体应答服务器的特服号码时，H.323网守将用户终端的呼叫导引到交互式多媒体应答服务器；用户终端将用户的按键或用户在提示画面上选择的条目编码为某个数值，将该数值插入到实时净荷协议包中传输到交互式多媒体应答服务器；交互式多媒体应答服务器从接收到的实时净荷流中解析出所述的用户的按键或用户在提示画面上选择的条目，提供进一步提示或直接提供相应内容。本发明能够实现H.323视讯网络中的交互式多媒体应答。

Description

用于交互式多媒体应答系统的交互式多媒体应答方法

技术领域

本发明涉及多媒体通信领域，尤其涉及一种用于交互式多媒体应答系统的交互式多媒体应答方法。通过本发明的方法，可以向基于H.323协议的各种通信终端提供交互式多媒体应用类增值业务。

背景技术

现有的H.323网络与终端系统，目前仅支持基本的点到点或点到多点的视频呼叫以及会议控制功能，也就是说，只能在一个用户终端和另一个用户终端之间建立视频呼叫或在一个用户终端和多个用户终端之间建立通信，而对于自动语音应答中心系统没有标准和规范。交互式多媒体应答中心的功能是接收来自用户的业务请求，利用菜单切换、文本语音转换向用户提供反馈。也就是说，在H.323网络与终端系统中无法利用交互式多媒体应答中心(IMR)，无法满足通过H.323分组网络与H.323终端进行自动多媒体交互应答的功能要求。

在语音呼叫的领域目前倒是存在一种交互式语音应答中心(IVR)的技术，是通过一套IVR系统，利用双音多频DTMF信号接收和语音识别来接收来自用户的业务请求，IVR系统利用菜单切换、文本语音转换向用户提供反馈。能够服务的终端主要是固定电话和手机等基于电路交换网络的电话类终端。由于IVR系统只能提供语音作为应答方式，媒体方式较为单一，而用户终端又不具备录制和播放功能，使得许多用户需要借助纸和笔来记录一些有用的信息，用户使用业务便利度还可以进一步提高。同时IVR系统不能为基于H.323的分组交换网络的可视电话等终端服务，它只能用在语音的基于电路的交换网络中，不能用于H.323视讯网络。所以，如何把这种IVR升级为在H.323视讯网络中能够服务的IMR，成为现有技术中急待解决的一个问题。

IVR技术主要的局限点在于：(1)终端局限性，不能针对基于H.323视电话用户提供呼叫中心服务；(2)媒体局限性，IVR下行向用户仅提供简单的语音方式提供服务，不支持文本、图片、视频和页面；(3)用户交互能力局限性，用户上行到IVR的交互方式只支持语音交互，不支持画面导航。通过在交互式应答服务器上引入现有技术中已成熟的辅助系统，包括语音识别系统(4001)、文语转换系统(4002)、Vxml(Voice XML)系统(4003)、数据库系统(4004)，可以完成语音的识别，获得语音的语意，将文本转换成语音，获取和格式化互联网信息为指定格式，IVR下行向用户提供除了语音之外的文本、图片、视频和页面的应答是容易的。因此，能够从H.323终端接收用户按键、页面交互信息，支持按键交互和画面导航，即上面的第(3)点是把IVR升级为IMR从而实现H.323视讯网络中的交互式多媒体应答系统和方法的关键。另外，要想实现好的交互式多媒体应答，获取用户终端的交互能力，并根据该交互能力自适应地选择交互方式也是需要的。

发明内容

因此，本发明的一个目的是要通过能够从H.323终端接收用户按键交互信息和用户页面交互信息，实现把IVR升级为IMR，从而实现H.323视讯网络中的交互式多媒体应答系统和方法。

本发明的进一步的目的是提供一种能够自动获取H.323终端的交互能力信息、能够自适应选择合适的反馈方式或反馈方式组合的进一步改进的H.323视讯网络中的交互式多媒体应答系统和方法。

本发明的解决方案是：一种用于交互式多媒体应答系统的交互式多媒体应答方法，所述交互式多媒体应答系统包括H.323宽带分组网络、用户终端、H.323网守和交互式多媒体应答服务器，所述交互式多媒体应答方法包括：用户终端、交互式多媒体应答服务器分别向H.323网守进行注册，当用户终端拨打属于交互式多媒体应答服务器的特服号码时，H.323网守将用户终端的呼叫导引到交互式多媒体应答服务器；用户终端从交互式多媒体应答服务器得到语音、画面或视频的提示后，将用户的按键或用户在提示画面上选择的条目编码为某个数值，将该数值插入到实时净荷协议包中传输到交互式多媒体应答服务器；交互式多媒体应答服务器从接收到的实时净荷流中解析出所述的用户的按键或用户在提示画面上选择的条目，提供进一步提示或直接提供相应内容。

其中，对H.245协议消息的Capability字段进行扩展，使其包括结合有文本、图片、页面、流播放的终端能力；在用户终端的呼叫被导引到交互式多媒体应答服务器之后，交互式多媒体应答服务器向用户终端发送上述扩展了Capability字段的H.245协议询问消息进行询问。用户终端接到扩展了Capability字段的H.245协议消息后，按照自己的能力在扩展了Capability字段的H.245协议应答消息中进行应答。

优选地，所述结合有文本、图片、页面、流播放的终端能力包括文本编解码处理能力、图片编解码能力、流播放能力、页面支持能力。

其中，交互式多媒体应答服务器在接收到上述扩展了Capability字段的H.245协议应答消息后，根据在该应答消息中包含的终端能力，确定应答方式。

优选地，所述确定应答方式的过程如下：当用户终端能力为语音时，确定应答方式为语音；当用户终端能力为语音+文本时，确定应答方式为语音+消息；当用户终端能力为语音+文本+图片+页面时，确定应答方式为语音+WEB；当用户终端能力为语音+流播放时，确定应答方式为语音+视频。

本发明通过将用户的按键或用户在提示画面上选择的条目编码为某个数值，将该数值插入到实时净荷协议包中传输到交互式多媒体应答服务器，而另一方面，交互式多媒体应答服务器从接收到的实时净荷流中解析出所述的用户的按键或用户在提示画面上选择的条目，从而实现了从H.323终端接收用户按键交互信息和用户页面交互信息，进而实现了H.323视讯网络中的交互式多媒体应答系统和方法，解决了本发明所要解决的技术问题。

另外，由于本发明对H.245协议消息的Capability字段进行扩展，使其包括结合有文本、图片、页面、流播放的终端能力，交互式多媒体应答服务器向用户终端发送上述扩展了Capability字段的H.245协议询问消息进行询问，按照自己的能力在扩展了Capability字段的H.245协议应答消息中进行应答，通过这样一个对终端能力询问和应答的体系，就实现了一种改进的能自适应根据用户终端能力选择应答和反馈方式的改进的多媒体应答系统和方法。

附图说明

图1是本发明的基于H.323协议的交互式多媒体应答系统结构图。

图2是本发明的IMR服务器的组件结构图。

图3是根据本发明的封装按键事件的RTP包的格式图。

图4是根据本发明的封装用户选择页面的条目的RTP包的格式图。

具体实施方式

基于H.323协议的交互式多媒体应答系统如图1所示。

图1所示的交互式多媒体应答系统包括：

H.323宽带分组网络(2001)，以TCP/IP协议为基础，能够承载H.323多媒体业务的分组网络。

用户终端(100)，该用户终端可能是传统用户终端，即电话终端，也可能是带有可视业务的用户终端(100)，包括基于H.323的可视电话终端(1001、1002)和支持H.323的宽带手机(1003、100N)。

交互式多媒体应答服务器(3002)，负责完成多媒体呼叫的自动接续、应答逻辑处理、语音播放以及与后端辅助系统的交互。其由现有技术的IVR服务器通过连接语音识别系统(4001)、文语转换系统(4002)、Vxml系统(4003)和数据库系统(4004)扩充到支持图片、网页而简单地得到，当然，为了支持如下本发明的发明点，即将用户的按键或用户在提示画面上选择的条目编码为某个数值，将该数值插入到RTP包中发送，在IMR服务器(3002)中必须要支持这种对包含了编码按键和页面条目值的RTP协议包的支持，这可以通过简单地编程来实现支持，这是本领域技术人员容易知道的，而且该服务器还要支持本发明对H.245协议消息的Capability字段的扩展，使其包括结合有文本、图片、页面、流播放的终端能力，这也可以通过本领域技术人员的编程得到。

H.323网守(3001)，负责用户终端(100)和交互式多媒体应答服务器(3002)的注册，还负责带宽管理、呼叫许可和别名映射寻址功能。

语音识别系统(4001)，具备自动语音识别(ASR)功能，完成自动语音识别，如用户在与呼叫处理服务器交互过程中使用了语音作为交互方式，则呼叫处理服务器调用ASR功能，实时获得用户语音的语意，进行下一步分析与处理。

文语转换系统(4002)，具备文本到语音转换(TTS)功能，完成文本到语音的自动转换功能，响应呼叫处理服务器的调用，将指定的文本转换成语音文件，实时供呼叫处理服务器调用播放给用户。

Vxml系统(4003)，完成互联网信息归纳和格式化功能，根据用户交互请求，利用VXML语言查询、获取和格式化互联网信息为指定格式，再通过TTS实现向用户的语音播放。

数据库系统(4004)，主要存储用户数据和业务数据，如文本信息、VXML文件、视频文件、录音文件等。

其中，交互式多媒体应答(IMR)服务器系统逻辑框图2所示：

交互式多媒体应答(IMR)服务器各个组件功能如下：

系统管理组件(30022)：

主要完成对IMR系统的业务管理和配置功能，如系统配置、业务认证、业务定购、业务计费等功能。

下行媒体处理组件(30025)：

主要处理从IMR系统向终端用户的反馈媒体的生成、播放和传送功能。如向用户提供语音提示、消息提示、画面提示、视频提示或以组合方式提供反馈。

上行媒体处理组件(30024)：

主要完成用户终端到IMR系统的媒体流和控制流的接收、解释功能，如接收用户端的语音、视频、页面点击等。

呼叫控制组件(30023)：

主要完成用户与IMR系统之间的呼叫处理、呼叫控制功能，如排队、接续、释放等。

业务管理组件(30021)：

主要运营交互菜单逻辑控制，即根据用户交互的判断结果，来控制业务流程和反馈方式。

上述组件基本上是由ISR的相应组件由语音业务补充到支持图片、视频和网页，由本领域技术人员通过编程实现。通过还要编程实现对下面RTP包封装内容接收的支持和对扩展的H.245协议消息的接收的支持。这些都可以通过编程实现，本发明的重点在于下面对RTP包内容封装编码的按键和页面信息和H.245协议的扩展中加入终端相关能力字段。

为支持IMR服务器中自动获取终端交互能力信息，并自动选择相应反馈/应答方式或组合的功能，可视电话和宽带手机终端，应该通过编程支持对H.245协议的扩展，在与服务器建立连接的同时，能够交换其对语音、文本、页面、视频、流媒体处理的能力信息。

下面进行具体工作流程描述：

1)用户终端(100)开机，将终端地址、终端别名和号码一起注册到H.323网守(3001)

2)IMR服务器(3002)也将系统地址、别名和系列特服号码注册到H.323网守(3001)；

3)用户终端(100)拨打某特服号码(如16800008)，终端的呼叫请求由H.323网守进行解析，H.323网守可以解析出此特服号属于IMR(Interactive Multimedia Response)服务器(3002)，则导引终端呼叫到IMR(Interactive Multimedia Response)服务器(3002)；

4)IMR服务器(3002)接受到终端的呼叫请求，自动进行排队或进行接通；

5)IMR服务器(3002)接通终端后，自动获取终端的业务能力，此步骤是可选的，是一种本发明的完善。它主要通过扩展H.245中能力交换的内容来实现，现有H.245主要规定了所交换的能力包括：

(1)协议处理能力：支持的H.323中的系列协议和版本等

(2)音频编解码能力：如G.711，G.728，G.729，AMR等

(3)视频编解码能力：如H.261，H.263，H.263+，H.264，IS11172等

(4)数据能力：如T.120，T.38，V.42bis等

(5)加密能力：如antiSpamAlgorithm等

(6)用户交互能力：如basicString、iA5String、dtmf等

(7)会议控制能力：如主席控制、H.230 MVC等

(8)网络能力：如最大支持的比特率等

(9)音频电话事件处理能力：如动态RTP封装电话事件等。

而需要进一步扩展的能力交换内容包括：

文本编解码处理能力：如GB2312，Unicode，UTF-8等

图片编解码能力：如JPG，BMP，GIF等

流播放能力：如rtsp，MMS，MPEG-4等

页面支持能力：如HTTP1.0，HTTP1.1等

IMR服务器向用户终端发关于对扩展的四类能力的支持的能力请求消息，消息名为TerminalCapabilitySet，消息类型为Request，该消息是利用将原H.245消息中Capability字段扩充为包括上面4中能力得到的。原H.245消息中Capability字段如下：

Capability::＝CHOICE

{

nonStandard NonStandardParameter，

reeeiveVideoCapabilityVideoCapability，

transmitVideoCapability VideoCapability，

receiveAndTransmitVideoCapabilityVideoCapability，

receiveAudioCapability AudioCapability，

transmitAudioCapability AudioCapability，

receiveAndTransmitAudioCapability AudioCapability，

receiveDataApplicationCapability

DataApplicationCapability，

transmitDataApplicationCapability

DataApplicationCapability，

receiveAndTransmitDataApplicationCapability

DataApplicationCapability，

h233EncryptionTransmitCapability BOOLEAN，

h233EncryptionReceiveCapability SEQUENCE

{

h233IVResponseTime INTEGER(0..255)，--units

milliseconds

}，

...，

conferenceCapability ConferenceCapability

}

扩展后格式如下：

Capability::＝CHOICE

{

nonStandard NonStandardParameter，

receiveVideoCapabilityVideoCapability，

transmitVideoCapability VideoCapability，

receiveAndTransmitVideoCapabilityVideoCapability，

receiveAudioCapability AudioCapability，

transmitAudioCapability AudioCapability，

receiveAndTransmitAudioCapability AudioCapability，

receiveDataApplicationCapability

DataApplicationCapability，

transmitDataApplicationCapability

DataApplicationCapability，

receiveAndTransmitDataApplicationCapability

DataApplicationCapability，

PictureCapability ImageCapability，

StreamingCapability StreamingCapability，

TextCapability TextCapability，

WebCapability WebCapability，

h233EncryptionTransmitCapability BOOLEAN，

h233EncryptionReceiveCapability SEQUENCE

{

h233IVResponseTime INTEGER(0..255)，--units

milliseconds

}，

...，

conferenceCapability ConferenceCapability

}

上述带下划线的部分中，

ImageCapability::＝CHOICE

{

nonStandard NonStandardParameter，

JpgCapabilty JpgCapabilty，

GifCapabilty GifCapabilty，

BmpCapabilty BmpCapabilty，

}

StreamingCapability::＝CHOICE

{

nonStandard NonStandardParameter，

mmsCapabilty mmsCapabilty，

rtspCapabilty rtspCapabilty，

mpeg4Capabilty mpeg4Capabilty，

}

TextCapability::＝CHOICE

{

nonStandard NonStandardParameter，

GB2312Capabilty GB2312Capabilty，

Unicode Capabilty Unicode Capabilty，

UTF8Capabilty UTF8Capabilty，

}

WebCapability::＝CHOICE

{

nonStandard NonStandardParameter，

http10Capabilty http10Capabilty，

http11Capabilty http11Capabilty，

}

用户终端(100)接到扩展了Capability字段的H.245协议消息后，按照自己的能力在扩展了Capability字段的H.245协议应答消息中进行应答。支持的能力则表示在响应包中，不支持的能力不进行响应，消息名称为TerminalCapabilitySetAck，消息类型为Response，该消息也是按照上述扩展的H.245协议进行的。消息中能力描述字段按照扩展后的字段，选择终端所支持的表项。

6)交互式多媒体应答服务器(3002)在接收到上述扩展了Capability字段的H.245协议应答消息后，根据在该应答消息中包含的终端能力，确定应答方式，根据该应答方式，进行用户进一步操作提示。具体地说，根据用户所建立的呼叫，在IMR服务器侧可以提供的整体应答方式是预定义好的，如支持语音、画面、语音+画面方式，在完成上述能力获取过程之后，IMR系统就可以根据终端能力来选择合适的应答方式，如下表所示：

终端能力	应答方式	备注
终端能力	应答方式	备注	语音	语音
语音+文本	语音+消息		语音	语音
语音+文本	语音+消息		语音、文本、图片、页面	语音+WEB
语音+流播放	语音+视频		语音、文本、图片、页面	语音+WEB
语音+流播放	语音+视频		其它	其它

表1自适应反馈方式选择表

由于上述步骤5)是可选的，因此此步骤也是可选的，是对本发明的进一步改进。

7)用户终端从IMR服务器的终端下行媒体处理部件得到系统的语音、画面或视频的提示之后，可以通过按键、语音、画面实现与IMR系统的终端上行媒体处理部件交互，表达用户的进一步操作意愿。语音交互的情况就不赘述了。对于按键和页面的情况，将用户的按键或用户在提示画面上选择的条目编码为某个数值，由于已经在终端与IMR服务器之间建立了一个基于实时净荷(RTP)协议传送音视频信号的双向通道，就将该数值插入到实时净荷(RTP)协议包中传输到交互式多媒体应答服务器(3002)，交互式多媒体应答服务器(3002)的上行媒体处理部件接收来自终端的按键输入和画面点击等操作，IMR的业务管理部件与呼叫控制部件配合，从接收到的实时净荷(RTP)流中解析出所述的用户的按键或用户在提示画面上选择的条目，提供进一步提示或直接提供相应内容。

该过程对于按键方式具体地是：终端通过来自于IMR服务器的提示，确定希望通过按键方式来进行交互时，用户在终端上按某键(如“1-9，＊，#”等)；对每个按键事件，将对应的十进制数字封装到RTP包(扩展按键事件单独的Payload载荷类型)，实时插入到终端与IMR服务器之间已有的RTP媒体通道中进行传递，按键事件的RTP包格式如图3所示。

其中：

事件类型：为8个比特，标识此RTP包中的事件类型，置为11111110，表示此RTP包为一个按键事件包；

E：置0表示本次事件尚未完全传送完成，置1表示此包为本次事件的最后一个包。

R：一直置0，未来可扩展作为其它用途；

值：传送具体的按键值，终端在用户按键后，立即将用户按键对应成十进制数字值，对应表如下：

按键(事件)	十进制数字	备注
按键(事件)	十进制数字	备注	0-9	000000-000101
＊	001000		0-9	000000-000101
＊	001000		#	001001
其它	待定		#	001001

表2用户按键事件编码表

事件ID：从0000000000000001-1111111111111111，按顺序生成循环使用。

IMR服务器上行媒体处理模块从RTP流中解析出用户的按键值，将按键值发送给业务管理部件，由业务管理部件根据用户按键，进行进一步提示或业务提供。

该过程对于页面方式具体是：用户终端通过来自于IMR服务器的提示，确定希望通过画面方式进行交互时，用户会在IMR服务器反馈的画面中的条目进行选择(通过上下左右键和确认键)；在用户按下确认键之后，终端将用户选择的条目未知ID(按照条目起始点的行列号进行编码)编码到RTP包的Value值中，传送到IMR系统，包格式如图4。

其中：

事件类型：为8个比特，标识此RTP包中的事件类型，置为11111101，表示此RTP包为一个页面交互事件包；

R：一直置0，未来可扩展作为其它用途；

值：传送具体的条目ID，终端在用户按键后，立即将用户按键对应成十进制数字值，对应表如下：

前3个字节为行号，后3个字节为列号。

IMR服务器可以从RTP流中按照“画面文本”的净荷类型中解析出编码的用户在网页上选择的条目。IMR服务器上行媒体处理模块，接收到RTP包中有事件类型为11111101类型事件时，从包中解析出用户选择的业务交互条目编码，交给业务管理模块，进行业务提供或进一步业务提示。

IMR服务器可以以软件多点控制单元(MCU)形态来实现，即指运行在通用硬件平台(如服务器、Compact PCI机框、ATCA服务器架构)之上的一套软件系统，可以软硬件配合完成IMR服务器功能。

本发明在应用中具有如下优点：广泛的终端支持和协议支持，扩展了对H.323协议和可视电话等终端的支持；将用户到系统的上行交互扩展到了同时支持按键、语音、画面方式；系统到用户的下行呈现/反馈可以扩展到语音、画面、视频及两两组合的方式；扩展系统感知用户终端的能力，能够自适应选择适当下行呈现方式。

Claims

1.一种用于交互式多媒体应答系统的交互式多媒体应答方法，所述交互式多媒体应答系统包括H.323宽带分组网络(2001)、用户终端(100)、H.323网守(3001)和交互式多媒体应答服务器(3002)，所述交互式多媒体应答方法包括：

用户终端(100)、交互式多媒体应答服务器(3002)分别向H.323网守(3001)进行注册，当用户终端(100)拨打属于交互式多媒体应答服务器(3002)的特服号码时，H.323网守(3001)将用户终端(100)的呼叫导引到交互式多媒体应答服务器(3002)；

用户终端(100)从交互式多媒体应答服务器(3002)得到语音、画面或视频的提示后，将用户的按键或用户在提示画面上选择的条目编码为某个数值，将该数值插入到实时净荷(RTP)协议包中传输到交互式多媒体应答服务器(3002)；

交互式多媒体应答服务器(3002)从接收到的实时净荷(RTP)流中解析出所述的用户的按键或用户在提示画面上选择的条目，提供进一步提示或直接提供相应内容。

2.根据权利要求1的方法，其特征在于还包括：

对H.245协议消息的Capability字段进行扩展，使其包括结合有文本、图片、页面、流播放的终端能力；

在用户终端(100)的呼叫被导引到交互式多媒体应答服务器(3002)之后，交互式多媒体应答服务器(3002)向用户终端(100)发送上述扩展了Capability字段的H.245协议询问消息进行询问；

用户终端(100)接到扩展了Capability字段的H.245协议消息后，按照自己的能力在扩展了Capability字段的H.245协议应答消息中进行应答。

3.根据权利要求2的方法，其特征在于：

所述结合有文本、图片、页面、流播放的终端能力包括文本编解码处理能力、图片编解码能力、流播放能力、页面支持能力。

4.根据权利要求2的方法，其特征在于，交互式多媒体应答服务器(3002)在接收到上述扩展了Capability字段的H.245协议应答消息后，根据在该应答消息中包含的终端能力，确定应答方式。

5.根据权利要求4的方法，其特征在于，所述确定应答方式的过程如下：当用户终端能力为语音时，确定应答方式为语音；当用户终端能力为语音和文本时，确定应答方式为语音和消息；当用户终端能力为语音、文本、图片和页面时，确定应答方式为语音和WEB；当用户终端能力为语音和流播放时，确定应答方式为语音和视频。

6.根据权利要求4的方法，其特征在于：交互式多媒体应答服务器(3002)根据确定的应答方式进行用户终端提示。