CN109495776B - 一种音频发送、播放的方法及智能终端 - Google Patents
一种音频发送、播放的方法及智能终端 Download PDFInfo
- Publication number
- CN109495776B CN109495776B CN201811565099.4A CN201811565099A CN109495776B CN 109495776 B CN109495776 B CN 109495776B CN 201811565099 A CN201811565099 A CN 201811565099A CN 109495776 B CN109495776 B CN 109495776B
- Authority
- CN
- China
- Prior art keywords
- audio data
- invalid
- audio
- valid
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种音频发送、播放的方法及智能终端，从而减轻网络传输负担，优化音频的实时播放延迟。本申请实施例提供的一种音频发送方法，包括：采集当前播放的音频数据；若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；发送所述无效音频数据包至音频数据接收端。
Description
技术领域
本申请涉及智能设备互动技术领域，尤其涉及一种音频发送、播放的方法及智能终端。
背景技术
随着电视技术的不断发展，电视产品越来越受到广大用户的认可和使用。在一些场景中，许多用户在看电视节目时，为了避免影响家庭成员的休息，通常将电视调成静音状态或将电视音量调小，这在一定程度上影响到电视节目收看的体验。
把移动设备作为智能电视的一个声音输出设备，电视端实时抓取当前的声音，并传送到移动设备进行实时播放。但是电视与手机连接后，可能由于网络原因及手机播放缓存不能及时清理而造成声音延时。
发明内容
本申请实施例提供了一种音频发送、播放的方法及智能终端，用以减轻网络传输负担，优化音频的实时播放延迟。
本申请实施例提供的一种音频发送方法，包括：
采集当前播放的音频数据；
若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
发送所述无效音频数据包至音频数据接收端。
通过该方法，采集当前播放的音频数据；若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；发送所述无效音频数据包至音频数据接收端，从而减轻网络传输负担，优化音频的实时播放延迟。
可选地，若所述音频数据为有效音频数据，则将所述有效音频数据发送至所述音频数据接收端。
可选地，若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包，具体包括：
判断所述音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则在所述无效字节中添加无效音频数据指示信息，并对所述无效音频数据进行压缩处理，生成无效音频数据包。
可选地，所述采集到的音频数据为完整的一帧音频数据，并且该帧音频数据的字符全部为0，则确定所述音频数据为无效音频数据。
可选地，在所述采集当前播放内容的音频数据之前，还包括：
控制所述智能终端进入录音状态，对所述智能终端进行音频录制。
本申请实施例提供的一种音频播放方法，包括：
接收音频数据发送端发送的音频数据；
对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据。
通过该方法，接收音频数据发送端发送的音频数据；对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据，从而减小音频数据接收端的播放缓存，优化音频的实时播放延迟。
可选地，当所述音频数据为有效音频数据时，播放所述音频数据。
可选地，在接收音频数据发送端发送的音频数据后，根据所述音频数据中的指示信息，判断所述音频数据是否为无效音频数据；
可选地，所述指示信息位于所述音频数据的前N位字节，N为自然数。
可选地，当所述音频数据为有效音频数据时，播放所述音频数据，具体包括：当确定所述音频数据为有效音频数据时，将所述有效音频数据存入播放缓存中。
相应地，在装置侧，本申请实施例提供的一种智能终端，该装置包括：
接收单元，用于接收音频数据接收端发送的传音指令；
采集单元，用于采集当前播放的音频数据；
处理单元，用于若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
发送单元，用于发送所述无效音频数据包至所述音频数据接收端。
在装置侧，本申请实施例提供的一种智能终端，该装置包括：
接收单元，用于接收音频数据发送端发送的音频数据；
处理单元，用于对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据；
播放单元，用于当所述音频数据为有效音频数据时，播放所述音频数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一个智能电视与移动设备交互实例的第一个视图；
图2为本申请实施例提供的一个移动终端与智能电视连接状态的示意图；
图3为本申请实施例提供的一种移动终端的第一用户界面示意图；
图4为本申请实施例提供的一种移动终端的第二用户界面示意图；
图5为本申请实施例提供的一种移动终端的第三用户界面示意图；
图6为本申请实施例提供的一种音频发送方法示意图；
图7为本申请实施例提供的一种音频播放方法示意图；
图8为本申请实施例提供的一种延时优化总体流程示意图；
图9为本申请实施例提供的一种智能终端示意图；
图10为本申请实施例提供的一种智能终端示意图；
图11为本申请实施例还提供的一种智能终端示意图；
图12为本申请实施例还提供的一种智能终端示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
在以下描述中，阐述了大量特定细节以提供对本发明实施例的更透彻说明。然而，对于本领域技术人员显而易见的是，在实现本发明实施例而可以不用这些特定细节。
本申请中使用的术语“直播电视”是指实时或与事件发生时间基本同步的电视制作广播。
本申请中使用的术语“视频点播”(VOD)是指允许用户选择和观看/收听点播视频或音频内容的系统和过程。VOD系统可以将内容分流，从而观看实时内容或将其下载到储存介质以稍后再观看。
本申请中使用的术语“确定”、“计算”和“计算机计算”及其变通说法，可互换使用，并包括任何类型的方法论、过程、数学运算或技巧。
本申请实施例提供了一种智能电视与移动终端交互的应用场景。
参考图1所示的智能电视100的一些实施例。智能电视100可用于娱乐、商业应用、社交互动、内容创建和/或消费，和/或，还包括用于组织和控制与智能电视100进行通信的一个或多个其他设备。因此可以理解为，智能电视可以用于增强用户互动体验，无论是在家中还是工作场所。
在一些实例中，智能电视100可以通过配置来接收和理解各种用户和/或设备输入。可以使用移动终端，如智能电话、平板电脑、计算机、笔记本电脑、上网本和其他智能设备以控制智能电视100。例如，使用在智能设备上运行的应用程序控制智能电视100。
在一些实例中，智能电视100可配置通过各种输入设备接收输入，包括但绝不限于视频、音频、无线电、光、触觉及其组合。例如，用户可以以会话方式和智能电视100讲话。智能电视100就像是智能设备的智能私人助手和音控导航应用程序(如苹果的Siri、安卓的Skyvi、Robin、Iris和其他应用程序)一样接收和理解语音命令。
本申请实施例提供的一种移动终端的用户界面交互的操作步骤，主要包括：
如图2为本申请实施例提供的一个移动终端与智能电视连接状态的示意图。当智能电视与移动终端进行交互时，移动终端可以通过各种连接协议，发送智能电视，并与之建议通信连接，并且，该移动终端可以对所述智能电视进行遥控操作，或者安装有能对所述智能电视进行操控的应用程序。
如图3-5所示，当接收并响应于启动智能电视的遥控应用的指令，移动终端可以启动遥控应用，呈现能对所述智能电视进行操控的第一用户界面，该第一用户界面包括主控制区和功能选择区，其中，所述主控制区包括音量控制区、节目切换区；所述功能选择区至少包括传音选项卡。移动终端可以通过在用户界面上操作，实现与智能电视的交互。示例性的，当用户在音量控制区输入指令，可控制智能电视端的音量输出。
接收并响应于对所述传音选项卡的选择，呈现第二用户界面，其中，所述第二用户界面上显示当前播放声音的设备为所述音频数据发送端的提示信息，以及用于将声音播放端切换至所述移动终端的传音切换选项栏。
接收并响应于选中所述传音切换选项栏的指令，将播放声音的设备切换为所述移动设备，并呈现第三用户界面，其中，所述第三用户界面上显示有当前播放声音的设备为所述移动终端的提示信息。在传音切换的过程中，智能电视端将其音频播放器的音量调节为静音或者0，使得所述音频数据仍在音频播放器中播放，但是不从喇叭出输出，将所述音频数据进行采集录制，下发至移动终端。
当智能电视接收到移动终端的传音指令后，将采集到的音频数据编码成脉冲编码调制(Pulse Code Modulation，PCM)数据流，通过网络传输到移动设备，移动设备对电视声音进行实时播放，由于音频数据流是原始的PCM数据，因此，移动终端每接收到一帧数据，不需要做任何解码处理，直接将数据送到硬件播放器中进行播放。
具体的，在基于Linux或者Android系统开发的智能电视系统上，利用电视整机主处理芯片(CPU)提供的音频抓取编码功能，将电视当前屏幕的声音按照一定的采样格式(8KHz采样率、16Bit采样精度，双声道)进行抓取，提供PCM格式的音频流数据，通过有线网络或者无线网络传送给智能手机，智能移动终端接收到音频流数据后，直接将数据送到硬件播放器中进行播放。
在实时音频收听过程中，电视端不断地录制系统的声音并通过网络发送到移动终端。在电视端，对于录制的声音，在发送之前进行实时“有效性音频数据帧”分析，对“有效的音频数据”进行实时发送；如果电视端没有播放声音或视频文件时，电视端录制一帧的声音都是连续的0x00(0x00表示一个16进制的数，0x是16进制的前缀)，对于这种全是0x00的无效数据帧(空数据)，在传输过程中也占用了一帧的网络数据量；移动终端接收到之后，向播放器的缓存中加入，也增加了手机系统的播放缓存，如果对这部分无效数据帧做特殊处理(对于全是0x00的数据，播放器播放出来也没有声音)再发送给移动终端，可以大大减轻网络传输负担，同时减小手机系统的播放缓存，从而有效地优化音频的实时播放延迟。
例如在电视端，参见图6，本申请实施例提供的一种音频发送方法，包括：
S101、采集当前播放的音频数据；
在实时音频收听过程中，电视端会不断录制系统正在播放的声音，即不断采集当前播放节目的音频数据。电视端在录制过程中，并不会检测此刻是否有音频文件的输出，而是一直处于录制阶段。
S102、若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
S103、发送所述无效音频数据包至音频数据接收端。或者，若电视端采集到的音频数据为无效音频数据时，电视端不将这段无效音频数据发送给音频数据接收端。
示例性的，假设用户选择在足球节目播放过程中，开启传音的指令，电视端开始录音。在录音过程中，用户由于误操作或者要对观看节目进行重新选择或浏览，而退出足球节目的播放，此时，音频播放器中其实并没有实际的音频数据的播放，但是，由于录音并不会因此而终止，因此，在没有足球节目播放的这段期间，电视端所采集到的音频数据其实为空，这样的音频数据为无效音频数据。
所述采集到的音频数据为完整的一帧音频数据，并且该帧音频数据的字符全部为0，则确定所述音频数据为无效音频数据。即这一帧音频数据全部为0x00。现将一帧全部为0x00音频数据称为无效音频数据。
具体的，判断一帧音频数据是否为无效数据，可以对一帧数据的左右字节做一个循环式的检测，若所述音频数据中，有一个字节不是0x00，则确定所述音频数据为有效音频数据；若所述音频数据中，每一个字节都为0x00时，则确定所述音频数据为无效音频数据。
若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包，具体包括：
判断所述音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则在所述无效字节中添加无效音频数据指示信息，并对所述无效音频数据进行压缩处理，生成无效音频数据包。
如前所述，在基于Linux或者Android系统开发的智能电视系统上，利用电视整机主处理芯片(CPU)提供的音频抓取编码功能，将电视当前屏幕的声音按照一定的采样格式(8KHz采样率、16Bit采样精度，双声道)进行抓取，提供PCM格式的音频流数据，当电视端采集在音频数据后，对该音频数据进行打包处理，并发送给手机端，该数据包包括采集到的音频数据和当前系统时间打包格式如表1所示：
表1音频数据包
| 时间(长度8Byte) | 音频数据(长度640Byte) |
每帧音频数据大小的计算方法为：
音频采样率为8000Hz，采样通道为2，位深度为16，采样间隔为20ms，则每帧音频数据大小的计算公式为：
智能电视在采集音频数据时，正常情况下一帧数据占用640个字节，若所述音频数据为有效音频数据，则将所述640个字节的有效音频数据发送至所述音频数据接收端。若所述音频数据为无效数据时，对于这种全是0x00的无效数据帧，在传输过程中也占用了一帧的网络数据量，移动终端接收到这帧全是0x00的无效数据帧之后，向播放器的缓存中写入，也会增加手机系统的播放缓存。
本申请实施例中，将这些无效的音频数据进行压缩处理，不全部发送640个字节，而是将这段全是0x00的音频数据压缩为M个字节，也就是说，将这段无效音频数据重新赋值为M个字符的数据流，压缩后的音频数据具体表示为0x00 0x00 0x00 0x00 0x00 0x000x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00。其中，M为小于640的正整数。可选的，1≤M≤100。
本申请实施例中，无效音频数据的发送还用于保持智能电视与移动终端的通信连接。若规定智能电视与移动终端每个20ms需进行一个数据包的发送以保证通信连接，当智能电视在20ms未发送音频数据包，将会断开连接，这样导致下一时刻还有有效音频数据发送时，移动终端无法实时接收。因此，虽无实际音频数据，但是电视端还是会每隔20ms发送一个数据包到移动终端。
在对无效数据进行压缩处理以后，为使移动终端在接收到无效数据以后进行识别以便无需传输至其播放器，所以，在该压缩后的数据之前，添加一个指示信息，用于指示该数据包中的数据为无效数据。示例性的，在所述M个字节前添加前N位字节，N为自然数。指示信息位于音频数据的前5位字节，指示信息具体可以表示为0x01 0x02 0x03 0x04 0x05，可以预先与音频数据接收端端约定好采用哪些字符用于指示音频数据是否有效。
生成的无效数据包中，包括无效音频数据指示信息和被压缩的M位无效音频数据。
例如，无效音频数据指示信息为0x01 0x02 0x03 0x04 0x05，将这段全是0x00的音频数据压缩为20个字节，也就是说，将这段无效音频数据重新赋值为20个字符的数据流，压缩后的音频数据具体表示为0x01 0x02 0x03 0x04 0x05 0x00 0x00 0x00 0x00 0x000x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00。
可选地，在所述采集当前播放内容的音频数据之前，还包括：
控制所述智能终端进入录音状态，对所述智能终端进行音频录制。
相应地，例如在移动终端，参见图7，本申请实施例提供的一种音频播放方法，包括：
S201、接收音频数据发送端发送的音频数据；
S202、对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据。
例如，音频数据发送端为电视端。当移动终端接收的音频数据为无效音频数据时，丢弃这段无效音频数据，不向手机播放器的缓存中写入。当所述音频数据为有效音频数据时，播放所述音频数据。
可选地，在接收音频数据发送端发送的音频数据后，根据所述音频数据中的指示信息，判断所述音频数据是否为无效音频数据；
示例性的，所述指示信息位于所述音频数据的前N位字节，N为自然数。例如，指示信息位于音频数据的前5位字节，指示信息具体可以表示为0x010x02 0x03 0x04 0x05，可以预先与音频数据发送端约定好采用哪些字符用于指示音频数据是否有效。
可选地，当所述音频数据为有效音频数据时，播放所述音频数据，具体包括：当确定所述音频数据为有效音频数据时，将所述有效音频数据存入播放缓存中。
手机在播放音频数据之前，会将上层接收到的音频数据放在一个缓存队列中，手机的系统播放器播放时从缓存队列中取数据，播放完毕后，已播放的数据会从缓存队列中被删除，如果上层应用向缓存队列中写数据过快，而播放器从缓存队列中取数据相对较慢，则这个队列中的缓存数据会越来越多。
参见图8，为本申请实施例提供的一种延时优化总体流程图，电视端和移动终端总的具体处理流程包括：
电视端接收到手机的连接后，抓取整机(电视端)声音，并判断抓取的声音是否为有效性音频，具体地判断方法如下：
当电视端采集到一帧音频数据后，判断这一帧数据是否全部为0x00，也就是说，判断电视端一次采集的640个字节数据是否全是0x00，如果全是0x00，则定义这段数据为无效音频数据；如果这一帧数据不全是0x00，是由一些例如0x12等数据组成，则表示这段数据是有效音频数据。
当电视端采集的数据为有效音频数据时，将该有效音频数据逐帧发送给移动终端；当电视端采集的数据为无效音频数据时，先对这段无效音频数据做优化处理，即将640个字节数据全是0x00的无效音频数据重新赋值为20个字符的数据流(或者假数据)，例如这20个字符的数据流中，前五位可以定义为0x010x02 0x03 0x04 0x05(即用于指示无效音频数据的指示信息，该指示信息不限于0x01 0x02 0x03 0x04 0x05，也可以定义前五位为0x01 0x01 0x02 0x02 0x02等)，后面的15位全部为0x00，具体可以表示为0x01 0x02 0x030x04 0x05 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x000x00 0x00，这样这段640个字节的无效音频数据被压缩成20个字节的数据；电视端再将这20个字节的数据发送给移动终端。
当移动终端接收到电视端发送的音频数据包流时，先判断所接收的音频数据是否为有效音频数据，如果移动终端接收到的是上述具有20个字节的数据流：0x01 0x02 0x030x04 0x05 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x000x00 0x00，则通过判断数据的前5位0x01 0x02 0x03 0x04 0x05，确定所接收到的数据是无效音频数据(这段无效音频数据在电视端没有声音)，不会向手机播放器的缓存中写入数据，丢弃这段无效音频数据(这样可以起到清空手机系统音频缓存数据的作用)；如果移动终端接收到的不是上述具有20个字节的数据，而是具有640个字节的数据流，则确定所接收到的数据是有效音频数据，将这段有效音频数据全部写入手机播放器的缓存中。
相应地，在装置侧，参见图9，本申请实施例提供的一种智能终端，包括：
接收单元11，用于接收音频数据接收端发送的传音指令；
采集单元12，用于采集当前播放的音频数据；
处理单元13，用于若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
发送单元14，用于发送所述无效音频数据包至所述音频数据接收端。
在装置侧，参见图10，本申请实施例提供的一种智能终端，包括：
接收单元21，用于接收音频数据发送端发送的音频数据；
处理单元22，用于对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据；
播放单元23，用于当所述音频数据为有效音频数据时，播放所述音频数据。
参见图11，本申请实施例还提供的一种智能终端，包括：
处理器600，用于读取存储器610中的程序，执行下列过程：
采集当前播放的音频数据；
若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
发送所述无效音频数据包至音频数据接收端。
通过该装置，采集当前播放的音频数据；若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；发送所述无效音频数据包至音频数据接收端，从而减轻网络传输负担，优化音频的实时播放延迟。
可选地，若所述音频数据为有效音频数据，则将所述有效音频数据发送至所述音频数据接收端。
可选地，若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包，具体包括：
判断所述音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则在所述无效字节中添加无效音频数据指示信息，并对所述无效音频数据进行压缩处理，生成无效音频数据包。
可选地，所述采集到的音频数据为完整的一帧音频数据，并且该帧音频数据的字符全部为0，则确定所述音频数据为无效音频数据。
可选地，在所述采集当前播放内容的音频数据之前，还包括：
控制所述智能终端进入录音状态，对所述智能终端进行音频录制。参见图12，本申请实施例还提供的一种智能终端，包括：
处理器800，用于读取存储器810中的程序，执行下列过程：
接收音频数据发送端发送的音频数据；
对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据。
通过该智能终端，接收音频数据发送端发送的音频数据；对所述音频数据进行解析，若所述音频数据为有无效音频数据，则丢弃所述无效音频数据，从而减小音频数据接收端的播放缓存，优化音频的实时播放延迟。
可选地，当所述音频数据为有效音频数据时，播放所述音频数据。可选地，在接收音频数据发送端发送的音频数据后，根据所述音频数据中的指示信息，判断所述音频数据是否为无效音频数据；
可选地，所述指示信息位于所述音频数据的前N位字节，N为自然数。
可选地，当所述音频数据为有效音频数据时，播放所述音频数据，具体包括：当确定所述音频数据为有效音频数据时，将所述有效音频数据存入播放缓存中。
其中，在图11或图12中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。
本申请实施例提供了一种显示终端，该显示终端具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该显示终端可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
针对不同的显示终端，可选地，用户接口620和820可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器负责管理总线架构和通常的处理，存储器可以存储处理器在执行操作时所使用的数据。
可选地，处理器可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
综上所述，本申请实施例提供的一种音频发送、播放的方法及智能终端，用以减轻网络传输负担，减小音频数据接收端的播放缓存，从而优化音频的实时播放延迟。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种音频发送方法，其特征在于，该方法包括：
采集当前播放的音频数据；
若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
发送所述无效音频数据包至音频数据接收端；
其中，若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包，具体包括：
判断所述音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则在所述无效字节中添加无效音频数据指示信息，并对所述无效音频数据进行压缩处理，生成无效音频数据包；
若所述音频数据中至少存在一个字节为有效字节，则确定所述音频数据为有效数据。
2.根据权利要求1所述的方法，其特征在于，该方法还包括：
若所述音频数据为有效音频数据，则将所述有效音频数据发送至所述音频数据接收端。
3.根据权利要求1所述的方法，其特征在于，所述音频数据为完整的一帧音频数据，并且该帧音频数据的字符全部为0，则确定所述音频数据为无效音频数据。
4.根据权利要求1所述的方法，其特征在于，在所述采集当前播放的音频数据之前，还包括：
控制智能终端进入录音状态，对所述智能终端进行音频录制。
5.一种音频播放方法，其特征在于，该方法包括：
接收音频数据发送端发送的音频数据；
对所述音频数据进行解析，根据所述音频数据中的指示信息，判断所述音频数据是否为无效音频数据；若所述音频数据为有无效音频数据，则丢弃所述无效音频数据；
其中，所述指示信息为所述音频数据发送端根据以下方式添加的：
判断采集当前播放的音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则确定所述音频数据为无效音频数据，在所述无效字节中添加所述指示信息；若所述音频数据中至少存在一个字节为有效字节，则确定所述音频数据为有效数据。
6.根据权利要求5所述的方法，其特征在于，该方法还包括：
当所述音频数据为有效音频数据时，播放所述音频数据。
7.根据权利要求5所述的方法，其特征在于，所述指示信息位于所述音频数据的前N位字节，N为自然数。
8.根据权利要求5所述的方法，其特征在于，当所述音频数据为有效音频数据时，播放所述音频数据，具体包括：当确定所述音频数据为有效音频数据时，将所述有效音频数据存入播放缓存中。
9.一种智能终端，其特征在于，包括：
接收单元，用于接收音频数据接收端发送的传音指令；
采集单元，用于采集当前播放的音频数据；
处理单元，用于若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包；
发送单元，用于发送所述无效音频数据包至所述音频数据接收端；
其中，所述处理单元，用于若所述音频数据为无效音频数据，则在所述音频数据中添加无效音频数据指示信息，并对所述音频数据进行压缩处理，生成无效音频数据包时，具体用于：
判断所述音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则在所述无效字节中添加无效音频数据指示信息，并对所述无效音频数据进行压缩处理，生成无效音频数据包；
若所述音频数据中至少存在一个字节为有效字节，则确定所述音频数据为有效数据。
10.一种智能终端，其特征在于，包括：
接收单元，用于接收音频数据发送端发送的音频数据；
处理单元，用于对所述音频数据进行解析，根据所述音频数据中的指示信息，判断所述音频数据是否为无效音频数据；若所述音频数据为有无效音频数据，则丢弃所述无效音频数据；
播放单元，用于当所述音频数据为有效音频数据时，播放所述音频数据；
其中，所述指示信息为所述音频数据发送端根据以下方式添加的：
判断采集当前播放的音频数据是否全部为无效字节；
若所述音频数据全部为无效字节，则确定所述音频数据为无效音频数据，在所述无效字节中添加所述指示信息；若所述音频数据中至少存在一个字节为有效字节，则确定所述音频数据为有效数据。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811565099.4A CN109495776B (zh) | 2018-12-20 | 2018-12-20 | 一种音频发送、播放的方法及智能终端 |
| PCT/CN2019/104971 WO2020125076A1 (zh) | 2018-12-20 | 2019-09-09 | 音频播放、发送方法和装置 |
| EP19898733.1A EP3902271A4 (en) | 2018-12-20 | 2019-09-09 | AUDIO REPRODUCTION AND TRANSMISSION METHOD AND APPARATUS |
| PCT/CN2019/107265 WO2020125110A1 (zh) | 2018-12-20 | 2019-09-23 | 音频发送、播放的方法及智能电视 |
| CN201980079748.6A CN113261300B (zh) | 2018-12-20 | 2019-09-23 | 音频发送、播放的方法及智能电视 |
| US16/588,510 US11190836B2 (en) | 2018-12-20 | 2019-09-30 | Audio playing and transmitting methods and apparatuses |
| US17/512,912 US11871075B2 (en) | 2018-12-20 | 2021-10-28 | Audio playing and transmitting methods and apparatuses |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811565099.4A CN109495776B (zh) | 2018-12-20 | 2018-12-20 | 一种音频发送、播放的方法及智能终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109495776A CN109495776A (zh) | 2019-03-19 |
| CN109495776B true CN109495776B (zh) | 2021-02-05 |
Family
ID=65711075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811565099.4A Active CN109495776B (zh) | 2018-12-20 | 2018-12-20 | 一种音频发送、播放的方法及智能终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109495776B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11190836B2 (en) | 2018-12-20 | 2021-11-30 | Hisense Visual Technology Co., Ltd. | Audio playing and transmitting methods and apparatuses |
| WO2020125076A1 (zh) * | 2018-12-20 | 2020-06-25 | 青岛海信电器股份有限公司 | 音频播放、发送方法和装置 |
| CN113763918A (zh) * | 2021-08-18 | 2021-12-07 | 单百通 | 文本语音转化方法、装置、电子设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005184383A (ja) * | 2003-12-18 | 2005-07-07 | Sony Corp | リアルタイムデータ通信システム、リアルタイムデータ通信装置及びリアルタイムデータ通信方法 |
| CN102800324A (zh) * | 2012-07-30 | 2012-11-28 | 东莞宇龙通信科技有限公司 | 用于移动终端的音频处理系统和方法 |
| CN102971788A (zh) * | 2010-04-13 | 2013-03-13 | 弗兰霍菲尔运输应用研究公司 | 音频信号无缝播放的方法及编码器和解码器 |
| CN105430436A (zh) * | 2015-10-30 | 2016-03-23 | 青岛海尔智能家电科技有限公司 | 一种移动终端共享电视音频的方法及装置 |
-
2018
- 2018-12-20 CN CN201811565099.4A patent/CN109495776B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005184383A (ja) * | 2003-12-18 | 2005-07-07 | Sony Corp | リアルタイムデータ通信システム、リアルタイムデータ通信装置及びリアルタイムデータ通信方法 |
| CN102971788A (zh) * | 2010-04-13 | 2013-03-13 | 弗兰霍菲尔运输应用研究公司 | 音频信号无缝播放的方法及编码器和解码器 |
| CN102800324A (zh) * | 2012-07-30 | 2012-11-28 | 东莞宇龙通信科技有限公司 | 用于移动终端的音频处理系统和方法 |
| CN105430436A (zh) * | 2015-10-30 | 2016-03-23 | 青岛海尔智能家电科技有限公司 | 一种移动终端共享电视音频的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109495776A (zh) | 2019-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11336953B2 (en) | Video processing method, electronic device, and computer-readable medium | |
| US11930197B2 (en) | Video decoding method and apparatus, computer device, and storage medium | |
| CN109495776B (zh) | 一种音频发送、播放的方法及智能终端 | |
| US11871075B2 (en) | Audio playing and transmitting methods and apparatuses | |
| CN103379379B (zh) | 流媒体缓冲播放方法和装置 | |
| CN110662017B (zh) | 一种视频播放质量检测方法和装置 | |
| CN112272170B (zh) | 语音通信方法及装置、电子设备、存储介质 | |
| WO2018171548A1 (zh) | 一种解码方法、终端以及计算机可读存储介质 | |
| TW201729187A (zh) | 用於使用前饋壓縮統計控制記憶體頻率之系統及方法 | |
| WO2019071808A1 (zh) | 视频画面显示的方法、装置、系统、终端设备及存储介质 | |
| CN111078930A (zh) | 音频文件数据处理方法及装置 | |
| CN111352605A (zh) | 一种音频播放、发送的方法及装置 | |
| CN105786441A (zh) | 一种音频处理的方法、服务器、用户设备及系统 | |
| US8868419B2 (en) | Generalizing text content summary from speech content | |
| KR20140092517A (ko) | 카메라의 영상 데이터 압축 방법 및 이를 지원하는 단말기 | |
| US11908481B2 (en) | Method for encoding live-streaming data and encoding device | |
| CN104376859B (zh) | 一种播放列表自动调整的方法和网络音乐播放器 | |
| CN109495699B (zh) | 一种视频播放切换方法及装置 | |
| CN113261300B (zh) | 音频发送、播放的方法及智能电视 | |
| WO2023083213A1 (zh) | 一种数据解码方法、装置、电子设备及可读存储介质 | |
| CN111355996A (zh) | 一种音频播放方法及计算设备 | |
| CN116170632A (zh) | 一种声音补偿方法及装置 | |
| CN113856204A (zh) | 一种云游戏数据解码方法、装置、电子设备及存储介质 | |
| CN114422840A (zh) | 音轨切换的方法及装置 | |
| CN112311491A (zh) | 多媒体数据采集方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218 Applicant after: Hisense Visual Technology Co., Ltd. Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No. Applicant before: QINGDAO HISENSE ELECTRONICS Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |