Nothing Special   »   [go: up one dir, main page]

CN106416280A - 用于wi‑fi显示的媒体不可知显示 - Google Patents

用于wi‑fi显示的媒体不可知显示 Download PDF

Info

Publication number
CN106416280A
CN106416280A CN201580027634.9A CN201580027634A CN106416280A CN 106416280 A CN106416280 A CN 106416280A CN 201580027634 A CN201580027634 A CN 201580027634A CN 106416280 A CN106416280 A CN 106416280A
Authority
CN
China
Prior art keywords
source device
display
host device
data
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580027634.9A
Other languages
English (en)
Inventor
L·维尔马
V·R·拉韦恩德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106416280A publication Critical patent/CN106416280A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在本公开内容的技术中，源设备建立到宿设备的连接。源设备使用实时流传输协议(RTSP)机制来执行服务发现。在一些例子中，该服务发现向源设备提供宿设备的媒体不可知显示属性，以及提供源设备和宿设备之间的连接类型。源设备至少部分地基于该连接类型，对源设备处的应用数据进行封装。源设备在该源设备和宿设备之间建立流传输会话。在该流传输会话中，源设备向宿设备发送该封装的应用数据。

Description

用于WI-FI显示的媒体不可知显示
本申请要求享受于2014年5月28日提交的美国临时申请No.62/004,158的权益，故以引用方式将其全部内容并入本文。
技术领域
概括地说，本公开内容涉及媒体数据的传输和回放，具体地说，本公开内容涉及对于媒体数据的传输和回放的控制。
背景技术
无线显示(WD)系统包括源设备和一个或多个宿设备。源设备可以是能够在无线局域网中发送媒体内容的设备。宿设备可以是能够接收和呈现媒体内容的设备。源设备和宿设备可以是移动设备或者有线设备。作为移动设备，例如，源设备和宿设备可以包括移动电话、具有无线通信卡的便携式计算机、个人数字助理(PDA)、便携式媒体播放器、诸如照相机或者可携式摄像机之类的数字图像捕获设备、或者具有无线通信能力的其它闪存设备(其包括所谓的“智能”电话和“智能”平板或平板电脑)、或者其它类型的无线通信设备。作为有源设备，例如，源设备和宿设备可以包括电视、台式计算机、监视器、投影仪、打印机、音频放大器、机顶盒、游戏控制台、路由器和数字视频光碟(DVD)播放器和媒体服务器等等。
源设备可以向参与特定的媒体共享会话的宿设备中的一个或多个宿设备发送媒体数据(例如，音频(AV)数据)。可以在源设备的本地显示器以及宿设备的显示器中的每一个显示器处，对该媒体数据进行回放。具体而言，参与的宿设备中的每一个宿设备在其屏幕和音频设备上呈现所接收的用于呈现的媒体数据。在一些情况下，宿设备的用户可以向该宿设备应用用户输入，例如，触摸输入和远程控制输入。
发明内容
在一个例子中，本公开内容针对于一种发送媒体数据的方法，该方法包括：由源设备建立到宿设备的连接；由所述源设备使用实时流传输协议(RTSP)机制来执行服务发现，其中，所述服务发现提供所述宿设备的媒体不可知(agnostic)显示属性给所述源设备，以及提供所述源设备和所述宿设备之间的连接类型；由所述源设备至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装；由所述源设备在所述源设备和所述宿设备之间建立流传输会话；以及由所述源设备在所述流传输会话中，向所述宿设备发送所述封装的应用数据。
在另一个例子中，本公开内容针对于一种用于发送媒体数据的设备，该设备包括：存储应用数据的存储器和一个或多个处理器，其中所述一个或多个处理器被配置为：建立到宿设备的连接；使用实时流传输协议(RTSP)机制来执行服务发现，其中，所述服务发现提供所述宿设备的媒体不可知显示属性给源设备，以及提供所述源设备和所述宿设备之间的连接类型；至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装；在所述源设备和所述宿设备之间建立流传输会话；以及在该流传输会话中，向所述宿设备发送所述封装的应用数据。
在另一个例子中，本公开内容针对于一种包括存储在其上的指令的计算机可读介质，当所述指令在源设备的处理器中被执行时，用于：建立到宿设备的连接；使用实时流传输协议(RTSP)机制来执行服务发现，其中，所述服务发现提供所述宿设备的媒体不可知显示属性给所述源设备，以及提供所述源设备和所述宿设备之间的连接类型；至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装；在所述源设备和所述宿设备之间建立流传输会话；以及在所述流传输会话中，向所述宿设备发送所述封装的应用数据。
在另一个例子中，本公开内容针对于一种用于发送媒体数据的装置，该装置包括：用于建立到宿设备的连接的单元；用于使用实时流传输协议(RTSP)机制来执行服务发现的单元，其中，所述服务发现提供所述宿设备的媒体不可知显示属性给源设备，以及提供所述源设备和所述宿设备之间的连接类型；用于至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装的单元；用于在所述源设备和所述宿设备之间建立流传输会话的单元；以及用于在所述流传输会话中，向所述宿设备发送所述封装的应用数据的单元。
在下面的附图和描述中，阐述了本公开内容的一个或多个示例的细节。通过这些描述和附图，以及通过权利要求书，本公开内容的其它特征、对象和优点将是显而易见的。
附图说明
图1是示出包括源设备和宿设备的无线通信系统的框图。
图2是示出可以实现本公开内容的技术的源设备的例子的框图。
图3是示出可以实现本公开内容的技术的宿设备的例子的框图。
图4示出了可以实现本公开内容的技术的发射机系统和接收机系统的框图。
图5是根据本公开内容的一种或多种技术，示出无线显示数据和控制平面中的功能框的框图。
图6是根据本公开内容的一种或多种技术，示出具有媒体不可知显示服务的媒体不可知显示架构的框图。
图7是根据本公开内容的一种或多种技术，示出不具有媒体不可知显示服务的媒体不可知显示架构的框图。
图8是根据本公开内容的一种或多种技术，示出用于源设备上的媒体不可知显示架构的本公开内容的一种或多种技术的流程图。
图9是根据本公开内容的一种或多种技术，示出用于具有流传输调整能力的媒体不可知显示架构的本公开内容的一种或多种技术的流程图。
具体实施方式
本公开内容涉及媒体不可知显示(MAD)，其中MAD是一种与媒体不可知的显示协议。其在不管连接层(L2/L1)的情况下，规定了用于传送音频、视频、图形和用户输入控制的过程。MAD包括数据平面和控制平面。
在一些例子中，媒体不可知显示服务(MAD服务)可以被包括，MAD服务可以与MAD进行交互。MAD服务规定了用于预连接设备/服务发现、连接建立、维护和拆除的过程。MAD服务可能不是媒体不可知的，故其是可选的。
今天存在着用于不同的连接类型的多种截屏视频(screencasting)、镜像和流传输协议。例如，通用串行总线实施者论坛(USB-IF)规定了用于在通用串行总线(USB)连接上进行镜像的AV类型驱动程序。Wi-Fi联盟规定了用于在Wi-Fi上进行镜像的Miracast。并不是所有的都具有支持图形和用户输入控制传输和操作的能力。
MAD对连接(USB/Wi-Fi串行总线(WSB)/Wi-Fi等等)是不可知的，并实现音频、视频、图形内容和用户输入控制从MAD源到MAD宿的镜像和流传输。例如，MAD可以用于Wi-Fi联盟Wi-Fi CERTIFIED MiracastTM、USB连接、以太网连接、蓝牙连接、或者允许数据的传输的任何其它类型的有线或无线连接。
MAD可选地感知关于以下内容的MAD服务：(i)显示设备信息、(ii)显示音频格式、(iii)显示视频格式、(iii)显示3D视频格式、(iv)内容保护、(v)图形实体引擎、(vi)特定于供应商的信息。对于预连接设备/服务发现和连接建立而言，该信息是必需的。
MAD通过会话控制机制，来控制与以下有关的属性：(i)显示设备信息、(ii)显示音频格式、(iii)显示视频格式、(iii)显示3D视频格式、(iv)内容保护、(v)图形实体引擎、(vi)特定于供应商的信息。
此外，MAD还具有允许多个流的益处。多个窗可以被渲染在宿设备上，MAD可以具有与每一个窗相关联的数据流。
甚至更进一步讲，MAD具有允许对于从源设备向宿设备发送的流中的任何一个流进行调整的益处，其意味着质量可以针对从源设备向宿设备发送的流中的任何一个流而得到改善。基于无线信道质量反馈，MAD针对以下各项来适配数据流：(i)分辨率/刷新率、(ii)编解码器级别/编解码器简档、(iii)启用/禁用特定的数据流、(iv)启用/禁用TCP上的数据流、以及(v)启用/禁用UDP上的数据流。这在带宽改变明显时非常重要(例如，针对802.11ad和802.11ac之间的会话传输的10x倍)。
在本公开内容的技术中，源设备建立到宿设备的连接。源设备使用实时流传输协议(RTSP)机制来执行服务发现。在一些例子中，该服务发现向源设备提供宿设备的媒体不可知显示属性，以及提供源设备和宿设备之间的连接类型。源设备至少部分地基于该连接类型，对源设备处的应用数据进行封装。源设备在该源设备和宿设备之间建立流传输会话。在该流传输会话中，源设备向宿设备发送封装的应用数据。
图1是示出包括源设备120和宿设备160的无线显示(WD)系统100的例子的框图，其中源设备120和宿设备160能够基于性能信息消息，来支持媒体数据的传输的调整。如图1中所示，WD系统100包括经由通信信道150与宿设备160进行通信的源设备120。
源设备120可以包括存储器122、显示器124、扬声器126、音频和/或视频(A/V)编码器128、音频和/或视频(A/V)控制模块130和发射机/接收机(TX/RX)单元132。宿设备160可以包括发射机/接收机单元162、音频和/或视频(A/V)解码器164、显示器166、扬声器168、用户输入(UI)设备170和用户输入处理模块(UIPM)172。所示出的组件仅构成用于WD系统100的一种示例配置。其它配置可以包括与所示出的那些组件相比更少的组件或者可以包括所示出的那些组件之外的另外的组件。
在图1的例子中，源设备120可以在显示器124上显示A/V数据的视频部分，并且可以使用扬声器126来输出A/V数据的音频部分。A/V数据可以在本地被存储在存储器122上、从外部存储介质(诸如，文件服务器、硬盘、外部存储器、蓝光碟、DVD或者其它物理存储介质)存取、或者可以经由诸如互联网的网络连接而被流传输到源设备120。在一些实例中，A/V数据可以经由源设备120的照相机和麦克风被实时捕捉。A/V数据可以包括诸如电影、电视节目或音乐之类的多媒体内容，但还可以包括由源设备120生成的实时内容。例如，这种实时内容可以是由运行在源设备120上的应用产生的，或者是捕获到的视频数据(例如，作为视频电话会话的一部分)。在一些实例中，这种实时内容可以包括可供用户选择的用户输入选项的视频帧。在一些实例中，A/V数据可以包括不同类型内容的组合的视频帧，诸如具有覆盖在视频帧上的用户输入选项的电影或电视(TV)节目的视频帧。
除了经由显示器124和扬声器126在本地渲染A/V数据之外，源设备120的A/V编码器128可以对A/V数据进行编码，并且发射机/接收机单元132可以在通信信道150上向宿设备160发送经编码的数据。宿设备160的发射机/接收机单元162接收该经编码的数据，并且A/V解码器164可以对该经编码的数据进行解码，并输出经解码的数据以呈现在显示器166和扬声器168上。以此方式，由显示器124和扬声器126渲染的音频和视频数据可以同时地由显示器166和扬声器168进行渲染。音频数据和视频数据可以以帧进行布置，并且当被渲染时，音频帧可以与视频帧时间同步。
A/V编码器128和A/V解码器164可以实现任意数量的音频和视频压缩标准，诸如ITU-T H.264标准(或者称为MPEG-4，部分10)、高级视频编码(AVC)或者新涌现的高效率视频编码(HEVC)标准。此外，很多其它类型的专有或标准化的压缩技术也可以被使用。总的来说，A/V解码器164被配置为执行A/V编码器128的互易编码操作。虽然没有在图1中示出，但在一些方面，A/V编码器128和A/V解码器164均可以与音频编码器和解码器集成，并可以包括适当的复用器-解复用器(MUX-DEMUX)单元或者其它硬件和软件，以处理对公共数据流或单独数据流中的音频和视频二者的编码。
如下面所进一步详细描述的，除了实现如上所述的视频压缩标准之外，A/V编码器128还可以执行其它的编码功能。例如，在A/V数据被发送到宿设备160之前，A/V编码器128可以向A/V数据添加各种类型的元数据。在一些实例中，A/V数据可以以经编码的形式在源设备120上存储或者在源设备120处接收，从而不需要由A/V编码器128进行进一步压缩。
虽然图1示出了单独携带音频有效载荷数据和视频有效载荷数据的通信信道150，但应当理解的是，在某些实例中，视频有效载荷数据和音频有效载荷数据可以是公共数据流的一部分。如果适用的话，MUX-DEMUX单元可以遵循ITU H.223复用器协议或者诸如用户数据报协议(UDP)之类的其它协议。A/V编码器128和A/V解码器164均可以被实现为一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑单元、软件、硬件、固件或其任意组合。A/V编码器128和A/V解码器164中的每一个可以被包括在一个或多个编码器或解码器中，该一个或多个编码器或解码器中的任何一个可以被集成作为合并的编码器/解码器(CODEC)的一部分。因此，源设备120和宿设备160中的每一个可以包括：被配置为执行本公开内容的技术中的一个或多个技术的专门机器。
显示器124和显示器168可以包括各种视频输出设备中的任何一种，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、或者其它类型的显示设备。在这些或者其它例子中，显示器124和168均可以是发光显示器，也可以是透射型显示器。显示器124和显示器166还可以是触摸显示器，使得它们同时是输入设备和显示设备。这些触摸显示器可以是允许用户向各设备提供用户输入的电容式、电阻式或者其它类型的触摸板。
扬声器126和扬声器168可以包括各种音频输出设备中的任何一种，例如，头戴式耳机、单扬声器系统、多扬声器系统或者环绕声系统。此外，虽然将显示器124和扬声器126示出为源设备120的一部分，并且显示器166和扬声器168被示出为宿设备160的一部分，但源设备120和宿设备160实际上可以是设备系统。举例而言，显示器166可以是电视机，扬声器168可以是环绕声系统，A/V解码器164可以是有线或无线地连接到显示器166和扬声器168的外壳的一部分。在其它实例中，宿设备160可以是诸如平板计算机或智能电话之类的单个设备。在其它情况下，源设备120和宿设备160是类似的设备，例如，二者都是智能电话、平板计算机等等。在这种情况下，一个设备可以作为源设备来进行操作，而另一个设备可以作为宿设备来进行操作。在后续的通信会话中，这些角色可以反转。在其它情况下，源设备120可以包括诸如智能电话、膝上型计算机或平板计算机之类的移动设备，宿设备160可以包括更加静态的设备(例如，具有AC电源线)，在这种情况下，源设备120可以经由宿设备160传送音频和视频数据以便向一个或多个观众进行呈现。
发射机/接收机单元132和发射机/接收机单元162均可以包括各种混频器、滤波器、放大器和被设计用于信号调制的其它组件、以及被设计用于发送和接收数据的一付或多付天线和其它组件。通信信道150通常表示用于在源设备120和宿设备160之间发送音频/视频数据、控制数据和反馈的任何合适的通信介质或者不同通信介质的集合。通信信道150通常是相对短距离的通信信道，并且可以实现类似于Wi-Fi、蓝牙等等之类的物理信道结构，例如，实现规定的2.4GHz、3.6GHz、5GHz、60GHz或超宽带(UWB)频带结构。然而，通信信道150并不必需限于此方面，而可以包括任何无线或有线的通信介质(诸如射频(RF)频谱或者一个或多个物理传输线)或者无线介质和有线介质的任意组合。在其它的例子中，通信信道150甚至可以组成基于分组的网络(例如，有线或无线局域网、广域网或者诸如互联网之类的全球性网络)的一部分。此外，通信信道150可以由源设备120和宿设备160用来创建对等链路。
源设备120和宿设备160可以使用诸如实时流传输协议(RTSP)控制消息，建立根据能力协商的通信会话。举一个例子，源设备120可以向宿设备160发送用于建立通信会话的请求。一旦媒体共享会话被建立，则源设备120使用实时传输协议(RTP)，向参与的宿设备160发送媒体数据(例如，音频视频(AV)数据)。宿设备160在其显示器和音频设备(图1中没有示出)上渲染所接收的媒体数据。
随后，源设备120和宿设备160可以使用诸如来自IEEE802.11标准簇的标准的通信协议，在通信信道150上进行通信。举一个例子，通信信道150可以是网络通信信道。在该例子中，通信服务提供者可以通过将基站使用成网络集线器，来集中地操作和管理一个或多个网络。例如，源设备120和宿设备160可以根据Wi-Fi直接型或者Wi-Fi显示(WFD)标准进行通信，使得源设备120和宿设备160在不使用诸如无线接入点或者所谓的热点的媒介的情况下，直接彼此相互通信。源设备120和宿设备160还可以建立隧道化直接链路建立(TLDS)，以避免或减少网络拥塞。WFD和TDLS旨在建立相对短距离的通信会话。例如，虽然该背景下的相对短距离可以指小于近70米，但在嘈杂或者有障碍物的环境下，设备之间的距离可能甚至更短，例如小于近35米，或者小于近20米。
虽然本公开内容的技术有时可以参照WFD来描述，但可以预想的是，这些技术的各方面还可以与其它通信协议兼容。通过举例而非限定的方式，源设备120和宿设备之间的无线通信可以使用正交频分复用技术(OFDM)技术。各种各样的其它无线通信技术也可以被使用，包括但不限于时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或者OFDM、FDMA,TDMA和/或CDMA的任意组合。
除了对从源设备120接收的数据进行解码和渲染之外，宿设备160还可以从用户输入设备170接收用户输入。例如，用户输入设备170可以是键盘、鼠标、跟踪球或跟踪板、触摸屏、语音命令识别模块或者任何其它这种用户输入设备。UIPM 172将由用户输入设备170接收到的用户输入命令格式化成源设备120能够进行处理的数据分组结构。由发射机/接收机162在通信信道150上将这些数据分组发送给源设备120。发射机/接收机单元132接收这些数据分组，A/V控制模块130对这些数据分组进行解析以解释由用户输入设备170接收了的用户输入命令。基于在数据分组中接收的命令，A/V控制模块130可以改变被编码和发送的内容。以此方式，宿设备160的用户可以远程地对由源设备120发送的音频有效载荷数据和视频有效载荷数据进行控制，而无需直接地与源设备120进行交互。
此外，宿设备160的用户能够启动和控制源设备120上的应用。例如，宿设备160的用户能够启动存储在源设备120上的照片编辑应用，并且使用该应用对在本地存储在源设备120上的照片进行编辑。宿设备160可以向用户呈现看起来以及感觉上是正在宿设备160上在本地对照片编辑的用户体验，而实际上是正在源设备120上对该照片进行编辑。使用这样的配置，用户能够将一个设备的能力用于若干设备。例如，源设备120可以包括具有大量存储器和高端处理能力的智能电话。然而，当观看电影时，用户可能希望在具有较大显示屏幕的设备上观看电影，在这种情况下，宿设备160可以是平板计算机，或者甚至更大的显示器设备或电视。当想要发送或者回复电子邮件时，用户可能希望使用具有物理键盘的设备，在这种情况下，宿设备160可以是膝上型计算机。在上述两种情况下，尽管用户正与宿设备160进行交互，但大多数处理仍可以由源设备120来执行。源设备120和宿设备160可以通过在通信信道150上发送控制数据(例如，用于在任何给定的会话中协商和/或识别这些设备的能力的数据)，来促进双向交互。
在一些配置中，A/V控制模块130可以包括由源设备120的操作系统执行的操作系统过程。然而，在其它配置中，A/V控制模块130可以包括运行在源设备120上的应用的软件过程。在这种配置中，用户输入命令可以由软件过程进行解释，以使得宿设备160的用户直接与运行在源设备120上的应用而不是运行在源设备120上的操作系统进行交互。通过直接与应用而不是操作系统进行交互，宿设备160的用户可以访问不是源设备120的操作系统本地的命令库。此外，直接与应用进行交互可以使得命令能够由运行在不同平台上的设备更容易地发送和处理。
在宿设备160处应用的用户输入可以在通信信道150上被发送回源设备120。在一个例子中，反向信道架构(其还称为用户接口返回信道(UIBC))可以被实现成，使得宿设备160能够向源设备120发送在宿设备160处应用的用户输入。这种反向信道架构可以包括用于传送用户输入的上层消息和用于对宿设备160和源设备120处的用户接口能力进行协商的下层帧。UIBC可以位于宿设备160和源设备120之间的互联网协议(IP)传输层。用此方式，UIBC可以位于开放系统互联(OSI)通信模型中的传输层之上。为了提升可靠的传输以及对包含用户输入数据的数据分组的顺序传送，UIBC可以被配置为在其它基于分组的通信协议(诸如，传输控制协议/互联网协议(TCP/IP)或者用户数据报协议(UDP))之上运行。UDP和TCP可以在OSI分层架构中并行操作。TCP/IP可以使宿设备160和源设备120能够在分组丢失的情况下实现重传技术。
UIBC可以被设计为传输各种类型的用户输入数据(其包括跨平台用户输入数据)。例如，源设备120可以运行操作系统，而宿设备160运行诸如或者之类的另一种操作系统。不管平台怎样，UIPM 172都可以用A/V控制模块130可理解的形式，对接收的用户输入进行封装。UIBC可以支持多种的不同类型的用户输入格式，以便允许多种不同类型的源设备和宿设备利用该协议，而不管源设备和宿设备是否在不同的平台上操作。规定通用的输入格式以及特定于平台的输入格式可以支持，从而以用户输入可以由UIBC在源设备120和宿设备160之间传输的方式来提供灵活性。
根据本公开内容的技术，源设备(例如，源设备120)可以经由该连接类型，来建立到宿设备(例如，宿设备160)的连接。源设备可以使用实时流传输协议(RTSP)机制，来执行服务发现。在一些例子中，该服务发现可以向源设备提供宿设备的媒体不可知显示属性，并提供源设备和宿设备之间的连接类型。在一些例子中，媒体不可知显示属性可以包括下面中的一项或多项：显示设备信息、显示音频格式、显示视频格式、显示三维视频格式、内容保护、图形实体引擎和特定于供应商的信息。源设备可以至少部分地基于连接类型，对源设备处的应用数据进行封装。源设备可以在该源设备和宿设备之间建立流传输会话。在该流传输会话中，源设备可以向宿设备发送该封装的应用数据。
在一些例子中，源设备可以至少部分地基于封装的应用数据，在宿设备的显示器处对其显示进行镜像。源设备可以实现交互，以便经由用户接口返回信道来控制来自源设备的流传输会话的一个或多个流传输属性。在一些例子中，所述一个或多个流属性可以包括一个或多个分辨率、刷新率、编解码器级别、特定数据流的启用、特定数据流的禁用、TCP上的数据流的启用、TCP上的数据流的禁用、UDP上的数据流的启用、UDP上的数据流的禁用。响应于指示劣质连接的流传输属性，源设备可以调整流传输会话的一个或多个流属性。
如下面所进一步详细讨论的，可以将本公开内容的技术作为软件定义的协议，实现成源设备和宿设备上的软件。在其它例子中，可以将本公开内容的技术实现成源设备和宿设备中的被配置为执行本公开内容的技术的硬件。不是经由特定于物理链路或者连接类型的协议在两个设备之间对数据进行流传输，本公开内容的技术可以允许设备在不清楚物理链路的类型的情况下在彼此间对数据进行流传输。这可以允许与当前设备相比，在更大数量的多种设备之间实现更多的连接，其中当前设备只被配置为通过单独的Wi-Fi网络、USB连接或者蓝牙连接进行流传输。
图2是示出源设备220的一个例子的框图。源设备220可以是类似于图1的源设备120的设备，其可以以与源设备120相同的方式工作。源设备220包括本地显示器222、本地扬声器223、处理器231、存储器232、传输单元233和无线调制解调器234。如图2中所示，源设备220可以包括一个或多个处理器(即，处理器231)，所述一个或多个处理器对A/V数据进行编码和/或解码，以便进行传输、存储和显示。例如，A/V数据可以保存在存储器232处。存储器232可以存储完整的A/V文件，或者可以包括更小的缓冲区，其简单地存储A/V文件的一部分(例如，其是从另一个设备或者源被进行流传输的)。传输单元233可以对编码的A/V数据进行处理以进行网络传输。例如，经编码的A/V数据可以由处理器231进行处理，并由传输单元233封装到网络接入层(NAL)单元中，以便通过网络进行传输。这些NAL单元可以由无线调制解调器234经由网络连接发送给无线宿设备。例如，无线调制解调器234可以是Wi-Fi调制解调器，后者被配置为实现IEEE 802.11标准家族中的一种。此外，源设备220还可以包含没有在图中显示的用于发送NAL单元的其它组件，例如，蓝牙发射机、以太网发射机或者USB发射机。
此外，源设备220还可以在本地对A/V数据进行处理和显示。具体而言，显示处理器235可以对视频数据进行处理以便在本地显示器222上显示，音频处理器236可以对音频数据进行处理以便在扬声器223上输出。
如上面参照图1的源设备120所描述地，源设备220还可以从宿设备接收用户输入命令。用此方式，源设备220的无线调制解调器234接收封装的数据分组(例如，NAL单元)，并将这些封装的数据单元发送给传输单元233以便进行解封装。例如，传输单元233可以从这些NAL单元中提取数据分组，处理器231可以对这些数据分组进行解析以提取用户输入命令。基于这些用户输入命令，处理器231可以对于由源设备220向宿设备发送的经编码的A/V数据进行调整。用此方式，上面参照图1的A/V控制模块125所描述的功能可以完全地或者部分地由处理器231来实现。
通常，图2的处理器231代表多种处理器中的任意种，包括但不限于：一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、其它等同的集成逻辑电路或者分立逻辑电路、或者上述的某种组合。图2的存储器232可以包括多种易失性存储器或者非易失性存储器中的任意种，包括但不限于：诸如动态随机存取存储器(DRAM)、电阻RAM(RRAM)、同步动态随机存取存储器(SDRAM)之类的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦写可编程只读存储器(EEPROM)、闪存等等。存储器232可以包括用于存储音频/视频数据、以及其它类型的数据的计算机可读存储介质。另外，存储器232还可以存储指令和程序代码，该指令和程序代码由处理器231执行作为执行在本公开内容中所描述的各种技术的一部分，例如，以媒体不可知方式来发送媒体数据。
源设备220可以执行本公开内容的技术。存储器232可以存储本公开内容的技术中使用的应用数据。此外，处理器231可以被配置为建立到宿设备(诸如，图3的宿设备360)的连接。处理器231还可以使用实时流传输协议(RTSP)机制来执行服务发现。在一些例子中，该服务发现可以向源设备提供宿设备的媒体不可知显示属性，并提供源设备和宿设备之间的连接类型。处理器231还可以至少部分地基于该连接类型和媒体不可知显示属性，对源设备处的存储器232中存储的应用数据进行封装。处理器231还可以在源设备220和宿设备之间建立流传输会话。在该流传输会话中，处理器231可以向宿设备发送封装的应用数据。
图3示出了一种宿设备360的例子。宿设备360可以是类似于图1中的宿设备160的设备，宿设备360可以以与宿设备160相同的方式工作。宿设备360包括一个或多个处理器(即，处理器331)、存储器332、传输单元333、无线调制解调器334、显示处理器335、本地显示器362、音频处理器336、扬声器363和用户输入接口376。在无线调制解调器334处，宿设备360接收从源设备发送的封装的数据单元。例如，无线调制解调器334可以是Wi-Fi调制解调器，后者被配置为实现IEEE 802.11标准家族中的一种或多种标准。宿设备360还可以包含图中没有示出的用于接收封装的数据单元的其它组件，例如，蓝牙发射机、以太网发射机或者USB发射机。传输单元333可以对这些封装的数据单元进行解封装。例如，传输单元333可以从这些封装的数据单元中提取经编码的视频数据，并将该经编码的A/V数据发送给处理器331，以便进行解码和渲染用于进行输出。显示处理器335可以对解码的视频数据进行处理以便在本地显示器362上显示，音频处理器336可以对解码的音频数据进行处理以便在扬声器363上输出。
除了对音频和视频数据进行渲染之外，无线宿设备360还可以通过用户输入接口376接收用户输入数据。用户输入接口376可以代表多种用户输入设备中的任意种，包括但不限于：触摸显示界面、键盘、鼠标、语音命令模块、姿态捕获设备(例如，具有基于照相机的输入捕获能力)或者多种用户输入设备中的任何其它设备。通过用户输入接口376接收的用户输入可以由处理器331进行处理。该处理可以包括：根据本公开内容所描述的技术，生成包括所接收的用户输入命令的数据分组。一旦生成，传输单元333就可以对该数据分组进行处理，以便通过UIBC向无线源设备进行网络传输。
图3的处理器331代表多种处理器中的任意种，诸如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、其它等同的集成逻辑电路或者分立逻辑电路、或者上述的某种组合。图3的存储器332可以包括多种易失性存储器或者非易失性存储器中的任意种，包括但不限于：诸如动态随机存取存储器(DRAM)、电阻RAM(RRAM)、同步动态随机存取存储器(SDRAM)之类的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦写可编程只读存储器(EEPROM)、闪存等等。存储器232可以包括用于存储音频/视频数据、以及其它类型的数据的计算机可读存储介质。另外，存储器332还可以存储指令和程序代码，该指令和程序代码由处理器331执行作为执行在本发明中所描述的各种技术的一部分，例如，以媒体不可知方式来发送媒体数据。
宿设备360可以执行本公开内容的技术。存储器332可以存储在本公开内容的技术中使用的应用数据。此外，处理器331可以被配置为建立到源设备(诸如，图2的源设备220)的连接。处理器331还可以使用实时流传输协议(RTSP)机制，来执行服务发现。在一些例子中，服务发现可以向源设备提供宿设备的媒体不可知显示属性，并提供源设备和宿设备之间的连接类型。处理器331还可以在源设备和宿设备360之间建立流传输会话。在该流传输会话中，处理器331可以接收去往该宿设备的封装的应用数据。该封装的应用数据可以至少部分地基于连接类型和媒体不可知显示属性。
图4示出了一种示例性发射机系统410和接收机系统450的框图，其中图1的发射机/接收机132和发射机/接收机162可以使用该发射机系统410和接收机系统450在通信信道150上进行通信。在发射机系统410处，从数据源412向发射(TX)数据处理器414提供用于多个数据流的业务数据。每一个数据流可以在各自的发射天线上进行发送。TX数据处理器414基于为每一个数据流所选定的具体编码方案，对该数据流的业务数据进行格式化、编码和交织。
可以使用正交频分复用(OFDM)技术将每一个数据流的编码后数据与导频数据进行复用。此外，还可以使用多种其它无线通信技术，包括但不限于：时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)、或者OFDM、FDMA、TDMA和/或CDMA的任意组合。
继续参见图4，通常，导频数据是以已知方式处理的已知数据模式，接收机系统可以使用该导频数据来估计信道响应。随后，基于为每一个数据流所选定的特定调制方案(例如，二进制移相键控(BPSK)、正交移相键控(QPSK)、M-PSK或者M-QAM(正交幅度调制)，其中M可以是2的幂)，对该数据流的复用后的导频和编码数据进行调制(即，符号映射)，以便提供调制符号。通过由可以与存储器432相耦合的处理器430执行的指令来确定每一个数据流的数据速率、编码和调制。
随后，可以向TX多输入多输出(MIMO)处理器420提供针对这些数据流的调制符号，TX MIMO处理器420可以进一步处理这些调制符号(例如，用于OFDM)。随后，TX MIMO处理器420可以向NT个发射机(TMTR)422a到422t提供NT个调制符号流。在某些方面，TX MIMO处理器420对于数据流的符号和用于发射该符号的天线应用波束成形权重。
每一个发射机422可以接收和处理各自的符号流，以便提供一个或多个模拟信号，并进一步调节(例如，放大、滤波和上变频)这些模拟信号以便提供适合于在MIMO信道上传输的调制信号。随后，分别从NT付天线424a到424t发射来自发射机422a到422t的NT个调制信号。
在接收机系统450处，由NR付天线452a到452r接收发送的调制信号，并将来自每一付天线452的所接收信号提供给各自的接收机(RCVR)454a到454r。接收机454调节(例如，滤波、放大和下变频)各自接收的信号，对调节后的信号进行数字化以便提供采样，并进一步处理这些采样以便提供相应的“接收的”符号流。
随后，接收(RX)数据处理器460基于特定的接收机处理技术，从NR个接收机454接收NR个接收的符号流，并对其进行处理，以便提供NT个“检测的”符号流。随后，RX数据处理器460解调、解交织和解码每一个检测的符号流，以便恢复出该数据流的业务数据。RX数据处理器460所执行的处理与发射机系统410处的TX MIMO处理器420和TX数据处理器414所执行的处理是互补的。
与存储器472相耦合的处理器470定期地确定使用哪个预编码矩阵。反向链路消息可以包括关于通信链路和/或所接收的数据流的各种类型的信息。随后，该反向链路消息由TX数据处理器438进行处理，由调制器480进行调制，由发射机454a到454r进行调节，并发送回发射机系统410，其中TX数据处理器438还从数据源436接收用于多个数据流的业务数据。
在发射机系统410，来自接收机系统450的调制信号由天线424进行接收，由接收机422进行调节，由解调器440进行解调，并由RX数据处理器442进行处理，以提取由接收机系统450发送的反向链路消息。随后，处理器430确定使用哪个预编码矩阵来确定波束成形权重，并随后处理所提取的消息。
在一些例子中，发射机系统410可以被实现在源设备(诸如，图1的源设备120或者图2的源设备220)中。因此，发射机系统410可以执行本公开内容的技术。例如，在该流传输会话中，发射机系统410可以向包含接收机系统450的宿设备发送封装的应用数据。
图5是根据本公开内容的一种或多种技术，示出无线显示数据和控制平面中的功能框的框图。在一些例子中，源设备包括数据平面和控制平面。数据平面包含视频编解码器522(如Wi-Fi显示技术规范的第3.4.2和3.4.3中所描述的)、音频编解码器518(如Wi-Fi显示技术规范的第3.4.1中所描述的)、PES分组化516(如Wi-Fi显示技术规范的附录B中所描述的)、高清晰度复制协议(HDCP)系统2.0/2.1/2.2 514(如Wi-Fi显示技术规范的第4.7节中所描述的)、以及RTP 510/UDP 508/IP 504承载的MPEG2变换流(MPEG2-TS)512(如Wi-Fi显示技术规范的第4.10.2节和附录B中所描述的)。控制平面包含TCP 506/IP 504承载的RTSP 520(如Wi-Fi显示技术规范的第6节中所描述的)、远程I2C读/写520(如Wi-Fi显示技术规范的第7节中所描述的)、具有HIDC 524的UIBC 518和通用用户输入526(如Wi-Fi显示技术规范的第4.11节中所描述的)、以及HDCP会话密钥建立(如Wi-Fi显示技术规范的第4.7节中所描述的)。Wi-Fi P2P/TDLS块502使用Wi-Fi P2P或者TDLS来形成层2连接(如Wi-Fi显示技术规范的第4.5节中所描述的)。
图6是根据本公开内容的一种或多种技术，示出具有媒体不可知显示服务的媒体不可知显示架构的框图。在该例子中，媒体不可知显示602包含UIBC 604、图形实体引擎(GEE)606、音频/视频(AV)类608、视频编解码器610、音频编解码器612、HDCP 614、RTP 616和RTSP 618。在一些例子中，连接类型620是以太网622、Wi-Fi连接624、蓝牙(BT)连接626或者通用串行总线(USB)连接628中的任意种。媒体不可知显示602可以与媒体不可知显示服务636进行通信，用于连接事件和服务拆除触发。媒体不可知显示602或者媒体不可知显示服务636可以使用以太网622、Wi-Fi 624、BT 626或者USB 628中的任何连接类型620，经由TCP 630、UDP 632或者IP 634中的任意者(单独地或者组合地)，与媒体访问控制(MAC)地址进行通信。媒体不可知显示服务636可以使用用于服务发现和搜索设置的原语，与MAC地址进行通信。媒体不可知设备602可以使用MAC上的直接路径，与MAC地址进行通信。
根据本公开内容的技术，源设备可以经由数据路径，向宿设备发送封装的应用数据。在图6的例子中，下面的数据路径选项中的任意者都是可以的：
音频编解码器612–>HDCP 614–>RTP 616–>UDP 632–>IP 634–>MAC
音频编解码器612–>HDCP 614–>RTP 616–>TCP 630–>IP 634–>MAC
音频编解码器612–>HDCP 614–>RTP 616–>LLC/SNAP–>MAC
视频编解码器610–>HDCP 614–>RTP 616–>UDP 632–>IP 624–>MAC
视频编解码器610–>HDCP 614–>RTP 616–>TCP 630–>IP 624–>MAC
视频编解码器610–>HDCP 614–>RTP 616–>LLC/SNAP–>MAC
AV类608–>HDCP 614–>RTP 616–>UDP 632–>IP 624–>MAC
AV类608–>HDCP 614–>RTP 616–>TCP 630–>IP 624–>MAC
AV类608–>HDCP 614–>RTP 616–>LLC/SNAP–>MAC
GEE 606–>HDCP 614–>RTP 616–>UDP 632–>IP 624–>MAC
GEE 606–>HDCP 614–>RTP 616–>TCP 630–>IP 624–>MAC
GEE 606–>HDCP 614–>UDP 632–>IP 624–>MAC
GEE 606–>HDCP 614–>TCP 630–>IP 624–>MAC
GEE 606–>TCP 630–>IP 624–>MAC
GEE 606–>UDP 632–>IP 624–>MAC
在图6的例子中，可能的会话控制或者后连接发现选项路径是：RTSP618–>TCP630–>IP 624–>MAC。
在图6的例子中，可能的用户输入控制选项路径是：UIBC 604–>TCP630–>IP 624–>MAC。
在图6的例子中，下面的预连接发现选项路径中的任意者都是可以的：
MAD服务636–>TCP 630–>IP 624–>MAC
MAD服务636–>UDP 632–>IP 624–>MAC
MAD服务636–>LLC/SNAP–>MAC
图7是根据本公开内容的一种或多种技术，示出不具有媒体不可知显示服务的媒体不可知显示架构的框图。在该例子中，媒体不可知显示702包含UIBC 704、图形实体引擎(GEE)706、音频/视频(AV)类708、视频编解码器710、音频编解码器712、HDCP 714、RTP 716和RTSP 718。媒体不可知显示702可以使用以太网722、Wi-Fi 724、BT 726或者USB 728的任何连接类型720，经由TCP 730、UDP 732或者IP 734中的任意者(单独地或者组合地)，与媒体访问控制(MAC)地址进行通信。媒体不可知设备702可以使用MAC上的直接路径，与MAC地址进行通信。
根据本公开内容的技术，源设备可以经由数据路径向宿设备发送封装的应用数据。在图7的例子中，下面的数据路径选项中的任何一个都是可以的：
音频编解码器712–>HDCP 714–>RTP 716–>UDP 732–>IP 734–>MAC
音频编解码器712–>HDCP 714–>RTP 716–>TCP 730–>IP 734–>MAC
音频编解码器712–>HDCP 714–>RTP 716–>LLC/SNAP–>MAC
视频编解码器710–>HDCP 714–>RTP 716–>UDP 732–>IP 724–>MAC
视频编解码器710–>HDCP 714–>RTP 716–>TCP 730–>IP 724–>MAC
视频编解码器710–>HDCP 714–>RTP 716–>LLC/SNAP–>MAC
AV类708–>HDCP 714–>RTP 716–>UDP 732–>IP 724–>MAC
AV类708–>HDCP 714–>RTP 716–>TCP 730–>IP 724–>MAC
AV类708–>HDCP 714–>RTP 716–>LLC/SNAP–>MAC
GEE 706–>HDCP 714–>RTP 716–>UDP 732–>IP 724–>MAC
GEE 706–>HDCP 714–>RTP 716–>TCP 730–>IP 724–>MAC
GEE 706–>HDCP 714–>UDP 732–>IP 724–>MAC
GEE 706–>HDCP 714–>TCP 730–>IP 724–>MAC
GEE 706–>TCP 730–>IP 724–>MAC
GEE 706–>UDP 732–>IP 724–>MAC
在图7的例子中，可能的会话控制或者后连接发现选项路径是：RTSP718–>TCP730–>IP 724–>MAC。
在图7的例子中，可能的用户输入控制选项路径是：UIBC 704–>TCP730–>IP 724–>MAC。
图8是示出用于源设备上的媒体不可知显示架构的本公开内容的一种或多种技术的流程图。在本公开内容的技术中，源设备(例如，源设备120)建立到宿设备(例如，宿设备160)的连接(802)。在一些例子中，源设备包括数据平面和控制平面。
如图8中所示，源设备使用实时流传输协议(RTSP)机制来执行服务发现(804)。在一些例子中，该服务发现向源设备提供宿设备的媒体不可知显示属性，以及提供源设备和宿设备之间的连接类型。在一些例子中，该连接类型是以太网连接、Wi-Fi连接、蓝牙连接或者通用串行总线连接中的任意种。在一些例子中，媒体不可知显示属性包括下面中的一项或多项：显示设备信息、显示音频格式、显示视频格式、显示三维视频格式、内容保护、图形实体引擎、以及特定于供应商的信息。
源设备至少部分地基于连接类型，对源设备处的应用数据进行封装(806)。源设备在该源设备和宿设备之间建立流传输会话(808)。在一些例子中，源设备可以建立多个流传输会话。在该流传输会话中，源设备向宿设备发送封装的应用数据(810)。
图9是示出用于具有流传输调整能力的媒体不可知显示架构的本公开内容的一种或多种技术的流程图。源设备至少部分地基于封装的应用数据，在宿设备的显示器处，对其显示进行镜像(902)。源设备经由用户接口返回信道，启用交互以控制来自源设备的流传输会话的一个或多个流传输属性(904)。在一些例子中，所述一个或多个流传输属性包括下面中的一项或多项：分辨率、刷新率、编解码器级别、特定数据流的启用、特定数据流的禁用、TCP上的数据流的启用、TCP上的数据流的禁用、UDP上的数据流的启用、以及UDP上的数据流的禁用。响应于流传输属性指示劣质连接，源设备调整流传输会话的一个或多个流传输属性(906)。
在一个或多个示例中，本文所描述功能可以用硬件、软件、固件或其任意组合来实现。当以软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质可以包括计算机数据存储介质或通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。在一些示例中，计算机可读介质可以包括非临时性计算机可读介质。数据存储介质可以是一个或多个计算机或者一个或多个处理器为了获取指令、代码和/或数据结构以实现本公开内容中所描述的技术而可以访问的任何可用介质。
举例而言而非限制，这种计算机可读存储介质可以包括非临时性介质，诸如，RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储介质或其它磁存储设备、闪存、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。如本文所使用的，盘(disk)和碟(disc)包括紧致碟(CD)、激光碟、光碟、数字多用途光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上面的组合也应当包括在计算机可读介质的范围内。
代码可以由诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它等同的集成电路或者分立逻辑电路之类的一个或多个处理器来执行。因此，如本文所使用的术语“处理器”可以指代适合于实现本文所描述的技术的任何前述结构或者任何其它结构。此外，在一些方面，本文所描述的功能可以在被配置为实现编码和解码的或者被并入到组合的编解码器中的专用硬件和/或软件模块内提供。此外，这些技术可以被全部地实现在一个或多个电路或者逻辑单元中。
本公开内容的技术可以用多种设备或装置来实现，包括无线手持装置、集成电路(IC)或者IC集(例如，芯片集)。在本公开内容中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，而并不是必需要求由不同的硬件单元来实现。相反，如上所述，结合适当的软件和/或固件，各个单元可以被组合在编解码器硬件单元中、或者通过包括如上所述的一个或多个处理器的互操作硬件单元的集合来提供。
本公开内容的各种例子被描述。这些和其它例子落入所附权利要求书的范围内。

Claims (28)

1.一种发送媒体数据的方法，所述方法包括：
由源设备建立到宿设备的连接；
由所述源设备使用实时流传输协议(RTSP)机制来执行服务发现，其中，所述服务发现向所述源设备提供所述宿设备的媒体不可知显示属性，以及提供所述源设备和所述宿设备之间的连接类型；
由所述源设备至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装；
由所述源设备在所述源设备和所述宿设备之间建立流传输会话；以及
由所述源设备在所述流传输会话中，向所述宿设备发送所述封装的应用数据。
2.根据权利要求1所述的方法，还包括：
至少部分地基于所述封装的应用数据，在所述宿设备的显示器处，对所述源设备的显示进行镜像；
经由所述源设备处的用户接口返回信道，启用交互以控制来自所述源设备的所述流传输会话的一个或多个流传输属性；以及
响应于所述流传输属性指示劣质连接，由所述源设备调整所述流传输会话的所述一个或多个流传输属性。
3.根据权利要求2所述的方法，其中，所述一个或多个流传输属性包括下面中的一项或多项：分辨率、刷新率、编解码器级别、编解码器简档、特定数据流的启用、特定数据流的禁用、TCP上的数据流的启用、TCP上的数据流的禁用、UDP上的数据流的启用、以及UDP上的数据流的禁用。
4.根据权利要求1所述的方法，其中，所述源设备建立多个流传输会话。
5.根据权利要求1所述的方法，其中，所述连接类型是以太网连接、Wi-Fi连接、蓝牙连接或者通用串行总线连接中的任意种。
6.根据权利要求1所述的方法，其中，所述源设备包括数据平面和控制平面。
7.根据权利要求1所述的方法，其中，所述媒体不可知显示属性包括下面中的一项或多项：显示设备信息、显示音频格式、显示视频格式、显示三维视频格式、内容保护、图形实体引擎、以及特定于供应商的信息。
8.一种用于发送媒体数据的设备，所述设备包括：
存储应用数据的存储器；以及
一个或多个处理器，其配置为：
建立到宿设备的连接；
使用实时流传输协议(RTSP)机制来执行服务发现，其中，所述服务发现向所述源设备提供所述宿设备的媒体不可知显示属性，以及提供所述源设备和所述宿设备之间的连接类型；
至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装；
在所述源设备和所述宿设备之间建立流传输会话；以及
在所述流传输会话中，向所述宿设备发送所述封装的应用数据。
9.根据权利要求8所述的设备，其中，所述一个或多个处理器还被配置为：
至少部分地基于所述封装的应用数据，在所述宿设备的显示器处，对所述源设备的显示进行镜像；
经由用户接口返回信道，启用交互以控制来自所述源设备的所述流传输会话的一个或多个流传输属性；以及
响应于所述流传输属性指示劣质连接，调整所述流传输会话的所述一个或多个流传输属性。
10.根据权利要求9所述的设备，其中，所述一个或多个流传输属性包括下面中的一项或多项：分辨率、刷新率、编解码器级别、编解码器简档、特定数据流的启用、特定数据流的禁用、TCP上的数据流的启用、TCP上的数据流的禁用、UDP上的数据流的启用、以及UDP上的数据流的禁用。
11.根据权利要求8所述的设备，其中，所述一个或多个处理器还被配置为建立多个流传输会话。
12.根据权利要求8所述的设备，其中，所述连接类型是以太网连接、Wi-Fi连接、蓝牙连接或者通用串行总线连接中的任意种。
13.根据权利要求8所述的设备，其中，所述设备还包括数据平面和控制平面。
14.根据权利要求8所述的设备，其中，所述媒体不可知显示属性包括下面中的一项或多项：显示设备信息、显示音频格式、显示视频格式、显示三维视频格式、内容保护、图形实体引擎、以及特定于供应商的信息。
15.一种包括其上存储的指令的计算机可读介质，所述指令当被执行在源设备的处理器中时用以：
建立到宿设备的连接；
使用实时流传输协议(RTSP)机制来执行服务发现，其中，所述服务发现向所述源设备提供所述宿设备的媒体不可知显示属性，以及提供所述源设备和所述宿设备之间的连接类型；
至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装；
在所述源设备和所述宿设备之间建立流传输会话；以及
在所述流传输会话中，向所述宿设备发送所述封装的应用数据。
16.根据权利要求15所述的计算机可读存储介质，其中，所述指令还使所述源设备以：
至少部分地基于所述封装的应用数据，在所述宿设备的显示器处，对所述源设备的显示进行镜像；
经由所述源设备处的用户接口返回信道，启用交互以控制来自所述源设备的所述流传输会话的一个或多个流传输属性；以及
响应于所述流传输属性指示劣质连接，调整所述流传输会话的所述一个或多个流传输属性。
17.根据权利要求16所述的计算机可读存储介质，其中，所述一个或多个流传输属性包括下面中的一项或多项：分辨率、刷新率、编解码器级别、编解码器简档、特定数据流的启用、特定数据流的禁用、TCP上的数据流的启用、TCP上的数据流的禁用、UDP上的数据流的启用、以及UDP上的数据流的禁用。
18.根据权利要求15所述的计算机可读存储介质，其中，所述源设备建立多个流传输会话。
19.根据权利要求15所述的计算机可读存储介质，其中，所述连接类型是以太网连接、Wi-Fi连接、蓝牙连接或者通用串行总线连接中的任意种。
20.根据权利要求15所述的计算机可读存储介质，其中，所述源设备包括数据平面和控制平面。
21.根据权利要求15所述的计算机可读存储介质，其中，所述媒体不可知显示属性包括下面中的一项或多项：显示设备信息、显示音频格式、显示视频格式、显示三维视频格式、内容保护、图形实体引擎、以及特定于供应商的信息。
22.一种用于发送媒体数据的装置，所述装置包括：
用于建立到宿设备的连接的单元；
用于使用实时流传输协议(RTSP)机制来执行服务发现的单元，其中，所述服务发现向所述源设备提供所述宿设备的媒体不可知显示属性，以及提供所述源设备和所述宿设备之间的连接类型；
用于至少部分地基于所述连接类型和所述媒体不可知显示属性，对所述源设备处的应用数据进行封装的单元；
用于在所述源设备和所述宿设备之间建立流传输会话的单元；以及
用于在所述流传输会话中，向所述宿设备发送所述封装的应用数据的单元。
23.根据权利要求22所述的装置，还包括：
用于至少部分地基于所述封装的应用数据，在所述宿设备的显示器处，对所述源设备的显示进行镜像的单元；
用于经由用户接口返回信道，启用交互以控制来自所述源设备的所述流传输会话的一个或多个流传输属性的单元；以及
用于响应于所述流传输属性指示劣质连接，调整所述流传输会话的所述一个或多个传输流属性的单元。
24.根据权利要求23所述的装置，其中，所述一个或多个流传输属性包括下面中的一项或多项：分辨率、刷新率、编解码器级别、编解码器简档、特定数据流的启用、特定数据流的禁用、TCP上的数据流的启用、TCP上的数据流的禁用、UDP上的数据流的启用、以及UDP上的数据流的禁用。
25.根据权利要求22所述的装置，其中，用于建立流传输会话的单元，包括：用于建立多个流传输会话的单元。
26.根据权利要求22所述的装置，其中，所述连接类型是以太网连接、Wi-Fi连接、蓝牙连接或者通用串行总线连接中的任意种。
27.根据权利要求22所述的装置，其中，所述装置包括数据平面和控制平面。
28.根据权利要求22所述的装置，其中，所述媒体不可知显示属性包括下面中的一项或多项：显示设备信息、显示音频格式、显示视频格式、显示三维视频格式、内容保护、图形实体引擎、以及特定于供应商的信息。
CN201580027634.9A 2014-05-28 2015-05-13 用于wi‑fi显示的媒体不可知显示 Pending CN106416280A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462004158P 2014-05-28 2014-05-28
US62/004,158 2014-05-28
US14/530,283 US20150350288A1 (en) 2014-05-28 2014-10-31 Media agnostic display for wi-fi display
US14/530,283 2014-10-31
PCT/US2015/030607 WO2015183560A1 (en) 2014-05-28 2015-05-13 Media agnostic display for wi-fi display

Publications (1)

Publication Number Publication Date
CN106416280A true CN106416280A (zh) 2017-02-15

Family

ID=53284538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027634.9A Pending CN106416280A (zh) 2014-05-28 2015-05-13 用于wi‑fi显示的媒体不可知显示

Country Status (6)

Country Link
US (1) US20150350288A1 (zh)
EP (1) EP3149954A1 (zh)
JP (1) JP2017521903A (zh)
KR (1) KR20170013873A (zh)
CN (1) CN106416280A (zh)
WO (1) WO2015183560A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787377A (zh) * 2020-08-19 2020-10-16 青岛海信传媒网络技术有限公司 显示设备及投屏方法
CN112789837A (zh) * 2018-11-13 2021-05-11 索尼公司 在现场流传输框架中建立流传输会话的方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105830457B (zh) * 2014-11-27 2020-03-10 索尼公司 信息处理设备和信息处理方法
US20160308917A1 (en) * 2015-04-20 2016-10-20 Intel Corporation Sensor input transmission and associated processes
US10530856B2 (en) * 2016-02-09 2020-01-07 Qualcomm Incorporated Sharing data between a plurality of source devices that are each connected to a sink device
US10033789B2 (en) * 2016-09-29 2018-07-24 Intel Corporation Connectionless wireless media broadcast
WO2018144026A1 (en) 2017-02-06 2018-08-09 Hewlett-Packard Development Company, L.P. Media content control of source devices on sink devices
US11889138B2 (en) 2017-05-02 2024-01-30 Hanwha Techwin Co., Ltd. Systems, servers and methods of remotely providing media to a user terminal and managing information associated with the media
US10644928B2 (en) 2017-05-02 2020-05-05 Hanwha Techwin Co., Ltd. Device, system, and method to perform real-time communication
CN107801065A (zh) * 2017-09-12 2018-03-13 捷开通讯(深圳)有限公司 基于WiFi Display的多媒体文件共享方法、设备以及系统
KR102411287B1 (ko) * 2017-11-22 2022-06-22 삼성전자 주식회사 미디어 출력 제어 장치 및 방법
WO2019225829A1 (ko) * 2018-05-23 2019-11-28 엘지전자 주식회사 Ma-usb에 기반한 p2p 통신을 위한 방법 및 이를 이용한 무선 장치
WO2020022728A1 (ko) * 2018-07-25 2020-01-30 엘지전자 주식회사 Ma-usb 연결을 지원하기 위한 방법 및 이를 이용한 무선 장치
CN110995830B (zh) * 2019-11-29 2023-01-31 武汉卓讯互动信息科技有限公司 一种网络资源处理方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110107388A1 (en) * 2009-11-02 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for providing user input back channel in audio/video system
CN102348087A (zh) * 2010-07-23 2012-02-08 索尼公司 转发器设备和控制方法
CN103220371A (zh) * 2012-01-18 2013-07-24 中国移动通信集团公司 内容适配方法及系统
US20130223539A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method for transmitting stream between electronic devices and electronic device for the method thereof
CN103368935A (zh) * 2012-03-11 2013-10-23 三星电子株式会社 在Wi-Fi显示网络中提供增强Wi-Fi显示会话的方法和装置
CN103404114A (zh) * 2011-01-21 2013-11-20 高通股份有限公司 用于无线显示器的用户输入返回信道
CN103442381A (zh) * 2013-08-29 2013-12-11 深圳市同洲电子股份有限公司 一种Wifi Display的优化方法、终端及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5918270B2 (ja) * 2011-01-14 2016-05-18 サムスン エレクトロニクス カンパニー リミテッド ワイファイダイレクト通信方式におけるシンクデバイスからソースデバイスにユーザの入力を送信するための方法及び装置
US8887222B2 (en) * 2011-09-14 2014-11-11 Qualcomm Incorporated Multicasting in a wireless display system
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
EP2918045A1 (en) * 2012-11-06 2015-09-16 Tollgrade Communications, Inc. Agent-based communication service quality monitoring and diagnostics
KR102016347B1 (ko) * 2013-02-12 2019-08-30 삼성전자주식회사 클라이언트 및 서버 간 연결 방법 및 장치
WO2014204193A1 (en) * 2013-06-18 2014-12-24 Samsung Electronics Co., Ltd. Method and apparatus for controlling content shared between devices in wireless communication system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110107388A1 (en) * 2009-11-02 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for providing user input back channel in audio/video system
CN102348087A (zh) * 2010-07-23 2012-02-08 索尼公司 转发器设备和控制方法
CN103404114A (zh) * 2011-01-21 2013-11-20 高通股份有限公司 用于无线显示器的用户输入返回信道
CN103220371A (zh) * 2012-01-18 2013-07-24 中国移动通信集团公司 内容适配方法及系统
US20130223539A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method for transmitting stream between electronic devices and electronic device for the method thereof
CN103368935A (zh) * 2012-03-11 2013-10-23 三星电子株式会社 在Wi-Fi显示网络中提供增强Wi-Fi显示会话的方法和装置
CN103442381A (zh) * 2013-08-29 2013-12-11 深圳市同洲电子股份有限公司 一种Wifi Display的优化方法、终端及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112789837A (zh) * 2018-11-13 2021-05-11 索尼公司 在现场流传输框架中建立流传输会话的方法和装置
CN112789837B (zh) * 2018-11-13 2023-05-12 索尼公司 在现场流传输框架中建立流传输会话的方法和装置
CN111787377A (zh) * 2020-08-19 2020-10-16 青岛海信传媒网络技术有限公司 显示设备及投屏方法
CN111787377B (zh) * 2020-08-19 2022-06-28 青岛海信传媒网络技术有限公司 显示设备及投屏方法

Also Published As

Publication number Publication date
US20150350288A1 (en) 2015-12-03
EP3149954A1 (en) 2017-04-05
JP2017521903A (ja) 2017-08-03
KR20170013873A (ko) 2017-02-07
WO2015183560A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN106416280A (zh) 用于wi‑fi显示的媒体不可知显示
US10911498B2 (en) User input back channel for wireless displays
CN104115466B (zh) 具有多屏幕服务的无线显示器
US8887222B2 (en) Multicasting in a wireless display system
US9582239B2 (en) User input back channel for wireless displays
US8677029B2 (en) User input back channel for wireless displays
CN103596065B (zh) 装置定向能力交换信令和多媒体内容的服务器适应性修改
US9065876B2 (en) User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
RU2571595C2 (ru) Обратный канал пользовательского ввода для беспроводных дисплеев
US8964783B2 (en) User input back channel for wireless displays
US10135900B2 (en) User input back channel for wireless displays
US20130003624A1 (en) User input back channel for wireless displays
US20130089006A1 (en) Minimal cognitive mode for wireless display devices
CN103403649B (zh) 用于无线显示器的用户输入返回信道

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170215