Nothing Special   »   [go: up one dir, main page]

CN109646944B - 控制信息处理方法、装置、电子设备及存储介质 - Google Patents

控制信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109646944B
CN109646944B CN201811565846.4A CN201811565846A CN109646944B CN 109646944 B CN109646944 B CN 109646944B CN 201811565846 A CN201811565846 A CN 201811565846A CN 109646944 B CN109646944 B CN 109646944B
Authority
CN
China
Prior art keywords
control information
controller
information
file
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811565846.4A
Other languages
English (en)
Other versions
CN109646944A (zh
Inventor
伍海君
吴皆涛
张文斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811565846.4A priority Critical patent/CN109646944B/zh
Publication of CN109646944A publication Critical patent/CN109646944A/zh
Priority to PCT/CN2019/120962 priority patent/WO2020125340A1/zh
Priority to SG11202103119UA priority patent/SG11202103119UA/en
Priority to EP19898642.4A priority patent/EP3842106A4/en
Priority to US17/206,063 priority patent/US11954200B2/en
Application granted granted Critical
Publication of CN109646944B publication Critical patent/CN109646944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/54—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by adding security routines or objects to programs
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/73—Authorising game programs or game devices, e.g. checking authenticity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/201—Playing authorisation given at platform level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032—Protect output to user by software means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种控制信息处理方法、装置、电子设备及存储介质，属于互联网技术领域。本发明通过第一设备基于目标驱动文件在第一设备上虚拟出一控制器，在接收到第二设备的控制信息时，可以将该控制信息作为该控制器的输入信息进行存储。第一设备在接收到数据读取指令时，可以从该存储输入信息的存储空间，也即是目标驱动文件的存储空间中获取到该控制信息，从而无需更改该应用中调用数据读取接口或者设备枚举接口的执行逻辑，避免被该第一设备上的保护程序所拦截，提高了操作控制的稳定性。

Description

控制信息处理方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网技术领域，特别涉及一种控制信息处理方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展，在终端上进行游戏已较为常见。在很多场景中，由固定终端运行游戏的应用程序，用户在移动终端上进行控制操作。一般的，在游戏过程中，固定终端将游戏画面数据同步至移动终端，移动终端同步显示该游戏的游戏画面。用户在移动终端上进行控制操作，例如，控制游戏中的虚拟对象跳跃。移动终端再将控制操作的操作数据同步至固定终端，以实现基于移动终端上的控制操作，对固定终端上的游戏应用进行控制。
其中，固定终端通过Hook(挂钩)技术，更改该游戏的执行逻辑，以实现基于移动终端上的控制操作，对固定终端上的游戏应用进行控制。具体更改该游戏应用中调用设备枚举接口和设备数据读取接口的执行逻辑。其中，该设备枚举接口用于枚举该固定终端上所有的输入设备，该设备数据读取接口用于读取所有输入设备输入的信息。
相关技术中，固定终端开启游戏的应用程序，先更改游戏应用中，调用设备枚举接口的执行逻辑，具体是执行调用设备枚举接口时，在设备枚举接口枚举出的所有外接设备的设备信息中，添加游戏手柄的手柄信息；固定终端调用设备枚举接口，得到手柄信息。固定终端在当前界面上显示目标对象，移动终端实时向固定终端发送显示信息，该显示信息用于指示移动终端上显示的目标对象的变化方式。固定终端更改游戏应用中，调用设备数据读取接口的执行逻辑，具体是执行调用设备数据读取接口时，在设备数据读取接口的执行逻辑中添加目标地址。然后，该固定终端将该显示信息存储至目标地址，当固定终端调用设备数据读取接口时，得到该目标地址的显示信息。该固定终端根据该显示信息，对该目标对象进行显示。
上述过程需要通过更改游戏程序的执行逻辑，实现操作控制过程。然而，许多终端上安装有保护程序，保护程序可以保护该游戏的执行逻辑不被更改，从而上述在执行过程中可能被中断，导致上述过程的稳定性较差。
发明内容
本发明实施例提供了一种控制信息处理方法、装置、电子设备及存储介质，能够解决操作过程稳定性差的问题。所述技术方案如下：
一方面，提供了一种控制信息处理方法，所述方法应用在第一设备上，所述方法包括：
基于所述第一设备的目标驱动文件，在所述第一设备上虚拟出一控制器；
接收第二设备发送的控制信息，所述控制信息用于控制所述第一设备执行对应操作；
将所述控制信息作为所述控制器的输入信息，存储至所述目标驱动文件的存储空间中；
当接收到数据读取指令时，从所述目标驱动文件的存储空间中获取所述控制信息，所述数据读取指令用于指示获取所述控制器的输入信息。
另一方面，提供了一种控制信息处理装置，所述装置应用在第一设备上，所述装置包括：
虚拟模块，用于基于所述第一设备的目标驱动文件，在所述第一设备上虚拟出一控制器；
接收模块，用于接收第二设备发送的控制信息，所述控制信息用于控制所述第一设备执行对应操作；
存储模块，用于将所述控制信息作为所述控制器的输入信息，存储至所述目标驱动文件的存储空间中；
获取模块，用于当接收到数据读取指令时，从所述目标驱动文件的存储空间中获取所述控制信息，所述数据读取指令用于指示获取所述控制器的输入信息。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述的控制信息处理方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述的控制信息处理方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果是：
通过第一设备基于目标驱动文件在第一设备上虚拟出一控制器，在接收到第二设备的控制信息时，可以将该控制信息作为该控制器的输入信息进行存储。第一设备在接收到数据读取指令时，可以从该存储输入信息的存储空间，也即是目标驱动文件的存储空间中获取到该控制信息，从而无需更改该应用中调用数据读取接口或者设备枚举接口的执行逻辑，避免被该第一设备上的保护程序所拦截，提高了操作控制的稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实施环境的示意图；
图2是本发明实施例提供的一种控制信息处理方法的信令交互图；
图3是本发明实施例提供的一种第二设备的显示界面示意图；
图4是本发明实施例提供的一种第二设备的显示界面示意图；
图5是本发明实施例提供的一种第二设备的显示界面示意图；
图6是本发明实施例提供的一种第二设备的显示界面示意图；
图7是本发明实施例提供的一种创建控制器的流程示意图；
图8是本发明实施例提供的一种在第一设备所虚拟的控制器信息的显示示意图；
图9是本发明实施例提供的一种第二设备上显示的用户界面示意图；
图10是本发明实施例提供的一种控制信息处理的流程示意图；
图11是本发明实施例提供的一种控制信息处理装置的结构示意图；
图12示出了本发明一个示例性实施例提供的终端1200的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种实施环境的示意图，参见图1，该实施环境包括：第一设备101和第二设备102。该第一设备101和第二设备102上安装有管理应用，该第一设备101和第二设备102之间可以基于该管理应用进行数据交互。
其中，该管理应用包括多个应用的开启入口，该第一设备101可以基于该开启入口，开启任一应用。该管理应用具备串流功能，该串流功能是指多个设备之间进行数据同步的功能。其中，该第一设备101和第二设备102基于该管理应用建立连接后，该第二设备102基于该第二设备102上显示的操作控件，向第一设备101发送控制信息。第一设备101上配置有目标驱动文件，该第一设备101可以基于管理应用的执行逻辑，通过该目标驱动文件，在第一设备101上虚拟出一控制器，并基于该目标驱动文件，将第二设备102的控制信息作为该控制器的输入信息进行存储，从而当该第一设备101在运行管理应用中任一应用时，可以基于读取该控制器的输入信息的读取逻辑，读取该控制信息，并基于该控制信息，执行该应用的处理逻辑。其中，该第一设备101还可以基于该管理应用的串流功能，将第一设备101上显示的多媒体数据同步至第二设备102上，以实现第一设备101和第二设备102的多媒体数据同步显示。
在一种可能的场景中，该管理应用可以为游戏管理应用，该多个应用可以为该游戏管理应用中的游戏应用，该游戏管理应用可以提供多个游戏应用的开启入口。该第二设备102可以为移动终端，该第一设备101可以为固定终端。用户可以在第二设备102的游戏管理应用的应用界面中触发任一游戏应用，该第二设备102基于串流功能，触发第一设备101运行该用户触发的游戏应用。该第一设备101基于游戏管理应用的串流功能，将游戏应用运行过程中产生的数据同步至第二设备102上。
其中，该第二设备102上可以显示用户界面，该用户界面包括控制区域和基于多媒体数据显示的游戏画面，该控制区域包括至少一个操作控件，用户可以通过触发第二设备上显示操作控件，对该第一设备101上的游戏应用进行控制。第二设备102向该第一设备101发送被用户触发的操作控件对应的控制信息。
其中，第一设备101上运行了目标驱动文件，该第一设备101可以基于该目标驱动文件，在第一设备101的操作系统中虚拟出一控制器，该第一设备101将该第二设备102的控制信息作为该控制器的输入信息，存储至该目标驱动文件的存储空间中。该第一设备101基于该游戏应用的数据读取逻辑，从该目标驱动文件的存储空间中，读取该第一设备101的控制信息。该数据读取逻辑用于指示读取该控制器的输入信息的过程。该第一设备101基于控制信息执行该游戏应用的执行逻辑。进一步的，该第一设备101还可以将游戏应用运行过程中的游戏画面同步至第二设备102，以实现第二设备102和第一设备101的同步显示。
需要说明的是，该实施环境还可以包括服务器103，该服务器103可以为该管理应用的后台服务器，该第二设备102和第一设备101基于该服务器103进行数据交互。另外，在第一设备101运行该游戏应用过程中，该第一设备101可以与该游戏应用的后台服务器进行数据交互，获取该游戏应用的游戏数据。当然，该服务器103中也可以存储每个应用的游戏数据，该第一设备101也可以从该服务器103中获取该游戏数据。
下面对上述过程中出现的名词进行介绍：
目标驱动文件：是指控制器的配置文件，本发明实施例中，该目标驱动文件用于在该第一设备101的操作系统中虚拟出一控制器。
目标驱动文件的存储空间：是指第一设备101分配的用来存储控制器的输入信息的空间，本发明实施例中，该第一设备101将第二设备102的控制信息存储至该存储空间。
管理应用：包括多个应用的开启入口，可以在该管理应用的应用界面开启该多个应用中的任一应用。该应用可以为游戏应用，该管理应用还可以提供该多个游戏应用的游戏资讯、道具购买、应用的下载、游戏视频的直播和游戏社区等多种功能，从而为用户提供一站式服务的游戏平台。
操作控件：游戏应用所对应的控制区域中包括的操作控件；第二设备102可以在控制区域虚拟出来至少一个操作按钮。其中，该操作控件可以为模拟第一设备101上虚拟出来的控制器上的操作按键，该操作控件具备与该各个操作按键相对应的控制功能。该游戏应用中可以包括虚拟对象，通过该操作控件，模拟该控制器控制该虚拟对象的过程。该操作控件可以为控制虚拟对象移动的虚拟摇杆按钮、控制虚拟对象射击的射击按钮等，本发明实施例对此不限定。
虚拟对象：是一个虚拟的用于代表用户在游戏中的虚拟对象。该虚拟对象可以是任一种形态，例如，人、动物等，本发明实施例对此不限定。
以射击类游戏为例，用户可以控制虚拟对象在该三维虚拟场景的天空中自由下落、滑翔或者打开降落伞进行下落等，在陆地上中跑动、跳动、爬行、弯腰前行等，也可以控制虚拟对象在海洋中游泳、漂浮或者下潜等，当然，用户也可以控制虚拟对象乘坐载具在该三维虚拟场景中进行移动，在此仅以上述场景进行举例说明，本发明实施例对此不作具体限定。
另外，上述过程还可以在游戏应用中实现，也即是，该第二设备102和第一设备101基于该游戏应用进行数据交互，并实现基于第二设备102的控制信息，对第一设备101的虚拟对象的控制过程，本发明实施例对此不作具体限定，上述过程仅以管理应用为例进行说明。该第二设备102可以为移动终端，该第一设备101可以为固定终端，以方便用户可以随时随地在该第二设备102上对虚拟对象进行控制，例如，该第二设备可以为手机设备、Pad(Portable android device，平板电脑)等；该第一设备可以为PC(Personal Computer，个人计算机)、电视机等。当然，该第二设备102、第一设备101可以为安装该应用的任一设备，本发明实施例对此不做具体限定。
需要说明的是，在下述实施例中，以该管理应用为游戏管理应用为例进行说明，该游戏管理应用中可以包括多个游戏应用的开启入口。当然，该管理应用也可以包括其他应用的开启入口，本发明实施例对此不作具体限定。例如，该管理应用还可以为视频管理应用，该设备管理应用中可以包括多个视频应用的开启入口，该第二设备102还可以为智能电视、该第一设备101可以为PC，用户在智能电视上实时进行控制操作，以控制智能电视和PC之间同步显示的视频画面。
图2是本发明实施例提供的一种控制信息处理方法的信令交互图。该方法可以由第一设备、第二设备交互实现，参见图2，该方法包括：
201、第二设备向第一设备发送连接请求。
本发明实施例中，该管理应用中配置有串流功能，该串流功能是指与目标设备之间进行数据同步的功能。该第二设备开启该管理应用的串流功能，基于该串流功能，搜索出位于该第二设备的预设范围内的多个备选设备，并基于该多个备选设备中被选择的第一设备，向该第一设备发送连接请求，该连接请求携带该第一设备的设备标识。
其中，该第二设备还可以基于一定的筛选条件，进一步筛选出位于该第二设备的预设范围内的多个备选设备，该过程可以为：该第二设备根据该第二设备所在的地理位置，搜索出多个设备，并根据筛选条件，从该多个设备中筛选出多个备选设备，并在该管理应用的应用界面显示该多个备选设备的设备标识，以供用户选择。其中，该筛选条件可以包括但不限于：开启该管理应用的串流功能、与该第二设备连接同一网络、支持控制器的接入、开启该管理应用或者处于开机状态等。
202、第一设备基于该连接请求与该第二设备建立连接。
第一设备接收该第二设备的连接请求，根据该连接请求，与该第二设备建立连接。其中，该第二设备和该第一设备之间可以基于TCP(Transmission Control Protocol传输控制协议)传输协议建立连接。该第二设备将该连接请求发送至服务器，该服务器将该连接请求转发至该第一设备，该服务器为该管理应用的后台服务器，该第一设备基于该连接请求，与该第二设备建立连接，根据该连接接收第二设备发送的应用标识，运行该应用标识对应的应用。
在一种可能的实时方式中，当该第二设备与第一设备成功建立连接时，该第二设备可以在该管理应用的应用界面上显示多个应用，向第一设备发送该多个应用中被选中的应用的应用标识。在一种可能的实施方式中，该第二设备可以基于该被选中的应用的应用标识，向该第一设备发送串流请求，该串流请求用于指示与目标设备之间进行数据同步。该第一设备接收第二设备发送的串流请求，从该从串流请求中获取该应用的应用标识，并运行该应用。
该管理应用可以为游戏管理应用，该应用可以为游戏应用。其中，该第二设备可以在该游戏管理应用的应用界面上显示该多个游戏应用的封面图像，该封面图像中包括该游戏应用的虚拟对象、该应用对应的游戏名称、游戏的虚拟场景或游戏规则等多个游戏信息。用户可根据该多个应用的封面图像，选择想要开启的应用，该第二设备可以根据该多个封面图像中被触发的封面图像，向该第一设备发送该被触发的封面图像对应的应用的应用标识。其中，该应用标识可以为该应用的ID(identity，身份编号)。
如图3所示，该第二设备开启管理应用，并开启串流功能，该串流功能的界面如图3所示，图4为图3的对应的串流功能页面对应的实际界面示意图，该第二设备在该管理应用的串流功能界面中，显示连接按钮，当该连接按钮被触发时，该第二设备开始搜索周围区域内满足筛选条件的备选设备，并将多个备选设备的设备标识显示在当前显示页面中，如图5所示，用户从多个备选设备中选择左侧第一个设备为待连接的第一设备，第二设备向该第一设备发送连接请求，并与该第一设备建立连接，第二设备与第一设备成功建立连接后，如图6所示，该第二设备显示该管理应用中多个应用的封面图像，基于被选中的封面图像，向该第一设备发送待开启的应用的应用标识。
进一步的，该第一设备在第二设备上显示该应用的多媒体画面。该多媒体画面包括该应用的虚拟场景和该虚拟场景中的虚拟对象。
本发明实施例中，上述步骤201-202为第一设备和第二设备基于管理应用的串流功能，建立连接的过程，也即是，该第一设备和第二设备执行该管理应用的串流逻辑，以建立连接。进一步的，该第一设备还可以基于该串流逻辑，将第一设备上显示的多媒体数据同步至第二设备。需要说明的是，该第一设备可以基于该第二设备的触发，开启该游戏应用；当然，该第一设备还可以在接收到该第二设备的连接请求之前，开启该游戏应用。也即是，该第一设备还可以运行该游戏应用过程中，接入第二设备。上述步骤仅以第二设备触发第一设备运行游戏应用为例进行说明，但本发明实施例对该第一设备运行游戏应用与接入该第二设备的执行顺序并不做具体限定。
需要说明的是，该第一设备和第二设备可以基于该管理应用建立连接，基于该管理应用的后台服务器实现第一设备和第二设备之间数据交互过程，并且，该第一设备还可以将本设备上显示的多媒体数据同步至第二设备，实现了两个设备间画面同步显示的过程，并且，该第一设备可以基于运行游戏应用时产生的游戏数据，将游戏画面同步至第二设备，该第二设备上无需运行该游戏应用，仅基于游戏数据实时的显示游戏画面，提高了该第二设备的内存处理效率。
203、第一设备基于该第一设备的目标驱动文件，在该第一设备上虚拟出一控制器。
该目标驱动文件用于在该第一设备的操作系统中虚拟出一控制器；本发明实施例中，该目标驱动文件中配置有控制器的设备创建逻辑，该设备创建逻辑用于指示该控制器的创建过程。该第一设备可以基于该目标驱动文件的设备创建逻辑，在第一设备上创建控制器。
其中，该第一设备运行该目标驱动文件，向该目标驱动文件发送设备创建指令，该设备创建指令用于指示在该第一设备的操作系统中创建一控制器；该第一设备基于该目标驱动文件的设备创建逻辑和该创建指令携带的设备信息，在该第一设备的操作系统中创建该设备信息对应的控制器。该目标驱动文件中包括控制器的设备创建逻辑，该设备创建逻辑用于指示该第一设备上创建控制器的过程。
其中，该第一设备基于目标驱动文件的设备创建逻辑，还可以向该第一设备的设备管理模块发送该设备信息和该控制器的输入信息的存储格式，向该第一设备的输入设备驱动模块发送通知消息，该通知消息用于通知该第一设备的操作系统中已创建该控制器。
第一设备基于游戏管理应用的执行逻辑，在第一设备上虚拟出控制器。该游戏管理应用的配置文件中可以配置有该设备信息，该第一设备获取该设备信息，并基于该游戏管理应用的执行逻辑，向目标驱动文件发送该设备创建指令。其中，该设备信息包括该控制器的设备标识；该设备标识为与该游戏应用或游戏管理应用支持的控制器的设备标识。该设备信息还可以包括该控制器的配置描述信息，该配置描述信息用于指示该控制器为人机交互设备。该控制器可以为人机交互(HID，Human Interface Devices)设备，例如，该控制器可以为游戏手柄。
如图7所示，该设备管理模块可以为一个输入设备管理器，例如，该设备管理模块可以为PNP Manager(Plug-and-Play Manager，即插即用管理器)，第一设备基于该设备创建指令中的设备信息，调用该第一设备的设备创建接口，并向该第一设备中的输入设备管理器发送设备创建消息，该设备创建消息用于指示该第一设备的操作系统中已创建控制器，该设备创建消息携带该控制器的设备信息。该输入设备管理器用于对该第一设备上接入的控制器进行管理，该输入设备管理器可以存储该第一设备上所有外接设备的设备信息集合，该输入设备管理器将该控制器的设备信息添加至该设备信息集合中。该输入设备管理器基于该配置描述信息，确定该控制器属于人机交互设备，则该输入设备管理器还可以向该目标驱动文件发送获取请求，该获取请求用于指示获取该控制器的输入信息的存储格式，该目标驱动文件接收到该获取请求时，根据该获取请求，向该输入设备管理器返回该控制器的输入信息的存储格式。其中，该存储格式可以为HID report(Human InterfaceDevices report，人机交互设备报告)格式。
需要说明的是，在一些游戏应用中，可能有多个虚拟对象。本发明实施例中，该第二设备的数量可以为一个或多个，每个第二设备对应控制一个虚拟对象，该游戏管理应用中可配置有一个或多个设备信息，该第一设备可以基于该一个或多个设备信息，在第一设备上虚拟出一个或多个控制器。在一种可能的实施方式中，当游戏应用中包括有多个虚拟对象时，例如两个用户分别对应于第一设备的游戏应用中两个虚拟对象，设备信息中还可以包括实例ID，用于指示该游戏应用中对应的虚拟对象，从而第一设备分别基于多个第二设备的多个控制信息，对游戏中的多个虚拟对象进行控制。
本发明实施例中，该输入设备驱动模块可以为一个HID驱动模块，该输入设备驱动模块位于该第一设备的驱动层，第一设备中的应用位于该第一设备的应用层。该输入设备驱动模块可以基于设备控制接口，实现与应用层的应用进行数据交互。该第一设备可以基于该控制器，初始化该输入设备驱动模块。其中，该初始化的过程可以为：该第一设备向输入设备驱动模块发送第一通知消息(为了便于区分，将向输入设备驱动模块发送的通知消息称为第一通知消息)，该第一通知消息用于指示该第一设备的操作系统中已创建该控制器，该第一设备将该控制器的设备信息存储至该输入设备驱动模块中，以便于后续基于该输入设备驱动模块读取控制器的输入信息。其中，该设备控制接口可以包括Device IOControl函数，该Device IO Control函数用于应用层与驱动层之间的数据交互，例如，发送控制代码到指定设备驱动程序，该第一设备可以通过调用Device IO Control函数，以实现该第一设备的应用层从驱动层中读取控制器的输入信息的过程。
进一步的，该第一设备向应用层中游戏应用发送第二通知消息(为了便于区分，将向应用发送的通知消息称为第二通知消息)，该第二通知消息用于指示该第一设备的操作系统中已创建控制器。该第一设备基于该游戏应用的执行逻辑，调用设备枚举接口，得到该控制器的设备信息。
如图8所示，以该控制器为虚拟游戏手柄为例，该第一设备运行该目标驱动文件时，该第一设备的设备管理界面中，添加了该虚拟游戏手柄的手柄图标，并且，该输入设备管理器中还存储了对应的手柄信息。也即是，在该第一设备上虚拟出了一个游戏手柄，但实际上该第一设备并没有接入手柄设备实物。
需要说明的是，该第一设备上事先存储有该目标驱动文件，该第一设备可以基于该管理应用的执行逻辑，运行该目标驱动文件，并通过向目标驱动文件发送设备创建指令，触发执行目标驱动文件中的设备创建逻辑，在第一设备上虚拟出创建控制器的过程，从而在驱动层虚拟出一个控制器，通过改变驱动层当前已接入的设备，从而无需更改管理应用中各个游戏应用的执行逻辑，各个游戏应用中调用设备枚举接口或者调用设备数据读取接口的执行逻辑正常执行，从而能够保证该管理应用上游戏进程不会被保护程序所中断，保证了操作控制的稳定性。
需要说明的是，本发明实施例中，对于步骤第一设备运行目标驱动文件的执行顺序，与步骤201和步骤202的执行顺序，并不做具体限定。也即是，该第一设备可以在与第二设备建立连接之前运行该目标驱动文件，或者，第一设备在与第二设备建立连接时才运行该目标驱动文件。
204、第一设备向该第二设备发送第一多媒体数据。
该第一多媒体数据为该第一设备上显示的多媒体数据，该第一设备可以实时采集该第一设备的显示界面上显示的第一多媒体数据，并将该第一多媒体数据发送至第二设备，以实现第一设备和第二设备的同步显示。其中，如果该管理应用为游戏管理应用，该第一设备运行该游戏管理应用中的游戏应用，则该第一多媒体数据可以为该第一设备运行该游戏应用过程中所产生的数据。本步骤中，在第一设备运行游戏应用的过程中，该第一设备采集待显示多媒体画面的第一多媒体数据，通过与该第二设备之间的通信连接，向该第二设备发送该第一多媒体数据。其中，该游戏应用中可以包括虚拟对象，该多媒体画面包括该游戏应用的虚拟场景和该虚拟场景中的虚拟对象。其中，该游戏管理应用具备串流功能，第一设备基于游戏管理应用的串流功能，实时向第二设备发送游戏应用运行过程中显示的第一多媒体数据，使得该第一设备和第二设备同步显示游戏画面。
本发明实施例中，该第一设备通过显卡实时对待显示的第一多媒体数据进行数模信号转换，以实现对多媒体画面的显示。该第一设备可以实时从显卡中采集第一多媒体数据，也即是该第一设备待显示的数据，以实现第一设备和第二设备的同步显示。该多媒体数据可以包括但不限于：视频数据、图像数据、音频数据或者文字等。另外，该多媒体画面中还可以包括该虚拟物品、该虚拟对象的等级、昵称等，本发明实施例对此不做具体限定。
205、第二设备接收第一设备的第一多媒体数据。
该第二设备基于与该第一设备的通信连接，实时接收该第一设备的第一多媒体数据。
需要说明的是，第二设备能够实时的接收第一设备的第一多媒体数据，从而能够保证第二设备和第一设备的显示界面能够同步显示，保证用户在第一设备上也能够无缝浏览第二设备上的多媒体画面，提高了操作控制的便捷性。
206、第二设备在该第二设备上，基于该第一多媒体数据，显示该游戏应用的用户界面。
其中，该用户界面包括该第一设备上的游戏应用的多媒体画面以及控制区域的至少一个操作控件；本发明实施例中，该第二设备可以根据该第一多媒体数据和至少一个操作控件，确定该游戏应用在该第二设备上的用户界面，在显示界面上显示该用户界面。本步骤中，该第二设备可以根据该第一多媒体数据，生成该游戏应用的多媒体画面，并在该游戏应用的多媒体画面中添加至少一个操作控件，得到该游戏应用的用户界面，在第二设备上显示该用户界面。其中，该第二设备可以基于该游戏管理应用的串流功能，在第二设备上显示游戏应用的用户界面。
在一种可能的实施方式中，该第二设备可以通过该操作控件，模拟实际的输入设备对虚拟对象的控制操作，第二设备根据实际的输入设备所包括的至少一个操作按钮，在该多媒体画面中添加每个操作按钮对应的操作控件，得到该游戏应用的用户界面。其中，每个操作控件对应一个控制信息，每个操作控件与该操作控件对应的操作按钮的功能相同，也即是，第二设备可以将操作按钮所对应的控制信息作为对应操作控件的控制信息，以实现通过操作控件模拟控制器对虚拟对象的控制操作。其中，该控制器可以为游戏手柄，第二设备可以在该用户界面上显示游戏手柄中方向轮盘按钮以及A、B、C、D控制按钮分别对应的操作控件，用来模拟游戏手柄中的实物按钮。在一种可能的游戏场景中，该第二设备的显示界面的左侧可以包括控制区域的摇杆按钮，右侧可以包括虚拟物品的切换按钮、虚拟对象的射击按钮。例如，用户可以触发该切换按钮为该虚拟对象切换虚拟物品，或触发射击按钮控制虚拟对象在该虚拟游戏场景中进行瞄准、射击等。
如图9所示，该第二设备可以在用户界面的虚拟摇杆区域以及各个功能按钮，例如，瞄准按钮、射击按钮，并在下方显示该虚拟物品切换按钮等，具体可以参见图9中各个按钮的显示，如ML按钮、LB按钮、Q按钮、MR按钮、SPC按钮、E按钮、R按钮、CTRL按钮、PRE按钮、NEXT按钮等，该各个按钮的具体功能以及具体显示位置可以根据虚拟输入设备的型号确定，还可以是任一种功能和显示位置，本发明实施例对此不做限定。
本发明实施例中，上述步骤204-206实际上是步骤“第二设备在在第二设备上显示在第一设备上的应用的控制区域，该控制区域至少包括应用的至少一个操作控件”的一种具体实现方式，上述方式实际上是第二设备同时显示控制区域中的操作控件和多媒体画面。当然，该第二设备还可以仅显示该操作控件，则上述步骤204-206可以替换为：第二设备根据应用的每个操作控件在控制区域中的显示位置，在该第二设备的控制区中显示该至少一个操作控件。其中，该第二设备可以根据实际的输入设备所包括的至少一个操作按钮，在该第二设备的控制区域中显示每个操作按钮对应的操作控件。该操作控件也可以为游戏手柄中各个按键对应的操作控件。用户可以从第一设备中国浏览多媒体画面，并通过第二设备上操作控件进行游戏操作。
207、第二设备检测到对任一个操作控件的触控操作时，获取该操作控件的控制信息。
其中，该控制信息用于控制在该第一设备上的该应用执行对应操作。用户可以通过触发任一个操作控件，以对第一设备上运行的应用进行控制。该第二设备可以监听对用户界面中的每个操作控件进行监听，以实时获取每个操作控件的触发状态。当该第二设备检测到对任一个操作控件的触控操作时，该第二设备获取该操作控件对应的控制信息。其中，该第二设备中存储有各个操作控件和控制信息之间的对应关系，第二设备根据被触发的操作控件，从该操作控件和控制信息之间的对应关系中，获取被触发的操作控件对应的控制信息。
其中，该应用中可以包括虚拟对象，该控制信息可以为控该应用中的虚拟对象的信息。在一种可能的实施方式中，该控制信息可以为应用中虚拟对象的动作信息或者切换信息等。
在一种可能的实施方式中，用户还可以通过在用户界面上的手势操作对应用进行控制，该控制信息还可以基于手势操作触发得到。该控制信息还可以为应用的用户界面中的触发位置或者应用的用户界面的触发轨迹等。则该第二设备还可以实时监听该用户界面上的手势操作，当检测到该用户界面中的手势操作时，获取该手势操作在该用户界面的触发位置和/或触发轨迹。其中，该手势操作可以为滑动操作、点击操作、双击操作等，该滑动操作可以包括左右滑动的操作、或者上下滑动的操作等。
如图9所示，该用户可以通过左右滑动或上下滑动，调整该虚拟对象的视角范围，或者，用户还可以双击放大某一虚拟物品或者虚拟场景区域进行查看等。
208、第二设备向该第一设备发送该操作控件对应的控制信息。
该第二设备可以实时获取被触发的操作控件对应的控制信息，并通过与第一设备之间的通信连接，实时向该第一设备发送该控制信息。
209、第一设备接收第二设备发送的控制信息。
该第一设备在运行游戏应用过程中，实时基于与第二设备之间建立的连接，接收该第二设备发送的控制信息。
需要说明的是，上述步骤207-209可以为第二设备基于游戏管理应用的串流功能，将控制信息发送至第一设备，第一设备基于该游戏管理应用的串流功能，实时接收该第二设备的控制信息，从而实现两个设备之间对控制信息的同步。
210、第一设备将该控制信息作为该控制器的输入信息，存储至目标驱动文件的存储空间中。
本发明实施例中，该第一设备根据该控制器的输入信息的存储空间，也即是该目标驱动文件的存储空间，将该控制信息作为该控制器的输入信息，存储至该目标驱动文件的存储空间中。其中，该目标驱动文件的存储空间是该第一设备分配的存储控制器的输入信息的空间。
本步骤中，该目标驱动文件还可以包括存储逻辑，该存储逻辑用于指示该控制器的输入信息的存储过程。该第一设备可以基于该目标驱动文件中的存储逻辑，将该控制信息作为该控制器的输入信息，存储至该目标驱动文件的存储空间中。该第一设备可以向该目标驱动文件发送存储指令，该存储指令用于指示将该控制信息作为该控制器的输入信息进行存储。该第一设备根据该存储指令携带的控制信息，执行该目标驱动文件中的存储逻辑。其中，该第一设备可以通过该管理应用，向驱动层的目标驱动文件发送存储指令，以触发该目标驱动文件进行存储。
在一种可能的实施方式中，该控制器的输入信息按照指定的存储格式进行存储。则该第一设备还可以根据该控制器的输入信息的存储格式，将该控制信息按照该存储格式存储至该目标驱动文件的存储空间中。其中，该控制器可以为人机交互设备，该存储格式可以为人机交互设备的HID report格式。则该第一设备可以按照该HID report格式，将该控制信息转换为该HID report格式存储至目标驱动文件的存储空间中。
本发明实施例中，该第一设备基于该管理应用的执行逻辑，将该控制信息作为该控制器的输入信息，存储至该目标驱动文件的存储空间中。
需要说明的是，通过将该控制信息以该输入信息的存储格式，存储至输入信息的存储地址中，从而使得应用可以正常执行读取控制器的输入信息的逻辑，读取该应用的实际控制信息。在第一设备中，通过虚拟出一个存储由控制器输入的信息的过程，可以将该控制信息进行准确存储，后续使用时可以准确无误的进行读取。同时无需改变应用的设备读取逻辑，操作控制的成本较低，从而保证了第二设备的控制信息可以准确读取，第一设备上的应用可以顺利执行，提高了操作控制的准确性和实用性。
211、当接收到数据读取指令时，该第一设备从目标驱动文件的存储空间中获取该控制信息。
其中，该数据读取指令用于指示读取该控制器的输入信息，当该第一设备接收到数据读取指令时，该第一设备基于设备数据读取接口的执行逻辑，从目标驱动文件的存储空间中获取该控制信息。其中，该第一设备基于该游戏应用的执行逻辑，调用该设备数据读取接口，得到该控制信息。该设备数据读取接口用于读取该第一设备上控制器的输入信息。其中，由于该第一设备事先基于该游戏应用的执行逻辑，调用该设备枚举接口，得到该控制器的设备信息，则本步骤中，该第一设备基于该控制器的设备信息，调用设备数据读取接口，从目标驱动文件的存储空间中，得到该控制信息。
其中，该控制器可以为一个外接的输入设备，该第一设备可以通过第一设备中的输入设备驱动模块，获取改控制器的输入信息。则该第一设备向该第一设备的输入设备驱动模块发送数据读取指令，该输入设备驱动模块用于向该应用返回该控制器的输入信息；该第一设备根据该数据读取指令，通过该输入设备驱动模块，读取该目标驱动文件的存储空间中的控制信息。
其中，该第一设备向输入设备驱动模块发送数据读取指令，该数据读取指令中可以携带该控制器的设备信息，该输入设备驱动模块基于该设备信息，可以通过USB(Universal Serial Bus，通用串行总线)通信协议，向该设备信息对应的目标驱动文件发送数据读取指令，该目标驱动文件从存储空间中读取控制信息，将该控制信息返回给输入设备驱动模块，该输入设备驱动模块向该应用返回该控制信息。另外，该控制信息是按照一定的格式进行存储。该第一设备的输入设备管理器中存储了该控制信息的存储格式，因此，该第一设备从该输入设备管理模块中获取该存储格式，按照该存储格式，对输入设备驱动模块返回的控制信息进行进一步转换，得到该控制信息的原始数据。其中，该第一设备可以按照HID report(报告)格式对应的数据格式，将该存储数据转换为该控制信息。
在一种可能的实施方式中，该第二设备可以实时发送控制信息，该存储空间中可以存储多个控制信息，则在第一设备运行该应用过程中，第一设备根据多个控制信息的存储信息，从该目标驱动文件的存储空间中，依次读取每个控制信息；第一设备根据该每个控制信息，在该用户界面上显示该虚拟对象执行该每个控制信息对应的操作的过程。其中，该存储信息可以为各个控制信息的存储地址，或者存储顺序等信息，该第一设备可以按照该存储顺序或存储地址，从该目标驱动文件的存储空间中，依次读取最先存储的控制信息。
如图7所示，以该输入设备驱动模块为HID驱动模块为例，基于游戏应用中包括的执行逻辑，第一设备调用该设备数据读取接口，通过设备控制接口，向HID驱动模块发送数据读取指令，该HID驱动模块通过USB的通信协议，向该目标驱动文件发送获取请求，该目标驱动文件接收到该获取请求时，执行该目标驱动文件的读取逻辑，从该目标驱动文件的存储空间中读取控制信息，并将该存储数据返回给HID驱动模块，该HID驱动模块将该控制信息返回该应用。当然，该目标驱动文件还可以实时存储第二设备发送的控制信息。
212、第一设备根据该控制信息，执行该游戏应用的执行逻辑。
其中，该应用中包括虚拟对象，该第一设备可以根据该控制信息，控制该虚拟对象在该用户界面上执行该控制信息对应的操作。
本发明实施例中，该控制信息包括该虚拟对象的动作信息、切换信息、该用户界面的触发位置、该用户界面的触发轨迹中的至少一个。相应的，本步骤可以包括以下三种情况。
第一种情况、当该控制信息包括动作信息时，第一设备根据该动作信息，在该用户界面上显示该虚拟对象执行目标动作的过程。
其中，该动作信息用于指示控制该虚拟对象进行目标动作，该动作信息可以为该操作控件对应的控制信息，例如，左右移动的操作控件、跳跃控件、加速跑的控制等，对应的动作信息分别可以为：向左移动、向右移动、跳跃、加速跑。本步骤中，该第一设备可以根据该动作信息，控制该虚拟对象执行该动作信息对应的目标动作，并将该虚拟对象执行该目标动作的过程显示在该用户界面上。
第二种情况、当该控制信息包括切换信息时，第一设备根据该切换信息，在该用户界面上显示至少一个备选虚拟物品，并将虚拟对象的当前虚拟物品切换为目标虚拟物品。
其中，该切换信息可以包括第一切换信息和第二切换信息，该第一切换信息用于指示对虚拟对象的目标虚拟物品进行切换，该第一切换信息可以为该用户界面中，当前显示的虚拟物品的图标对应的控制信息，不同虚拟物品的图标对应的切换信息不同，例如，虚拟背包图标、虚拟衣物图标被触发或者虚拟武器图标被触发时，对应的切换信息分别可以为：切换虚拟背包、切换虚拟衣物、切换虚拟武器。本步骤中，该第一设备可以根据该第一切换信息所指示的目标虚拟物品，在用户界面上显示该目标虚拟物品对应的多个备选虚拟物品，以供用户选择。
该第二切换信息可以为备选虚拟物品图标对应的控制信息，当该多个备选虚拟物品中目标虚拟物品图标被触发时，该第一设备根据该被触发的目标虚拟物品图标，在用户界面上显示将虚拟对象的当前虚拟物品切换为目标虚拟物品的过程。
第三种情况、当该控制信息包括用户界面的触发轨迹和/或触发位置时，第一设备根据该触发轨迹和/或触发位置，在该用户界面上显示将该虚拟对象的视角切换为目标视角的过程。
本发明实施例中，用户还可以通过双击操作、滑动操作等手势操作，对虚拟对象的视角进行调整。该触发轨迹、触发位置可以为该手势操作对应的控制信息，则该第一设备根据该触发轨迹和/或触发位置对应的控制信息，确定该触发轨迹和/或触发位置对应的目标视角，在用户界面上显示虚拟对象的视角切换为目标视角。
213、第一设备采集虚拟对象执行操作时的第二多媒体数据，向该第二设备发送第二多媒体数据。
第一设备可以从第一设备的显卡中采集第二多媒体数据，该第二多媒体数据在该第一设备上的该应用执行该控制信息对应操作时的用户界面，该第一设备将该第二多媒体数据发送至该第二设备。
214、第二设备接收该第一设备发送的第二多媒体数据，基于该第二多媒体数据，显示虚拟对象执行该控制信息对应操作时的用户界面。
该第二设备接收该第二多媒体数据，并根据第二多媒体数据，在第二设备上显示该应用执行该控制信息对应的操作的多媒体画面，以使第二设备和第一设备能够对应用的用户界面进行同步显示。
其中，该第一设备和第二设备可以基于该游戏管理应用的串流功能，执行步骤213-214的过程。
图10为上述各个步骤的整体流程图，以图10所示的流程图为例，对上述流程进行介绍，如图10所示，以该第二设备为手机、控制器为游戏手柄为例，该第一设备可以为PC(personal computer，个人计算机)，手机与PC建立连接，该PC端可以运行目标驱动文件，该PC向该目标驱动文件发送设备创建指令，以在PC端的驱动层创建出一个虚拟的游戏手柄。当该游戏手柄创建成功时，该PC的操作系统会向应用层的应用发送通知消息，该通知消息用于指示该PC端新接入了游戏手柄。当接收到手机的控制信息时，PC端向该目标驱动文件发送存储指令，以将该控制信息作为游戏手柄输入信息，存储至该目标驱动文件的存储空间中。在PC运行该游戏应用过程中，基于该应用的执行逻辑，调用设备数据读取接口，向该PC端的HID驱动模块发送数据读取指令，该HID驱动模块基于USB的通信协议，从该目标驱动文件中获取该控制信息。该设备数据读取接口可以为DirectInput接口或者XInput接口。另外，该输入设备管理器中存储有该控制信息的存储格式，因此，该应用还可以基于Xusb.sys系统文件，从该输入设备管理器中，获取该存储格式，也即是HID report格式，以对HID驱动模块返回的数据进行转换，得到控制信息，从而该PC可以基于该控制信息，实时控制该游戏应用执行该控制信息对应的操作。
本发明实施例中，第一设备基于目标驱动文件在第一设备上虚拟出一控制器，在接收到第二设备的控制信息时，可以将该控制信息作为该控制器的输入信息进行存储。第一设备在接收到数据读取指令时，可以从该存储输入信息的存储空间，也即是目标驱动文件的存储空间中获取到该控制信息，从而无需更改该应用中调用数据读取接口或者设备枚举接口的执行逻辑，避免被该第一设备上的保护程序所拦截，提高了操作控制的稳定性。
图11是本发明实施例提供的一种控制信息处理装置的结构示意图。该装置应用在第一设备上，参见图11，该装置包括：
虚拟模块1101，用于基于该第一设备的目标驱动文件，在该第一设备上虚拟出一控制器；
接收模块1102，用于接收第二设备发送的控制信息，该控制信息用于控制该第一设备执行对应操作；
存储模块1103，用于将该控制信息作为该控制器的输入信息，存储至该目标驱动文件的存储空间中；
获取模块1104，用于当接收到数据读取指令时，从该目标驱动文件的存储空间中获取该控制信息，该数据读取指令用于指示获取该控制器的输入信息。
可选地，该虚拟模块1101，包括：
运行单元，用于运行该目标驱动文件；
发送单元，用于向该目标驱动文件发送设备创建指令，该设备创建指令用于指示在该第一设备的操作系统中创建一控制器；
创建单元，用于基于该目标驱动文件的设备创建逻辑和该创建指令携带的设备信息，在该第一设备的操作系统中创建该设备信息对应的控制器。
可选地，该创建单元，还用于根据该设备创建指令，调用该第一设备的设备创建接口，在该第一设备的操作系统中创建该设备信息对应的控制器；向该第一设备的设备管理模块发送该设备信息和该控制器的输入信息的存储格式；向该第一设备的输入设备驱动模块发送通知消息，该通知消息用于通知该第一设备的操作系统中已创建该控制器。
可选地，该存储模块1103，还用于向该目标驱动文件发送存储指令，该存储指令用于指示将该控制信息作为该控制器的输入信息进行存储；根据该存储指令携带的控制信息，执行该目标驱动文件中的存储逻辑，该存储逻辑用于指示该控制器的输入信息的存储过程。
可选地，该存储模块1103，还用于根据该控制器的输入信息的存储格式，将该控制信息按照该存储格式存储至该目标驱动文件的存储空间中。
可选地，该获取模块1104，还用于当接收到数据读取指令时，根据该根据多个控制信息的存储信息，从该目标驱动文件的存储空间中，依次读取每个控制信息。
可选地，该获取模块1104，还用于向该第一设备的输入设备驱动模块发送该数据读取指令，该输入设备驱动模块用于返回该控制器的输入信息；根据该数据读取指令，通过该输入设备驱动模块，读取该目标驱动文件的存储空间中的控制信息。
可选的，该装置还包括：
发送模块，用于当接收到该第二设备的连接请求时，与该第二设备建立连接；采集该第一设备上显示的第一多媒体数据，向该第二设备发送该第一多媒体数据。
可选地，该接收模块1102，还用于接收该第二设备上显示的多个操作控件中被触发的操作控件对应的控制信息。
本发明实施例提供的装置，通过第一设备基于目标驱动文件在第一设备上虚拟出一控制器，在接收到第二设备的控制信息时，可以将该控制信息作为该控制器的输入信息进行存储。第一设备在接收到数据读取指令时，可以从该存储输入信息的存储空间，也即是目标驱动文件的存储空间中获取到该控制信息，从而无需更改该应用中调用数据读取接口或者设备枚举接口的执行逻辑，避免被该第一设备上的保护程序所拦截，提高了操作控制的稳定性。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的控制信息处理装置在处理控制信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的控制信息处理装置与控制信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12示出了本发明一个示例性实施例提供的终端1200的结构框图。该终端1200可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的控制信息处理方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，由处理器1201根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中的控制信息处理方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种控制信息处理方法，其特征在于，所述方法应用在第一设备上，所述方法包括：
基于所述第一设备的目标驱动文件，在所述第一设备上虚拟出一控制器；
接收第二设备发送的控制信息，所述控制信息用于控制所述第一设备执行对应操作；
将所述控制信息作为所述控制器的输入信息，存储至所述目标驱动文件的存储空间中；
在运行应用的过程中，基于所述应用的执行逻辑，调用设备数据读取接口，向所述第一设备的输入设备驱动模块发送数据读取指令，所述数据读取指令用于指示获取所述控制器的输入信息；
当通过所述输入设备驱动模块接收到所述数据读取指令时，向所述目标驱动文件发送获取请求，所述获取请求用于指示从所述目标驱动文件获取所述控制信息；
通过所述输入设备驱动模块接收所述目标驱动文件发送的所述控制信息，并将所述控制信息返回至所述应用；
其中，所述目标驱动文件用于接收到所述获取请求时，执行所述目标驱动文件的读取逻辑，从所述目标驱动文件的存储空间中获取所述控制信息，并将所述控制信息返回给所述输入设备驱动模块。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一设备的目标驱动文件，在所述第一设备上虚拟出一控制器包括：
运行所述目标驱动文件；
向所述目标驱动文件发送设备创建指令，所述设备创建指令用于指示在所述第一设备的操作系统中创建一控制器；
基于所述目标驱动文件的设备创建逻辑和所述创建指令携带的设备信息，在所述第一设备的操作系统中创建所述设备信息对应的控制器。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标驱动文件的设备创建逻辑和所述创建指令携带的设备信息，在所述第一设备的操作系统中创建所述设备信息对应的控制器包括：
根据所述设备创建指令，调用所述第一设备的设备创建接口，在所述第一设备的操作系统中创建所述设备信息对应的控制器；
向所述第一设备的设备管理模块发送所述设备信息和所述控制器的输入信息的存储格式；
向所述第一设备的输入设备驱动模块发送通知消息，所述通知消息用于通知所述第一设备的操作系统中已创建所述控制器。
4.根据权利要求1所述的方法，其特征在于，所述将所述控制信息作为所述控制器的输入信息，存储至所述目标驱动文件的存储空间中包括：
向所述目标驱动文件发送存储指令，所述存储指令用于指示将所述控制信息作为所述控制器的输入信息进行存储；
根据所述存储指令携带的控制信息，执行所述目标驱动文件中的存储逻辑，所述存储逻辑用于指示所述控制器的输入信息的存储过程。
5.根据权利要求4所述的方法，其特征在于，所述根据所述存储指令携带的控制信息，执行所述目标驱动文件中的存储逻辑包括：
根据所述控制器的输入信息的存储格式，将所述控制信息按照所述存储格式存储至所述目标驱动文件的存储空间中。
6.根据权利要求1所述的方法，其特征在于，所述控制信息的数量为多个，所述目标驱动文件用于当接收到所述获取请求时，执行所述目标驱动文件的读取逻辑，根据多个控制信息的存储信息，从所述目标驱动文件的存储空间中，依次读取每个控制信息，并将读取到的每个控制信息返回给所述输入设备驱动模块。
7.根据权利要求1所述的方法，其特征在于，所述接收第二设备发送的控制信息之前，所述方法还包括：
当接收到所述第二设备的连接请求时，与所述第二设备建立连接；
采集所述第一设备上显示的第一多媒体数据，向所述第二设备发送所述第一多媒体数据。
8.根据权利要求1所述的方法，其特征在于，所述接收第二设备发送的控制信息包括：
接收所述第二设备上显示的多个操作控件中被触发的操作控件对应的控制信息。
9.一种控制信息处理装置，其特征在于，所述装置应用在第一设备上，所述装置包括：
虚拟模块，用于基于所述第一设备的目标驱动文件，在所述第一设备上虚拟出一控制器，所述目标驱动文件用于向所述第一设备的输入设备驱动模块发送控制信息；
接收模块，用于接收第二设备发送的控制信息，所述控制信息用于控制所述第一设备执行对应操作；
存储模块，用于将所述控制信息作为所述控制器的输入信息，存储至所述目标驱动文件的存储空间中；
用于执行以下步骤的模块：在运行应用的过程中，基于所述应用的执行逻辑，调用设备数据读取接口，向所述第一设备的输入设备驱动模块发送数据读取指令，所述数据读取指令用于指示获取所述控制器的输入信息；
获取模块，用于当通过所述输入设备驱动模块接收到所述数据读取指令时，向所述目标驱动文件发送获取请求，所述获取请求用于指示从所述目标驱动文件获取所述控制信息；
用于执行以下步骤的模块：通过所述输入设备驱动模块接收所述目标驱动文件发送的所述控制信息，并将所述控制信息返回至所述应用；
其中，所述目标驱动文件用于接收到所述获取请求时，执行所述目标驱动文件的读取逻辑，从所述目标驱动文件的存储空间中获取所述控制信息，并将所述控制信息返回给所述输入设备驱动模块。
10.根据权利要求9所述的装置，其特征在于，所述虚拟模块，包括：
运行单元，用于运行所述目标驱动文件；
发送单元，用于向所述目标驱动文件发送设备创建指令，所述设备创建指令用于指示在所述第一设备的操作系统中创建一控制器；
创建单元，用于基于所述目标驱动文件的设备创建逻辑和所述创建指令携带的设备信息，在所述第一设备的操作系统中创建所述设备信息对应的控制器。
11.根据权利要求9所述的装置，其特征在于，
所述存储模块，还用于向所述目标驱动文件发送存储指令，所述存储指令用于指示将所述控制信息作为所述控制器的输入信息进行存储；根据所述存储指令携带的控制信息，执行所述目标驱动文件中的存储逻辑，所述存储逻辑用于指示所述控制器的输入信息的存储过程。
12.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求8任一项所述的控制信息处理方法所执行的操作。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的控制信息处理方法所执行的操作。
CN201811565846.4A 2018-12-20 2018-12-20 控制信息处理方法、装置、电子设备及存储介质 Active CN109646944B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811565846.4A CN109646944B (zh) 2018-12-20 2018-12-20 控制信息处理方法、装置、电子设备及存储介质
PCT/CN2019/120962 WO2020125340A1 (zh) 2018-12-20 2019-11-26 控制信息处理方法、装置、电子设备及存储介质
SG11202103119UA SG11202103119UA (en) 2018-12-20 2019-11-26 Method and device for processing control information, electronic equipment, and storage medium
EP19898642.4A EP3842106A4 (en) 2018-12-20 2019-11-26 METHOD AND DEVICE FOR PROCESSING CONTROL INFORMATION, ELECTRONIC DEVICE AND STORAGE MEDIUM
US17/206,063 US11954200B2 (en) 2018-12-20 2021-03-18 Control information processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811565846.4A CN109646944B (zh) 2018-12-20 2018-12-20 控制信息处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109646944A CN109646944A (zh) 2019-04-19
CN109646944B true CN109646944B (zh) 2022-02-18

Family

ID=66115322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811565846.4A Active CN109646944B (zh) 2018-12-20 2018-12-20 控制信息处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US11954200B2 (zh)
EP (1) EP3842106A4 (zh)
CN (1) CN109646944B (zh)
SG (1) SG11202103119UA (zh)
WO (1) WO2020125340A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109646944B (zh) * 2018-12-20 2022-02-18 腾讯科技（深圳）有限公司 控制信息处理方法、装置、电子设备及存储介质
CN110575667B (zh) * 2019-08-28 2023-05-26 深圳市瑞立视多媒体科技有限公司 基于ui界面的控制方法、装置、设备及存储介质
CN111084985B (zh) * 2019-12-23 2023-05-26 上海米哈游天命科技有限公司 一种输入设备的参数调节方法、装置、终端设备及介质
CN113173468B (zh) * 2021-05-18 2023-05-26 日立楼宇技术（广州）有限公司 一种召梯方法、装置及电梯控制系统
CN113438328B (zh) * 2021-08-30 2021-12-21 成都丰硕智能数字科技有限公司 一种低延迟终端同步系统及方法
CN116028000B (zh) * 2023-02-22 2023-06-02 上海励驰半导体有限公司 跨多操作系统的显示特性处理方法、单元及交通设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686289A (zh) * 2013-12-26 2014-03-26 深圳Tcl新技术有限公司 智能电视键盘输入控制方法及智能电视
CN105451046A (zh) * 2015-11-11 2016-03-30 网宿科技股份有限公司 基于智能终端的智能机顶盒虚拟手柄生成方法及系统
CN108052377A (zh) * 2017-12-29 2018-05-18 腾讯科技（深圳）有限公司 基于云的输入处理方法、装置、服务器和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9266017B1 (en) * 2008-12-03 2016-02-23 Electronic Arts Inc. Virtual playbook with user controls
CN103157282B (zh) * 2011-12-15 2015-12-16 宏碁股份有限公司 进行触控游戏的方法及相关娱乐系统
US20140329593A1 (en) * 2013-05-06 2014-11-06 Nvidia Corporation Text entry using game controller
CN103272382B (zh) * 2013-05-23 2016-07-06 深圳市时讯互联科技有限公司 蓝牙游戏手柄模拟智能终端触摸屏控制游戏的方法及装置
CN103480153A (zh) * 2013-09-04 2014-01-01 张家港保税区润桐电子技术研发有限公司 一种智能手机模拟电脑游戏手柄的方法
US10238960B2 (en) * 2017-04-26 2019-03-26 Microsoft Technology Licensing, Llc Dual input multilayer keyboard
CN108693997B (zh) * 2018-04-28 2020-08-04 广州视源电子科技股份有限公司 智能交互平板的触摸控制方法、装置及智能交互平板
CN109646944B (zh) * 2018-12-20 2022-02-18 腾讯科技（深圳）有限公司 控制信息处理方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686289A (zh) * 2013-12-26 2014-03-26 深圳Tcl新技术有限公司 智能电视键盘输入控制方法及智能电视
CN105451046A (zh) * 2015-11-11 2016-03-30 网宿科技股份有限公司 基于智能终端的智能机顶盒虚拟手柄生成方法及系统
CN108052377A (zh) * 2017-12-29 2018-05-18 腾讯科技（深圳）有限公司 基于云的输入处理方法、装置、服务器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
游戏串流教程 图文教程;互联网;《https://jingyan.baidu.com/article/c74d6000be410c0f6a595dbe.html》;20170725;全文 *

Also Published As

Publication number Publication date
WO2020125340A1 (zh) 2020-06-25
US11954200B2 (en) 2024-04-09
US20210200861A1 (en) 2021-07-01
SG11202103119UA (en) 2021-04-29
EP3842106A1 (en) 2021-06-30
CN109646944A (zh) 2019-04-19
EP3842106A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
CN108465240B (zh) 标记点位置显示方法、装置、终端及计算机可读存储介质
CN109646944B (zh) 控制信息处理方法、装置、电子设备及存储介质
CN109614171B (zh) 虚拟道具转移方法、装置、电子设备及计算机存储介质
CN110602321B (zh) 应用程序切换方法、装置、电子装置及存储介质
CN110841285B (zh) 界面元素的显示方法、装置、计算机设备及存储介质
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
CN108694073B (zh) 虚拟场景的控制方法、装置、设备及存储介质
CN111050189B (zh) 直播方法、装置、设备和存储介质
CN108737897B (zh) 视频播放方法、装置、设备及存储介质
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
CN109144346B (zh) 歌曲分享方法、装置及存储介质
CN112565911B (zh) 弹幕显示方法、弹幕生成方法、装置、设备及存储介质
CN111083526B (zh) 视频转场方法、装置、计算机设备及存储介质
CN113157172A (zh) 弹幕信息显示方法、发送方法、装置、终端及存储介质
CN113411680A (zh) 多媒体资源播放方法、装置、终端及存储介质
CN111368114A (zh) 信息展示方法、装置、设备及存储介质
CN111565338A (zh) 播放视频的方法、装置、系统、设备以及存储介质
CN110152309B (zh) 语音通信方法、装置、电子设备及存储介质
CN108228052B (zh) 触发界面组件运行的方法、装置、存储介质及终端
CN113141538B (zh) 媒体资源播放方法、装置、终端、服务器及存储介质
CN113032590B (zh) 特效展示方法、装置、计算机设备及计算机可读存储介质
CN112843703B (zh) 信息显示方法、装置、终端及存储介质
CN112367533B (zh) 交互业务的处理方法、装置、设备及计算机可读存储介质
CN112023403B (zh) 基于图文信息的对战过程展示方法及装置
CN112188268B (zh) 虚拟场景展示方法、虚拟场景的介绍视频生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant