Nothing Special   »   [go: up one dir, main page]

WO2017068928A1 - 情報処理装置及びその制御方法、並びにコンピュータ・プログラム - Google Patents

情報処理装置及びその制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
WO2017068928A1
WO2017068928A1 PCT/JP2016/078948 JP2016078948W WO2017068928A1 WO 2017068928 A1 WO2017068928 A1 WO 2017068928A1 JP 2016078948 W JP2016078948 W JP 2016078948W WO 2017068928 A1 WO2017068928 A1 WO 2017068928A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
ghost
information terminal
terminal device
video
Prior art date
Application number
PCT/JP2016/078948
Other languages
English (en)
French (fr)
Inventor
俊一 笠原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2016/078737 external-priority patent/WO2017068926A1/ja
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16857245.1A priority Critical patent/EP3367690A4/en
Priority to US15/767,008 priority patent/US10986206B2/en
Priority to CN201680060704.5A priority patent/CN108141628B/zh
Priority to JP2017546471A priority patent/JP6919568B2/ja
Publication of WO2017068928A1 publication Critical patent/WO2017068928A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Definitions

  • the technology disclosed in this specification relates to an information processing apparatus that provides content information, a control method thereof, and a computer program.
  • a technology is known in which a user accesses a view sight other than himself (a view seen from a moving body other than himself).
  • a mobile camera system that remotely acquires an image captured by a mobile camera mounted on a moving body such as a vehicle has been proposed (see, for example, Patent Document 1).
  • an image processing system that provides information similar to visual information acquired by a person wearing glasses with an imaging sensing wireless device to a head-mounted display wearer has been proposed (for example, Patent Document 2). checking).
  • an image display system for designating a viewpoint position and a line-of-sight direction to be picked up from a display device that displays a picked-up image of a moving object to a moving image pickup device, and a speed at the time of photographing has been proposed (for example, (See Patent Document 3).
  • a telepresence technique has been proposed that provides an interface for operating a remote object while transmitting a sense of being at the place through a visual distance of a remote robot (for example, a patent). (Ref. 4).
  • An object of the technology disclosed in the present specification is to provide an information processing apparatus that provides content information, a control method thereof, and a computer program.
  • An access receiving unit that receives direct or indirect access requests from information terminal devices of a plurality of second users for content information associated with the first user;
  • a control unit that controls provision of information to each of the information terminal devices based on a set priority when a predetermined condition relating to the received access request is satisfied; Is an information processing apparatus.
  • the second aspect of the technology disclosed in this specification is: An access receiving step of receiving direct or indirect access requests from information terminal devices of a plurality of second users for content information associated with the first user; A control step of controlling provision of information to each of the information terminal devices based on a set priority when a predetermined condition relating to the received access request is satisfied; It is the control method of the information processing apparatus which has.
  • the third aspect of the technology disclosed in this specification is: An access receiving step of receiving direct or indirect access requests from information terminal devices of a plurality of second users for content information associated with the first user; A control step of controlling provision of information to each of the information terminal devices based on a set priority when a predetermined condition relating to the received access request is satisfied; Is a computer program written in a computer-readable format to be executed on a computer.
  • an information processing apparatus that provides content information, a control method thereof, and a computer program can be provided.
  • FIG. 1 is a diagram illustrating an overview of a view information sharing system 100 to which the technology disclosed in this specification is applied.
  • FIG. 2 is a diagram schematically showing a one-to-N network topology.
  • FIG. 3 is a diagram schematically showing an N-to-1 network topology.
  • FIG. 4 is a diagram schematically showing an N-to-N network topology.
  • FIG. 5 is a diagram illustrating a functional configuration example of the image providing apparatus 101 and the image display apparatus 102.
  • FIG. 6 is a diagram exemplifying a mechanism (FIFO method) that limits the number of ghosts that JackIn to Body to a capacity.
  • FIG. 7 is a diagram exemplifying a mechanism (LIFO method) for limiting the number of ghosts JackIn to Body to a capacity.
  • FIG. 8 is a diagram exemplifying a mechanism (priority method) for limiting the number of Hosts JackIn to Body to a capacity.
  • FIG. 9 is a diagram showing a mechanism for distributing Body's past video to an unfixed ghost.
  • FIG. 10 is a flowchart showing a processing procedure for delivering a first person video to ghost that has newly Jacked in to Body.
  • FIG. 11 is a diagram schematically showing a state in which the 360-degree entire sky is divided into regions for each predetermined angle, the entire-sky image is channelized, and each channel server is installed.
  • FIG. 12 is a diagram illustrating a state in which the channel server 1101 distributes video in an area that overlaps the areas of adjacent channels ch2 and ch3.
  • FIG. 13 is a diagram illustrating a state in which the line of sight concentrates on a part of viewing angles in the all-sky video.
  • FIG. 14 is a flowchart showing a processing procedure for distributing the all-sky video of
  • FIG. 1 shows an overview of a view information sharing system 100 to which the technology disclosed in this specification is applied.
  • the view information sharing system 100 shown in the figure is configured by a combination of an image providing apparatus 101 that provides an image obtained by photographing a site and an image display apparatus 102 that displays an image provided from the image providing apparatus 101.
  • the image providing apparatus 101 may be regarded as an information processing apparatus or an information terminal apparatus.
  • the image providing apparatus 101 is specifically configured by a see-through head mounted display with a camera that is worn on the head of an observer 111 who is actually active at the site.
  • the "see-through type" head-mounted display here is basically an optical transmission type, but may be a video see-through type.
  • the camera mounted on the head-mounted display provides an image obtained by photographing the observer 111 substantially in the line-of-sight direction. That is, the image providing apparatus 101 may be regarded as an information processing apparatus that can be carried by the user.
  • the image providing device is not limited to a device worn on the head, and the device configuration is not particularly limited as long as it is a device that can acquire imaging information around the observer 111.
  • the image display apparatus 102 is disposed on the site, that is, apart from the image providing apparatus 101, and the image providing apparatus 101 and the image display apparatus 102 communicate via a network.
  • the term “separation” as used herein includes not only a remote place but also a situation in which the same room is slightly separated (for example, about several meters). It is also assumed that data exchange is performed between the image providing apparatus 101 and the image display apparatus 102 via a server apparatus (not shown).
  • the image display device 102 is, for example, a head-mounted display worn by a person (viewer of a captured image) 112 who is not in the field. If an immersive head-mounted display is used for the image display device 102, the viewer 112 can experience the same scene as the viewer 111 more realistically. However, a see-through type head mounted display may be used for the image display device 102.
  • the image display device 102 is not limited to a head-mounted display, and may be, for example, a wristwatch type display. Alternatively, the image display device 102 does not need to be a wearable terminal, but is a multi-function information terminal such as a smartphone or a tablet, a general monitor display such as a computer screen or a television receiver, a game machine, or a screen. A projector that projects an image may be used.
  • the types of these terminals or devices may be regarded as related information or attribute information of an external information processing device (information terminal device).
  • the performance and output format of the external information processing apparatus can also be included in the related information of the information processing apparatus.
  • the performance of the external information processing apparatus can include parameters such as resolution, frame rate, transmission rate, or decoding rate.
  • the output format of the external information processing apparatus may include audio output, image output, tactile output, and the like.
  • the observer 111 Since the observer 111 is actually at the site and is active with his / her body, the observer 111 (or the image providing apparatus 101) who is the user of the image providing apparatus 101 (information processing apparatus). Hereinafter, this is also referred to as “Body”.
  • the viewer 112 does not act with the body at the site, but can be aware of the site by viewing the video viewed from the viewpoint of the viewer 111. Therefore, the viewer 112 (or the image display device 102) that is the user of the image display device 102 is also referred to as “Ghost” below.
  • Body communicates its surroundings to ghost and further shares the situation with ghost.
  • the ghost can communicate with the body and realize interaction such as work support from a remote location.
  • ghost interacting with a video sent from Body is also referred to as “JackIn” below.
  • the view information sharing system 100 has a basic function of transmitting video from Body to ghost and viewing / experience on the ghost side, and communicating between Body and ghost. Using the latter communication function, ghost is able to operate and stimulate the body or part of the body of the “visual intervention” that intervenes in the body of the body, “auditory intervention” that intervenes in the body of the body of the body. Body interaction can be realized by remote intervention such as “physical intervention” and “alternative conversation” in which ghost speaks on site in place of Body. In JackIn, it can also be said that there are a plurality of communication channels such as “visual intervention”, “auditory intervention”, “physical intervention”, and “alternative conversation”. The details of “visual field intervention”, “auditory intervention”, “physical intervention”, and “alternative conversation” will be described later.
  • Ghost can instruct Body to act in the field through “vision intervention”, “auditory intervention”, “physical intervention”, and “alternative conversation”.
  • medical sites such as surgery and construction sites such as civil engineering work
  • instructions and guidance for aircraft and helicopter operations guidance for car drivers, coaching or instruction in sports, etc.
  • the view information sharing system 100 can be utilized.
  • Body wants to receive (or must receive) assistance, instructions, guidance, and guidance from other people for the current work through visual intervention, etc., in addition to sharing his field of view with others.
  • JackIn Body initial start
  • JackIn Body initial start
  • Ghost wants to provide support, instructions, guidance, and guidance for the work being done by others by performing visual intervention etc. in addition to viewing the scene image without going out (or If it has to be done), it carries out JackIn (Ghost initial start) with the corresponding Body on its own initiative.
  • JackIn Ghost initial start
  • FIG. 1 depicts a network topology in which Body and ghost have a one-to-one relationship where only one image providing apparatus 101 and one image display apparatus 102 exist.
  • a one-to-N network topology in which one Body and multiple (N) Hosts JackIn simultaneously as shown in FIG. 2, or multiple (N) Body and one ghost simultaneously in JackIn as shown in FIG. 3.
  • a network topology (not shown) is also assumed in which one device JackIn a Body as a ghost and functions as a Body to another ghost, and three or more devices are daisy chain connected.
  • a server device (not shown) may be interposed between the Body and the ghost.
  • FIG. 5 shows a functional configuration example of the image providing apparatus 101 and the image display apparatus 102.
  • the image providing apparatus 101 is an apparatus provided for use by a user (observer 112) who plays the role of Body.
  • the image providing apparatus 101 includes an imaging unit 501, an image processing unit 502, a display unit 503 as an output unit, a first audio output unit 504, a drive unit 505, and a second audio output unit. 506, a position detection unit 507, a communication unit 508, a control unit 509, and a setting unit 510.
  • Each component 501 to 510 of the image providing apparatus 101 is provided directly or indirectly to a predetermined housing as shown in FIG.
  • the imaging unit 501 is configured by a camera, and is attached to the head of the observer 111 so as to photograph, for example, Body, that is, the line of sight of the observer 111.
  • an omnidirectional camera may be used as the imaging unit 501 to provide a 360-degree omnidirectional image around the body.
  • the whole sky image does not necessarily need to be 360 degrees, and a part of the visual field may be missing.
  • the all-sky image may be a hemisphere image that does not include a floor surface with little information (the same applies hereinafter).
  • the image capturing unit 501 is only required to acquire captured image information in, for example, a real space where a body, that is, the observer 111 exists, and various apparatus configurations may be employed.
  • the body that is, the space in which the observer 111 exists can be defined as a virtual space instead of the real space.
  • the imaging unit 501 only needs to be able to acquire information on the space in which the observer 111 exists, and does not need to be directly provided in the image providing apparatus 101.
  • captured image information may be acquired from an imaging device provided in a space where the observer 111 exists.
  • the image processing unit 502 processes the image signal output from the imaging unit 501.
  • the image processing unit 502 artificially constructs a surrounding space from the continuous images captured by the imaging unit 501.
  • “real space” may be simply referred to as “space”.
  • the image processing unit 502 performs real-time space recognition based on a SLAM (Simultaneous Localization and Mapping) recognition technology on a video (all-round image) captured by the imaging unit 501 in real time
  • the video from the virtual camera viewpoint controlled by ghost is rendered by spatially connecting the frame and the past video frame.
  • the video rendered from the virtual camera viewpoint is a viewpoint video that is pseudo-outside the body of the body rather than a video viewed from the body viewpoint. Accordingly, since the ghost side can observe the environment surrounding the body independently of the movement of the body, the shaking of the image can be stabilized to prevent intoxication, and another place where the body is not focused can be viewed.
  • the voice input unit 521 is configured with a microphone or the like, and collects voice generated around the observer 111.
  • the audio processing unit 522 performs signal processing of the audio signal from the audio input unit 521 and performs acoustic encoding processing such as AAV (Advanced Audio Coding) as necessary.
  • AAV Advanced Audio Coding
  • the display unit 503 displays and outputs the information sent from the image display device 102, and realizes intervention on the body field of view by ghost.
  • the display unit 503 displays an AR (Augmented Reality) image expressing ghost's consciousness sharing the experience with the Body as an observer. It is displayed in a superimposed manner on the field of view of 111 (ie, the real world landscape).
  • the AR image includes, for example, an image such as a pointer or an annotation indicating the location pointed to by ghost. Therefore, ghost can intervene in the field of view through communication with Body, and can interact with Body in the field.
  • the first audio output unit 504 is composed of, for example, an earphone or a headphone, and allows the body to listen to the information sent from the image display device 102, thereby realizing intervention of the body to be heard by ghost. From the image display device 102, information regarding ghost's consciousness sharing experiences with the Body is transmitted. On the image providing apparatus 101 side, the received information is converted into an audio signal, and the audio is output from the first audio output unit 504 to be heard by the Body, that is, the observer 111. Alternatively, an audio signal uttered by ghost who is viewing the video transmitted from the body is transmitted from the image display device 102 as it is.
  • the received audio signal is output as audio from the first audio output unit 504 as it is, so that Body, that is, the observer 111 listens.
  • the volume, quality, output timing, and the like of the sound output from the first sound output unit 504 may be adjusted as appropriate.
  • image information and character information (text information) received from the image display device 102 may be converted into an audio signal and output from the first audio output unit 504 as audio. Therefore, ghost can intervene in the hearing through communication with Body, and can interact with Body in the field.
  • the drive unit 505 operates the body of the body or a part of the body or gives a stimulus to realize intervention on the body of the body by ghost.
  • the drive unit 505 includes, for example, an actuator that applies a tactile sensation (tactile) or a slight electrical stimulus (not harmful to health) to the body of the observer 111.
  • the driving unit 505 is a device that assists or restrains body movement by driving a power suit or exoskeleton that the observer 111 wears on an arm, hand, leg, or the like (see, for example, Patent Document 5). Consists of). Therefore, ghost can intervene in the body through communication with Body, and can interact with Body in the field.
  • the second audio output unit 506 is composed of, for example, a wearable speaker worn by Body, and outputs information or an audio signal received from the image display device 102 to the outside.
  • the sound output from the second sound output unit 506 can be heard on the scene as if the body is speaking. Therefore, ghost can talk with people on the site where the body is located or can give a voice instruction (alternative conversation) instead of the body.
  • the position detection unit 507 detects current position information of the image providing apparatus 101 (that is, Body) using, for example, a GPS (Global Positioning System) signal.
  • the detected position information is used, for example, when searching for a Body at a location desired by ghost.
  • the communication unit 508 is interconnected with the image display device 102 via a network, and transmits video and spatial information captured by the image capturing unit 501 and communicates with the image display device 102.
  • the communication means of the communication unit 508 may be either wireless or wired, and is not limited to a specific communication standard.
  • the communication unit 508 is also assumed to communicate information with the image display apparatus 102 via a server apparatus (not shown).
  • the setting unit 510 performs authentication processing of the image display device 102 (or ghost that is the user) interconnected via the network and checks ghost attribute information (related information), and provides information to the image display device 102 A range is set, or an information range to be output from the output unit among information received from the image display apparatus 102 is set.
  • various types of information provided from Body to ghost may be regarded as content information associated with Body.
  • the information range provided to ghost may be defined as the amount of information provided to ghost.
  • the setting unit 510 transmits one or both of the video input from the imaging unit 501 and the audio information input from the audio input unit 521 to the image display apparatus 102 based on the attribute information of ghost. Set to the range of information to be provided.
  • the setting unit 510 sets an information range to be output by the output unit among information signals such as audio information, text information, and image information received from the image display device 102 based on the attribute information of ghost.
  • information signals such as audio information, text information, and image information received from the image display device 102 based on the attribute information of ghost.
  • the setting unit 510 sets a priority order for providing information to each image display device 102 when a predetermined condition regarding the access request received from the image display device 102 is satisfied.
  • the access request may be simply referred to as access.
  • the predetermined condition mentioned here is, for example, that the capacity of the communication band of the network between the image providing apparatus 101 and the image display apparatus 102 exceeds a predetermined limit, or that the number of accesses exceeds a predetermined limit. More specifically, when the number of accesses exceeds a predetermined limit, the number of image display apparatuses 102 that request real-time access to the content information provided from the image providing apparatus 101 is accessible (that is, the upper limit number). ). Then, the setting unit 510 sets the priority order of each image display device 102 based on ghost attribute information including personal information of the user and unique information of the image display device 102.
  • the control unit 509 has functions corresponding to, for example, a CPU (Central Processing Unit) and a GPU (Graphic Processing Unit).
  • the control unit 509 controls the output operation from the output unit based on the information range set according to the authentication result by the setting unit 510.
  • the control unit 509 provides information to each of the image display devices 102 based on the priority set by the setting unit 510 when a predetermined condition regarding the access request received from the image display device 102 is satisfied. It can be regarded as controlling.
  • the control unit 509 displays the information from the display unit 503. Perform output only.
  • the control unit 509 outputs the display from the display unit 503.
  • the first audio output unit 504 outputs audio.
  • the information range provided by the image providing device 101 to the image display device 102 and the information range received from the image display device 102 are defined as permission levels.
  • the range in which ghost intervenes on Body is defined as the mission level (described later).
  • Various signals issued when this ghost intervenes, ie, accesses, the Body may be regarded as an access request from the ghost to the Body.
  • a component of a server device that receives an access request issued from the image display device 102 may be regarded as an access receiving unit.
  • at least one of the communication unit 508, the setting unit 510, and the control unit 509 of the image providing apparatus 101 may be regarded as an access reception unit.
  • the view information sharing is performed so that the above processing by the setting unit 510 and the control unit 509 is executed not by the image providing apparatus 101 but by a server (not shown) interposed between the image providing apparatus 101 and the image display apparatus 102.
  • the server device may be regarded as the information processing device in the present disclosure.
  • the image providing apparatus 101 receives an access request from ghost indirectly via the server apparatus, that is, directly from the server apparatus.
  • the technique of this indication is not restricted to this,
  • the image provision apparatus 101 may receive an access request directly from an image display apparatus.
  • control unit 509 is based on the priority set by the setting unit 510 when a predetermined condition is satisfied with respect to the access that has occurred, such as the capacity of the communication band exceeds the limit or the number of accesses exceeds the limit. Then, transmission of information to the image display apparatus 102 (video captured by the imaging unit 501 and audio input by the audio input unit 521) is performed.
  • the image display device 102 is a device provided for use by a user (viewer 112) that plays the role of ghost.
  • the image display apparatus 102 includes a communication unit 511, an image decoding unit 512, a display unit 513, a user input unit 514, and a position / orientation detection unit 515.
  • the communication unit 511 is interconnected with the image providing apparatus 101 via a network, and receives video from the image providing apparatus 101 and communicates with the image providing apparatus 101.
  • the communication means of the communication unit 511 may be either wireless or wired and is not limited to a specific communication standard, but is assumed to be consistent with the communication unit 508 on the image providing apparatus 101 side.
  • the communication unit 511 is also assumed to communicate information with the image providing apparatus 101 via a server apparatus (not shown).
  • the image decoding unit 512 decodes the image signal received from the image providing apparatus 101 by the communication unit 511.
  • the display unit 513 displays and outputs the all-sky image after being decoded by the image decoding unit 512. It should be noted that the process (described above) for rendering the viewpoint video that has left the body from the Body viewpoint image may be performed by the image decoding unit 512 instead of the image processing unit 502 on the image providing apparatus 101 side.
  • the position / orientation detection unit 515 detects the position and orientation of the viewer's 112 head.
  • the detected position and orientation correspond to the current viewpoint position and line-of-sight direction of ghost.
  • the position of the viewer 112 detected by the position / orientation detection unit 515 detects the viewpoint position and the line-of-sight direction of the virtual camera (described above) when creating a viewpoint image that is pseudo outside the body of the body from the Body viewpoint image. Control can be based on position and orientation.
  • the display unit 513 includes, for example, a head-mounted display worn by the viewer 112 as ghost. If an immersive head-mounted display is used for the display unit 513, the viewer 112 can experience the same scene as the viewer 111 more realistically.
  • the video viewed by the viewer 112, that is, ghost is not the Body viewpoint video itself, but is a surrounding space (a viewpoint video that has been pseudo-departed from the body of the body) that is pseudo-constructed from the continuous image ( As described above). Further, it is possible to move the display angle of view of the display unit 513 by controlling the virtual camera so as to follow the viewpoint position and line-of-sight direction of the viewer 112 detected by the ghost head tracking, that is, the position / orientation detection unit 515. it can.
  • a wearable terminal such as a see-through type head mounted display or a watch type display may be used instead of the immersive type head mounted display.
  • the display unit 513 does not need to be a wearable terminal, and is a multifunctional information terminal such as a smartphone or a tablet, a general monitor display such as a computer screen or a television receiver, a game machine, or an image on the screen. It may be a projector that projects
  • the user input unit 514 is a device for inputting ghost's own intention and consciousness when the viewer 112 as Ghost observes the video sent from the Body displayed on the display unit 513. is there.
  • the user input unit 514 includes a coordinate input device such as a touch panel, a mouse, or a joystick.
  • ghost can directly indicate a location of particular interest by touching or clicking a mouse on a screen that displays a video sent from Body.
  • ghost gives an instruction on the pixel coordinates of the video being viewed, it does not make sense because the photographed video on the Body side always changes. Therefore, the user input unit 514 specifies position information in the three-dimensional space corresponding to the pixel position designated by ghost by touching or clicking on the screen, etc. by image analysis, and the position information in the three-dimensional space is imaged. Transmit to the providing apparatus 101. Therefore, ghost can perform pointing that can be fixed with respect to space, not pixel coordinates.
  • the user input unit 514 captures eye movement using a ghost face image captured by the camera or an electro-oculogram, determines a location where ghost is gazed, and specifies information for identifying the location. You may make it transmit to the image provision apparatus 101.
  • FIG. Also in this case, the user input unit 514 specifies position information in the three-dimensional space corresponding to the pixel position that ghost takes a close look by image analysis or the like, and transmits the position information in the three-dimensional space to the image providing apparatus 101. To do. Therefore, ghost can perform pointing that can be fixed with respect to space, not pixel coordinates.
  • the user input unit 514 includes a character input device such as a keyboard.
  • the ghost can input the intention or consciousness that he wants to convey to the Body as text information when he / she watches the sent video and experiences the same as the Body.
  • the user input unit 514 may transmit the character information input by ghost to the image providing apparatus 101 as it is, or may transmit it to the image providing apparatus 101 after replacing it with another signal format such as an audio signal.
  • the user input unit 514 includes a voice input device such as a microphone, and inputs the voice uttered by ghost.
  • the user input unit 414 may transmit the input voice from the communication unit 511 to the image providing apparatus 101 as an audio signal.
  • the user input unit 514 may recognize the input voice, convert it to character information, and transmit it to the image providing apparatus 101 as character information. By converting the voice information into the character information, it is possible to suppress transmission of the attribute information of the ghost, that is, the personal information from the voice in which the ghost is generated to the Body.
  • Ghost uses a directive such as “that” or “this” to point out things while viewing the video sent from Body.
  • the user input unit 514 specifies position information in the three-dimensional space of the thing indicated by the instruction word by language analysis and image analysis, and transmits the position information in the three-dimensional space to the image providing apparatus 101. To do. Therefore, ghost can perform pointing that can be fixed with respect to space, not pixel coordinates.
  • the user input unit 514 may be a gesture input device that inputs ghost gestures and hand gestures.
  • the means for capturing the gesture is not particularly limited.
  • the user input unit 514 may include a camera that captures the motion of ghost's limbs and an image recognition device that processes the captured image.
  • a marker may be attached to the body of ghost.
  • the user input unit 514 includes a gyro sensor or an acceleration sensor attached to the ghost body, and detects the movement of the ghost body.
  • the user input unit 514 may transmit the input gesture from the communication unit 511 to the image providing apparatus 101 as a control signal that intervenes in the body of Body, for example.
  • the user input unit 514 converts the input gesture into image information (such as coordinate information, AR image to be superimposed, or character information) that intervenes in the body's field of view, or an audio signal that intervenes in the body's hearing. Then, it may be transmitted from the communication unit 511 to the image providing apparatus 101.
  • the user input unit 514 specifies position information in the three-dimensional space corresponding to the pixel position designated by ghost by a gesture by image analysis or the like, and transmits the position information in the three-dimensional space to the image providing apparatus 101. . Therefore, ghost can perform pointing that can be fixed with respect to space, not pixel coordinates.
  • the user input unit 514 displays the ghost operation obtained based on the analysis result of the ghost image captured by the camera, the detection result of the gyro sensor or the acceleration sensor attached to the body of the ghost in the virtual space (VR space). Enter as an instruction to move in.
  • JackIn developed in the view information sharing system 100 is similar to general AR technology from the viewpoint of displaying an AR image in a superimposed manner.
  • JackIn seems to be different from the normal AR technology provided by a computer in that a human (Ghost) expands another human (Body).
  • JackIn is also similar to telepresence (described above). However, normal telepresence is an interface for viewing the world from the viewpoint of a machine such as a robot, whereas JackIn is a situation where a human (Ghost) views from the viewpoint of another human (Body). Is different. Telepresence is based on the premise that a human being is a master and a machine is a slave, and that the slave machine faithfully reproduces human movements. On the other hand, when a human (Ghost) JackIn to another human (Body), Body does not always move according to ghost, but is an interface that allows independence.
  • the video provided from the image providing device 101 to the image display device 102 is not always a real-time video (that is, a live video shot by the shooting unit 501) observed by the body on the spot.
  • it may be a recorded past video.
  • the image providing apparatus 101 may include a large-capacity storage device (not shown) that records past videos, and the past videos may be distributed from the image providing apparatus 101.
  • a recorded video by the image providing apparatus 101 is accumulated on a JackIn server (provisional name) that controls JackIn between Body and ghost, or other recording server, and ghost (image display apparatus 102) is stored from these servers.
  • the past video may be streamed.
  • Ghost may be regarded as not allowing any intervention, including visual and auditory, to Body when viewing a past video. This is because the video that ghost is watching is not the video of the site where Body is currently working, and intervening based on the past video will hinder Body's current work.
  • “permission” and “mission” are defined in order to realize appropriate matching between Body and ghost.
  • the range in which Body allows the intervention from ghost is defined as “permission”, and the intervention from ghost is limited to the range specified by permission.
  • the range of operations in which ghost intervenes in Body is defined as “mission”, and the range in which ghost can intervene in Body is limited to the range specified by mission.
  • Level 1 Only field of view exchange is allowed. In this case, the image providing apparatus 101 only transmits the captured image of the imaging unit 501 and does not operate the output unit at all.
  • Level 2 Allow only view exchange and view intervention. In this case, the image providing apparatus 101 transmits the captured image of the imaging unit 501 and performs only the display output of the display unit 503.
  • Level 3 Further, auditory intervention is allowed. In this case, the image providing apparatus 101 transmits the captured image of the imaging unit 501 and performs the display output of the display unit 503 and the audio output from the first audio output unit 504.
  • Level 4 Allow all interventions, including physical interventions and alternative conversations. In this case, the image providing apparatus 101 can further drive the drive unit 505 and can output audio from the second audio output unit 506 to the outside.
  • each Body may give an individual permission for each ghost instead of giving a uniform permission to all the ghosts.
  • Body may set permission according to the user attribute of ghost.
  • the user attributes mentioned here include age, gender, personal relationships with Body (such as relationships, friends, bosses and subordinates), personal information such as birthplace, occupation, and qualifications, as well as rating information for work skills to be supported It also includes information such as past ghost (assistant, instructor, etc.) results (how many hours the work has been done so far), evaluations, and other Body reputations (posts, voting results, etc.).
  • Body does not set permissions according to attributes, but may set permissions on an individual basis (permission for Mr. A, permission for Mr. B, etc.). In other words, a permission may be set for each combination of Body and ghost.
  • the Body may set a permission based on the human relationship with the user, or may set the permission based on ghost's own ability that is personally understood by the body.
  • a method of granting temporary ghost to ghost by one-to-one negotiation or arbitration between Body and ghost giving a certain ghost a high-level ermisson for a predetermined period, when the period elapses, the original (Return to level permission).
  • Body may be able to set a user who prohibits JackIn to himself.
  • Example 1 Only shared view (level 1 permission) is allowed for others. (Example 2) Friends are allowed up to visual intervention as well as auditory intervention (level 2 or 3 permission). (Example 3) Physical intervention (level 4 permission) is specifically allowed for close friends or those who have authentication or qualifications. Or, an alternative conversation is temporarily allowed.
  • Example 4 For Ghost paying 5 dollars, only view sharing (level 1 permission) is allowed. (Example 5) A ghost paying 10 dollars allows visual intervention as well as auditory intervention (level 2 or 3 permission). Example 6 A ghost paying $ 100 is allowed physical intervention (level 4 permission). Or, an alternative conversation is temporarily allowed.
  • the range of operations in which ghost intervenes in Body is defined as “mission”, and the range in which ghost can intervene in Body is limited to the range specified in mission.
  • the ghost mission is set, for example, within the range of missions and abilities that the ghost itself bears. It is preferable that the mission is permitted or authenticated by, for example, an authoritative institution, and is not determined by each individual ghost on their own.
  • Mission, duties, occupation, qualifications, intervention skill ratings, past ghost (assistant, instructor, etc.) experience e.g., experience time as ghost
  • evaluation review
  • reputation by Body Depending on the posting, voting result, etc., different levels of missions as exemplified below can be defined.
  • Level 1 Only field of view exchange is performed. In this case, the image display device 102 only displays the image received from the image providing device 101.
  • Level 2 Perform up to field exchange and field intervention. In this case, the image display apparatus 102 displays the image received from the image providing apparatus 101 and transmits information related to an image to be displayed on the image providing apparatus 101 side (an image to be superimposed and displayed in the field of view). .
  • Level 3 In addition, an auditory intervention is performed. In this case, the image display apparatus 102 further transmits information related to the sound to be output by the image providing apparatus 101 (the sound to be heard by the Body).
  • Level 4) Perform all interventions, including physical interventions and alternative conversations. In this case, the image display apparatus 102 further transmits information for operating the drive unit 505 and information related to the sound to be output from the second sound output unit 506.
  • Body When Body starts JackIn with ghost, it filters based on personal information and attribute information of ghost, and further, the permission specified by Body matches the mission that Ghost has, and whether or not JackIn is accepted. What is necessary is just to judge the range which can intervene in a state. For example, the filtering process is effective when Body takes the lead in starting JackIn for a large number of unspecified ghosts (Large number ghost) (Body initial start).
  • ghost attribute information may be regarded as including personal information of the user and unique information of the image display apparatus 102.
  • the unique information of the image display apparatus 102 may include information on the ID, performance, and information output format for each image display apparatus 102.
  • Such filtering processing may be performed on the Body side (that is, the image providing apparatus 101), or may be performed by a JackIn server (tentative name) that controls JackIn between a large number of Bodies and a large number of ghosts. Good.
  • Body may set the ghost capacity (upper limit) to JackIn at the same time.
  • a capacity is set for ghost that can be JackIn
  • the ghost newly JackIn exceeds the capacity
  • the ghost exceeding the capacity is expelled to limit the number of ghosts for delivering real-time video within the capacity.
  • the capacity is a number determined according to, for example, the capacity limit of the communication band.
  • the capacity may be the number of ghosts that the Body allows to intervene on itself.
  • the ghost may be regarded as including at least a ghost having a relatively high priority and a ghost having a relatively low priority. For example, the following methods can be mentioned.
  • new ghosts can be jacked in order starting from the ghost that has been JackIn first (see FIG. 6), so the same first-person experience as Body is equal to each ghost. There is an advantage of being assigned to.
  • FIG. 8 illustrates a mechanism for suppressing the number of ghosts Jacked in to the Body within the capacity by the priority order method.
  • the priorities are expressed in shades (the darker color ghost is the higher priority).
  • ghost newly jacks in it is expelled in order from the lowest priority order.
  • priority may be assigned to each ghost according to the personal relationship with Body, occupation, qualification, past performance and evaluation, reputation, and the like.
  • Body has made JackIn a paid service (that is, monetize)
  • priority is assigned according to the amount of money paid by ghost, it becomes easier to support the operation of the service in terms of finances.
  • the priority assigned to each ghost may be dynamically changed.
  • the video distribution may be performed by a method that does not affect the video distribution to
  • the real-time video distributed to the host, that is, the ghost (within the capacity) from the image providing apparatus 101 is recorded by the external apparatus, and the pasted ghost is recorded from the external apparatus instead of the body.
  • the video is distributed (see FIG. 9).
  • the external device referred to here is, for example, a JackIn server (tentative name) that controls JackIn between Body and ghost, or other recording server.
  • the video that reaches the ghost from the external device is a past video delayed due to processing such as recording, and is not live, so it may be considered that no intervention including visual and auditory is allowed for the body.
  • ghost can relive the first person experience of Body as long as it allows for a time delay.
  • FIG. 10 shows a processing procedure for distributing the first person video to ghost that has newly Jacked in Body in the form of a flowchart.
  • step S1002 the Body checks whether the total number of ghosts JackIn is still within the capacity (step S1002).
  • Step S1003 if the number of ghosts that have been JackIn in step S1001 is not exceeded (No in step S1002), Body starts distributing real-time first person video to the ghost that has been JackIn in step S1001. (Step S1003).
  • step S1001 when adding the ghost that has been JackIn in step S1001 exceeds the capacity of the Body (Yes in step S1002), the Body determines whether the ghost that has been JackIn in step S1001 is within the capacity (in other words, the ghost). Whether or not should be expelled) is determined (step S1007). Whether or not ghost should be evicted may be determined by any of the above-described FIFO method, LIFO method, and priority method, for example.
  • step S1001 If it is determined in step S1001 that the ghost that was JackIn is within the capacity (Yes in step S1008), Body starts distributing real-time first person video to the ghost (step S1003).
  • step S1009 the past first person video (for example, from the recording server) Distribution is started (step S1009). Since the recording server distributes the past first person video, not Body (image providing apparatus 101), the video transmission load is distributed (described above).
  • Step S1009 if the number of Hosts JackIn to Body decreases and the capacity becomes empty (Yes in Step S1010), Body Performs a capacity determination process as to whether or not the ghost that has been JackIn in step S1001 should be included in the capacity (step S1011). Whether or not ghost should be included in the capacity may be determined by any one of the above-described FIFO method, LIFO method, and priority method, for example.
  • step S1001 If it is determined that the ghost that has been JackIn in step S1001 should not be included in the capacity (that is, it should remain evicted) (No in step S1012), Body continues to the ghost. Distribute the past first person video (from the recording server) (step S1009).
  • step S1001 If it is determined in step S1001 that the ghost that has been JackIn should be included in the capacity (Yes in step S1012), the Body performs chasing playback from the recording server to the ghost (described above). (Step S1013), switching to real-time first person video distribution (step S1003).
  • step S1003 if the number of ghosts JackIn to Body increases and the capacity is over (Yes in step S1004), the ghost Is a capacity determination process (step S1005). Whether or not ghost should be included in the capacity may be determined by any one of the above-described FIFO method, LIFO method, and priority method, for example.
  • step S1001 If it is determined in step S1001 that the ghost that has been JackIn may remain in the capacity (Yes in step S1006), Body continuously delivers real-time first person video to the ghost (step S1006). S1003).
  • step S1001 If it is determined in step S1001 that the ghost that has been JackIn should be driven out (No in step S1006), the Body switches to the past first-person video distribution (for example, from the recording server) to the ghost ( Step S1009).
  • Body that is, ghost that is evicted for load distribution of the image providing apparatus 101 is distributed with a time delay of, for example, 5 minutes from the recording server. You can watch the video. When ghost returns from the evicted state, it does not return immediately to viewing the real-time video, but performs chasing playback with a video speed of 1.05 times or the like and gradually (ie, , Seamlessly) return to the current time video.
  • a 360-degree total sky is divided into areas for each predetermined angle, and the all-sky video is channelized to distribute the video for each channel (area). 1102... Can be installed to distribute the load when distributing the whole sky video.
  • video is distributed from the channel servers 1101, 1102,... Corresponding to the current line-of-sight direction.
  • the line-of-sight direction changes on the ghost side, it is possible to view an image adapted to the line-of-sight direction by switching the channel server accordingly.
  • the angle (center angle) that divides the entire sky is preferably large enough to cover the human viewing angle.
  • the entire sky is divided into four areas of channels ch1, ch2,... Every 90 degrees, and the images of the areas are respectively channel servers 1101, 1102. I'm trying to deliver from ...
  • the video of each channel is produced so that the video of the boundary of adjacent regions (channels) overlaps so that the boundaries of the regions are not seen or the video is not interrupted when the channels are switched.
  • FIG. 12 shows a state in which the channel server 1101 distributes video in an area that overlaps the areas of adjacent channels ch2 and ch3.
  • the all-sky video is channelized and the video is distributed from different channel servers for each channel (area), so that the distribution of the all-sky video can be distributed. .
  • the viewing angle of ghost is concentrated in one place in the whole sky.
  • the viewing angle of ghost tends to concentrate on the stage or a specific artist.
  • FIG. 13 illustrates the viewing angle of each ghost that views the whole-sky video of the Body.
  • the arrow indicates the line-of-sight direction from the central viewpoint position.
  • the viewing angle is concentrated in the channel ch1, so the transmission load is concentrated on the channel server 1101.
  • the number of ghosts that can be viewed is set for each channel server, in other words, for each area of the all-sky video, and the ghost eviction process similar to that described in the section D-1 is performed. Should be implemented. As described above, the ghost to be evicted from the area can be selected using the FIFO method, the LIFO method, or the priority method.
  • the specific direction may be regarded as a direction in which viewing angles are concentrated, that is, a specific viewing direction.
  • Video distribution may be performed by a (not-given) method.
  • the channel server has room for capacity (communication bandwidth capacity limitation, etc.), and the ghost that was previously out of capacity will enter the capacity (or return to capacity) ) Is also possible.
  • the video to be distributed to ghost is immediately switched from the viewing angle of the adjacent region to the video at the original viewing angle, ghost loses information on the video between the viewing angles. Therefore, when the viewing angle is switched, the viewing angle may be gradually returned from the viewing angle in the adjacent area instead of immediately returning to the original viewing angle. If the viewing angle is gradually shifted, ghost can seamlessly switch to a desired viewing angle and view it without a sense of incongruity.
  • FIG. 14 shows a processing procedure for distributing the all-sky video of Body to ghost in the form of a flowchart.
  • step S1401 When the ghost Jacking in the Body changes the viewing angle (Yes in step S1401), it is checked whether the total number of ghosts viewing the region (channel) including the viewing angle is still within the capacity (step S1402).
  • “when ghost changes the viewing angle” includes a case where a new ghost JackIns the Body.
  • the Body displays the video at the viewing angle as desired with respect to the ghost. Is started (step S1403).
  • Body indicates whether or not the ghost is within the capacity of the area (channel). (In other words, whether or not the area (channel) should be evicted) is determined (step S1407). Whether or not Ghost should be evicted may be determined by any of the above-described FIFO method, LIFO method, and priority method, for example.
  • step S1401 When it is determined that the host whose viewing angle has been changed in step S1401 is within the capacity of the corresponding region (channel) (Yes in step S1408), Body is able to display the host at the desired viewing angle with respect to the host. Distribution of video is started (step S1403).
  • step S1401 If it is determined that the host whose viewing angle has been changed in step S1401 is out of the capacity of the corresponding region (channel) (that is, should be evicted) (No in step S1408), the host has been changed. Distribution of the video of not the viewing angle area but the area (channel) adjacent thereto is started (step S1409). Since the video of the adjacent area is distributed by another channel server that does not exceed the capacity, the video transmission load is distributed (as described above).
  • step S1409 While the video of the region (channel) adjacent to ghost whose viewing angle is changed in step S1401 is being distributed (step S1409), the region (channel) including the original viewing angle (that is, changed in step S1401).
  • the number of ghosts that watch the movie decreases and the capacity becomes empty (Yes in step S1410), Body should put the ghost whose viewing angle has been changed in step S1401 into the capacity of the desired area (channel).
  • a capacity determination process is performed (step S1411). Whether or not ghost should be included in the capacity may be determined by any one of the above-described FIFO method, LIFO method, and priority method, for example.
  • step S1401 When it is determined that the host whose viewing angle has been changed in step S1401 should be included in the capacity of the desired region (channel) (Yes in step S1412), Body is in response to the host. After performing viewing angle shift reproduction (step S1413), switching to video distribution at a desired viewing angle is performed (step S1403).
  • Step S1403 While the video of the desired region (channel) is being distributed to the ghost whose viewing angle has been changed in Step S1401 (Step S1403), the other ghost has changed the viewing angle within the same region (channel) and has the capacity.
  • step S1404 whether or not the ghost should be kept in the capacity (in other words, whether or not to be expelled) is subjected to capacity determination processing (step S1405).
  • Whether or not ghost should be included in the capacity may be determined by any one of the above-described FIFO method, LIFO method, and priority method, for example.
  • step S1401 If it is determined in step S1401 that the ghost whose viewing angle has been changed may remain in the capacity (Yes in step S1406), Body continues to display the video at the desired viewing angle for that ghost. Is distributed (step S1403).
  • step S1401 If it is determined in step S1401 that the ghost whose viewing angle has been changed should be driven out (No in step S1406), Body switches to the adjacent region (channel) and distributes the video to the ghost ( Step S1409).
  • the video in the adjacent area can be viewed with respect to ghost that has been evicted for load distribution of the channel server. Then, when returning from the evicted state, ghost does not immediately return to viewing the video at the desired viewing angle, but instead performs the viewing angle shift reproduction to gradually change to the video at the desired viewing angle. Return.
  • the technology disclosed in this specification can be used for work support in various industrial fields, such as medical sites such as surgery, construction sites such as civil engineering, airplane and helicopter operations, car driver navigation, and sports instructions. It can be used for such applications.
  • the description is focused on an embodiment related to a system in which ghost, who shares a first person image of Body, intervenes in Body's visual sense, hearing, and the like with respect to Body who is active in the field with the body.
  • the gist of the technology disclosed in the present specification is not limited to this.
  • the technology disclosed in the present specification can be similarly applied to various information processing apparatuses that display information on support, instructions, guidance, and guidance from others in the field of view of a person.
  • a control unit A communication department; An access receiver for receiving access from an external information processing device; A setting unit for setting a priority order for providing information to each information processing device when the access receiving unit receives an access from the information processing device exceeding a predetermined condition; Comprising The control unit transmits image information input from the imaging unit to the information processing apparatus via the communication unit based on the priority order set by the setting unit.
  • An information terminal device that can be connected to an imaging unit and a voice input unit.
  • the setting unit sets the priority when receiving an access from an information processing apparatus that exceeds a communication band capacity limit or access number limit of the communication unit as the predetermined condition.
  • the control unit transmits image information from the communication unit while changing the order, the reproduction time, the angle, or the resolution according to the priority.
  • the information terminal device according to (1) above.
  • the control unit transmits a current video from the communication unit to the information processing apparatus within the predetermined condition according to the priority order, and the information processing apparatus exceeds the predetermined condition. Send past video from the communication unit, The information terminal device according to (3) above.
  • the control unit determines the specific line-of-sight with respect to the information processing apparatus within the predetermined condition according to the priority.
  • a direction image is transmitted from the communication unit, and an image other than the specific line-of-sight direction is transmitted from the communication unit to the information processing apparatus exceeding the predetermined condition.
  • the control unit transmits an image of a first resolution from the communication unit to the information processing device within the predetermined condition according to the priority order, and the information processing device exceeding the predetermined condition Transmitting a video having a second resolution lower than the first resolution from the communication unit.
  • the setting unit sets a priority order of each information processing device based on information specific to the information processing device or information on an attribute of the user of the information processing device.
  • the setting unit sets the priority order of each information processing device based on the order in which the access receiving unit accesses.
  • the information terminal device according to (1) above.
  • an access receiving step for accepting access from an external information processing apparatus;
  • a control step for controlling transmission of image information input from the imaging unit to the information processing device based on the priority order set in the setting step;
  • a control unit for transmitting access to the information terminal device; Comprising The control unit, when exceeding a predetermined condition in the information terminal device accessed by the access transmission unit, based on the priority set in the information processing device, the image information input from the imaging unit, Receiving from the information terminal device via the communication unit; An information processing apparatus that accesses an information terminal device that can connect an imaging unit and a voice input unit.
  • (11) an access transmission step of transmitting access to the information terminal device; When the information terminal device accessed in the access transmission step exceeds a predetermined condition, the image information input from the imaging unit is transmitted via the communication unit based on the priority set in the information processing device.
  • an access receiver that receives access from the information processing device to the information terminal device;
  • a setting unit for setting a priority order for providing information to each information processing device when the access receiving unit receives an access from the information processing device exceeding a predetermined condition;
  • a control unit that controls transmission of image information input from the imaging unit to the information terminal device to the information processing device based on the priority order set by the setting unit;
  • a server device interposed between an information terminal device connectable to an imaging unit and a voice input unit and an information processing device accessing the information terminal device.
  • an access receiving step for accepting access from the information processing device to the information terminal device;
  • a setting step for setting a priority order for providing information to each information processing device when access is received from the information processing device exceeding the condition in the access receiving step;
  • a control step for controlling transmission of image information input from the imaging unit to the information terminal device to the information processing device based on the priority order set in the setting step;
  • a server device control method interposed between an information terminal device connectable to an imaging unit and a voice input unit and an information processing device accessing the information terminal device.
  • an access receiving unit that receives direct or indirect access requests from information terminal devices of a plurality of second users for content information associated with the first user;
  • a control unit that controls provision of information to each of the information terminal devices based on a set priority when a predetermined condition relating to the received access request is satisfied;
  • An information processing apparatus comprising: (15) The predetermined condition is that a parameter related to the received access request exceeds a predetermined value.
  • the parameter is a capacity of a communication band of a communication unit that provides the information by transmitting at least a part of the content information to the information terminal device,
  • the predetermined condition is that the capacity of the communication band exceeds a limit value.
  • the parameter is the number of the access requests,
  • the predetermined condition is that the number of access requests exceeds a limit value.
  • the limit value is an upper limit number of the information terminal devices that can access the content information in real time.
  • the control unit varies the parameter of the image information related to the information provision according to the set priority order.
  • the parameter of the image information includes at least one of an order of providing the information to the information terminal device, a reproduction time, an angle of the provided image, and a resolution of the provided image.
  • the information terminal device includes at least a first information terminal device having a relatively high priority and a second information terminal device having a relatively low priority in the set priority. , The information processing apparatus according to any one of (14) to (20).
  • the control unit controls information provision of the current video to the first information terminal device, and the second information terminal device Control the provision of past video information to The information processing apparatus according to (21) above.
  • the control unit provides video information in the specific direction to the first information terminal device when an access request for the video in the specific direction as the content information satisfies the predetermined condition. And controlling information provision of video different from the video in the specific direction to the second information terminal device, The information processing apparatus according to (21) above.
  • the first information terminal device is an information terminal device that has made an access request for the content information earlier than the second information terminal device.
  • the information processing apparatus according to any one of (21) to (23).
  • the control unit controls information provision of the video having the first resolution to the first information terminal device, and the second lower than the first resolution to the second information terminal device. Control the provision of information on video with a resolution of The information processing apparatus according to any one of (21) to (23).
  • It It further includes a setting unit that sets the priority order of each of the information terminal devices based on the related information of the information terminal device.
  • the information processing apparatus according to any one of (14) to (23) and (25).
  • the related information of the information terminal device includes unique information of the information terminal device, The information processing apparatus according to (26) above.
  • the related information of the information terminal device includes attribute information of the second user, The information processing apparatus according to (26) above.
  • a communication unit that communicates with the information terminal device as an external device;
  • a housing that allows the setting unit, the communication unit, and the access receiving unit to be carried by the first user; Further comprising
  • the control unit controls at least one of an imaging unit and a voice input unit connectable to the information processing apparatus;
  • the information processing apparatus according to any one of (14) to (28).
  • the information processing device is a server device on a network that directly or indirectly connects communication between the information terminal device of the first user and the information terminal device of the second user.
  • the information processing apparatus according to any one of (14) to (29).
  • DESCRIPTION OF SYMBOLS 100 ... Visibility information sharing system 101 ... Image provision apparatus, 102 ... Image display apparatus 501 ... Imaging part, 502 ... Image processing part, 503 ... Display part 504 ... 1st audio

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

コンテンツ情報を提供する情報処理装置及びその制御方法、並びにコンピュータ・プログラムを提供する。　情報処理装置は、第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信したときに、通信帯域の容量やアクセス要求の数などアクセス要求に関する所定の条件が満たされる場合には、各情報端末装置に設定された優先順位に基づいて、情報端末装置それぞれへの情報提供を制御する。

Description

情報処理装置及びその制御方法、並びにコンピュータ・プログラム
　本明細書で開示する技術は、コンテンツ情報を提供する情報処理装置及びその制御方法、並びにコンピュータ・プログラムに関する。
　ユーザが自分以外の視界光景（自分以外の移動体から見える光景）にアクセスする技術が知られている。
　例えば、車両などの移動体に搭載された移動カメラにより撮像された画像を遠隔的に取得する移動カメラ・システムについて提案がなされている（例えば、特許文献１を参照のこと）。また、撮像センシング無線機器を配置したメガネを掛けた人が取得する視覚情報と同様の情報をヘッド・マウント・ディスプレイの装着者に提供する画像処理システムについて提案がなされている（例えば、特許文献２を参照のこと）。また、移動体の撮像画像を表示する表示装置側から移動体の撮像装置に対して撮像する視点位置及び視線方向、さらに撮影時の速度を指定する画像表示システムについて提案がなされている（例えば、特許文献３を参照のこと）。
　さらに、遠隔地のロボットの視覚などの間隔を通じてその場にいるような感覚を伝送するとともに遠隔地の物体を操作するためのインターフェースを提供するテレプレゼンス技術についても提案がなされている（例えば、特許文献４を参照のこと）。
特開２００６－１８６６４５号公報 特開２００４－２２２２５４号公報 特開２００８－１５４１９２号公報 特表２０１４－５２２０５３号公報 特開２０１４－１０４１８５号公報 特開２００５－３０２１０３号公報
　本明細書で開示する技術の目的は、コンテンツ情報を提供する情報処理装置及びその制御方法、並びにコンピュータ・プログラムを提供することにある。
　本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
　第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、
を具備する情報処理装置である。
　また、本明細書で開示する技術の第２の側面は、
　第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
を有する情報処理装置の制御方法である。
　また、本明細書で開示する技術の第３の側面は、
　第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムである。
　本明細書で開示する技術によれば、コンテンツ情報を提供する情報処理装置及びその制御方法、並びにコンピュータ・プログラムを提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、本明細書で開示する技術を適用した視界情報共有システム１００の概要を示した図である。 図２は、１対Ｎのネットワーク・トポロジーを模式的に示した図である。 図３は、Ｎ対１のネットワーク・トポロジーを模式的に示した図である。 図４は、Ｎ対Ｎのネットワーク・トポロジーを模式的に示した図である。 図５は、画像提供装置１０１と画像表示装置１０２の機能的構成例を示した図である。 図６は、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員に制限する仕組み（ＦＩＦＯ方式）を例示した図である。 図７は、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員に制限する仕組み（ＬＩＦＯ方式）を例示した図である。 図８は、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員に制限する仕組み（優先順位方式）を例示した図である。 図９は、定員外のＧｈｏｓｔに対してＢｏｄｙの過去の映像を配信する仕組みを示した図である。 図１０は、Ｂｏｄｙに新規にＪａｃｋＩｎしてきたＧｈｏｓｔに対して一人称映像を配信するための処理手順を示したフローチャートである。 図１１は、３６０度の全天周を所定の角度毎の領域に分割して、全天周映像をチャンネル化して、各チャンネル・サーバを設置した様子を模式的に示した図である。 図１２は、チャンネル・サーバ１１０１が、隣接するチャンネルｃｈ２、ｃｈ３の領域とオーバーラップする領域の映像を配信する様子を示した図である。 図１３は、全天周映像のうち一部の視聴角度に視線が集中する様子を示した図である。 図１４は、Ｇｈｏｓｔに対してＢｏｄｙの全天周映像を配信するための処理手順を示したフローチャートである。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
Ａ．システム概要
　図１には、本明細書で開示する技術を適用した視界情報共有システム１００の概要を示している。図示の視界情報共有システム１００は、現場を撮影した画像を提供する画像提供装置１０１と、画像提供装置１０１から提供される画像を表示する画像表示装置１０２の組み合わせで構成される。画像提供装置１０１は、情報処理装置あるいは情報端末装置とみなされてもよい。
　画像提供装置１０１は、具体的には、実際に現場に居て活動する観察者１１１が頭部に着用するカメラ付きシースルー型のヘッド・マウント・ディスプレイで構成される。ここで言う「シースルー型」のヘッド・マウント・ディスプレイは、光学透過型であることを基本とするが、ビデオ・シースルー型であってもよい。ヘッド・マウント・ディスプレイに搭載されるカメラは、観察者１１１のほぼ視線方向を撮影した映像を提供する。すなわち、画像提供装置１０１は、ユーザにとって持ち運び可能な情報処理装置としてみなされてよい。なお、画像提供装置は、頭部に装着される装置に限定されず、観察者１１１の周囲の撮像情報を取得可能な装置であれば装置構成は特に限定されない。
　一方、画像表示装置１０２は、現場すなわち画像提供装置１０１から離間して配置され、画像提供装置１０１と画像表示装置１０２はネットワーク経由で通信することを想定している。ここで言う「離間」には、遠隔地の他、同じ室内でわずかに（例えば、数メートル程度）離れている状況も含むものとする。また、図示しないサーバ装置を介して画像提供装置１０１と画像表示装置１０２の間でデータ交換を行なうことも想定される。
　画像表示装置１０２は、例えば、現場には居ない人（撮影画像の視聴者）１１２が着用するヘッド・マウント・ディスプレイである。没入型のヘッド・マウント・ディスプレイを画像表示装置１０２に用いれば、視聴者１１２は、観察者１１１と同じ光景をよりリアルに体験することができる。但し、シースルー型のヘッド・マウント・ディスプレイを画像表示装置１０２に用いてもよい。
　また、画像表示装置１０２は、ヘッド・マウント・ディスプレイには限定されず、例えば腕時計型のディスプレイであってもよい。あるいは、画像表示装置１０２は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピュータ・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。本開示において、これらの端末あるいは装置の種類は、外部の情報処理装置（情報端末装置）の関連情報あるいは属性情報としてみなされてもよい。また、外部の情報処理装置の性能や出力形式も、情報処理装置の関連情報に含まれ得る。例えば、外部の情報処理装置の性能は、解像度、フレームレート、伝送レート、あるいはデコードレートといったパラメータを含み得る。外部の情報処理装置の出力形式は、音声出力、画像出力、触覚出力などを含んでよい。
　観察者１１１は、実際に現場に居て、自らの身体を以って活動していることから、画像提供装置１０１（情報処理装置）のユーザである観察者１１１（又は、画像提供装置１０１）のことを、以下では「Ｂｏｄｙ」とも呼ぶ。これに対し、視聴者１１２は、現場で身体を以って活動する訳ではないが、観察者１１１の視点から見た映像を視聴することによって現場に対する意識を持つことができる。したがって、画像表示装置１０２のユーザである視聴者１１２（又は、画像表示装置１０２）のことを、以下では「Ｇｈｏｓｔ」とも呼ぶ。
　Ｂｏｄｙは、自分の周辺状況をＧｈｏｓｔに伝達し、さらに状況をＧｈｏｓｔと共有する。一方のＧｈｏｓｔは、Ｂｏｄｙとコミュニケーションをとって離間した場所から作業支援などのインタラクションを実現することができる。視界情報共有システム１００において、ＧｈｏｓｔがＢｏｄｙから送られてくる映像に対してインタラクションを行なうことを、以下では「ＪａｃｋＩｎ」とも呼ぶ。
　視界情報共有システム１００は、ＢｏｄｙからＧｈｏｓｔへ映像を送信しＧｈｏｓｔ側でも視聴・体験することと、ＢｏｄｙとＧｈｏｓｔ間でコミュニケーションをとることを基本的な機能とする。後者のコミュニケーション機能を利用して、Ｇｈｏｓｔは、Ｂｏｄｙの視界に介入する「視界介入」、Ｂｏｄｙの聴覚に介入する「聴覚介入」、Ｂｏｄｙの身体若しくは身体の一部を動作させたり刺激を与えたりする「身体介入」、ＧｈｏｓｔがＢｏｄｙに代わって現場で話をする「代替会話」といった、遠隔地からの介入によって、Ｂｏｄｙに対するインタラクションを実現することができる。ＪａｃｋＩｎでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがあるということもできる。「視界介入」、「聴覚介入」、「身体介入」、「代替会話」それぞれの詳細については後述に譲る。
　Ｇｈｏｓｔは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」を通じて、Ｂｏｄｙに対して現場での行動を指示することができる。例えば、外科手術などの医療現場や土木作業などの建築現場などさまざまな産業分野の作業支援、飛行機やヘリコプターの操縦の指示や誘導、自動車の運転者の案内、スポーツにおけるコーチング若しくはインストラクションなどの用途に視界情報共有システム１００を活用することができる。
　例えば、Ｂｏｄｙは、自分の視界を他人と共有したい場合の他、視覚介入などを通じて、現在行なっている作業に対して他人から支援や指示、誘導、案内を受けたい（若しくは、受けなければならない）場合に、自ら主導的に適当なＧｈｏｓｔとのＪａｃｋＩｎ（Ｂｏｄｙ　ｉｎｉｔｉａｔｉｖｅ　ｓｔａｒｔ）を実施する。
　また、Ｇｈｏｓｔは、自分が出向くことなく現場の映像を視聴したい場合の他、視覚介入などを行なうことによって、他人が行なっている作業に対して支援や指示、誘導、案内を行ないたい（若しくは、行なわなければならない）場合に、自ら主導的に該当するＢｏｄｙとのＪａｃｋＩｎ（Ｇｈｏｓｔ　ｉｎｉｔｉａｔｉｖｅ　ｓｔａｒｔ）を実施する。
　但し、Ｂｏｄｙは、無制限に自分の視界や聴覚、身体、会話に介入されると、自分の行動がＧｈｏｓｔに邪魔され、あるいは自分の行動に支障をきたし危険な場合や、プライバシーが侵害されることもある。一方、Ｇｈｏｓｔにとっても、見たくない映像がある場合や、頼まれてもＢｏｄｙに対して適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。したがって、ＧｈｏｓｔのＢｏｄｙへのＪａｃｋＩｎや、ＪａｃｋＩｎした状態でのＧｈｏｓｔからＢｏｄｙへの介入に一定の制限を課すようにしてもよい。
　なお、図１では簡素化のため、画像提供装置１０１と画像表示装置１０２がそれぞれ１台しか存在しない、ＢｏｄｙとＧｈｏｓｔが１対１のネットワーク・トポロジーを描いている。図２に示すような、１つのＢｏｄｙと複数（Ｎ）のＧｈｏｓｔが同時にＪａｃｋＩｎする１対Ｎのネットワーク・トポロジーや、図３に示すような、複数（Ｎ）のＢｏｄｙと１つのＧｈｏｓｔが同時にＪａｃｋＩｎするＮ対１のネットワーク・トポロジー、図４に示すような、複数（Ｎ）のＢｏｄｙと複数（Ｎ）のＧｈｏｓｔが同時にＪａｃｋＩｎするＮ対Ｎのネットワーク・トポロジーも想定される。
　また、１つの装置がＢｏｄｙからＧｈｏｓｔへ切り替わったり、逆にＧｈｏｓｔからＢｏｄｙへ切り替わったりすることや、同時にＢｏｄｙとＧｈｏｓｔの役割を持つことも想定される。１つの装置がＧｈｏｓｔとしてあるＢｏｄｙにＪａｃｋＩｎすると同時に、他のＧｈｏｓｔに対してＢｏｄｙとして機能して、３台以上の装置がディジーチェーン接続されるネットワーク・トポロジー（図示を省略）も想定される。いずれのネットワーク・トポロジーにおいても、ＢｏｄｙとＧｈｏｓｔ間にサーバ装置（図示しない）が介在することもある。
Ｂ．機能的構成
　図５には、画像提供装置１０１と画像表示装置１０２の機能的構成例を示している。
　画像提供装置１０１は、Ｂｏｄｙとしての役割を果たすユーザ（観察者１１２）の利用に供される装置である。図５に示す例では、画像提供装置１０１は、撮像部５０１と、画像処理部５０２と、出力部としての表示部５０３、第１の音声出力部５０４、駆動部５０５及び第２の音声出力部５０６と、位置検出部５０７と、通信部５０８と、制御部５０９と、設定部５１０を備えている。これらの画像提供装置１０１の各構成要素５０１～５１０は、図１に示す通り所定の筐体に対して直接的あるいは間接的に設けられている。
　撮像部５０１は、カメラで構成され、例えばＢｏｄｙすなわち観察者１１１の視線方向を撮影するように、観察者１１１の頭部に取り付けられる。あるいは、撮像部５０１に全天周型カメラを用いて、Ｂｏｄｙの周囲３６０度の全天周画像を提供できるようにしてもよい。但し、全天周画像は必ずしも３６０度である必要はなく、一部の視野が欠けていてもよい。また、全天周画像は、情報の少ない床面を含まない半天球画像であってもよい（以下、同様）。なお、撮像部５０１は、例えばＢｏｄｙすなわち観察者１１１が存在する実空間において、撮像画像情報を取得できればよく、種々の装置構成が採用され得る。後述の通り、Ｂｏｄｙすなわち観察者１１１が存在する空間は、実空間に代えて仮想空間として定義することもできる。前述の通り、撮像部５０１は、観察者１１１が存在する空間の情報を取得できればよく、直接的に画像提供装置１０１に設けられている必要はない。例えば、観察者１１１が存在する空間に設けられた撮像装置から撮像画像情報が取得されてよい。
　画像処理部５０２は、撮像部５０１から出力される画像信号の処理を行なう。撮像部５０１で撮影される映像をそのままストリーミングする場合、Ｂｏｄｙは自分の意思で周辺を見渡したり視線方向を変えたりするので、Ｇｈｏｓｔは揺れの激しい映像を視聴することになり、健康被害が懸念される。また、Ｂｏｄｙが着目していない別の個所をＧｈｏｓｔが視聴したい場合もある。そこで、画像処理部５０２は、撮像部５０１が撮影する連続画像から周辺の空間を疑似的に構築するようにしている。以下、「実空間」を単に「空間」として言及する場合がある。具体的には、画像処理部５０２は、撮像部５０１が撮影する映像（全天周画像）に対してリアルタイムにＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）認識技術などに基づく空間認識を行ない、現在のビデオ・フレームと過去のビデオ・フレームを空間的につなぎ合わせることで、Ｇｈｏｓｔがコントロールする仮想的なカメラ視点からの映像をレンダリングする。仮想的なカメラ視点でレンダリングされた映像は、Ｂｏｄｙの視点から見た映像というよりも疑似的にＢｏｄｙの体外に離脱した視点映像である。したがって、Ｇｈｏｓｔ側ではＢｏｄｙの動きとは独立にＢｏｄｙの周囲環境を観察できるので、映像の揺れを安定化させて酔いを防ぐとともに、Ｂｏｄｙが着目していない別の個所を視聴することができる。
　音声入力部５２１は、マイクなどで構成され、観察者１１１の周囲で発生する音声を集音する。音声処理部５２２は、音声入力部５２１から音声信号の信号処理を行ない、必要に応じてＡＡＶ（Ａｄｖａｎｃｅｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ）などの音響符号化処理を施す。
　表示部５０３は、画像表示装置１０２から送られてくる情報を表示出力して、ＧｈｏｓｔによるＢｏｄｙの視界への介入を実現する。上述したように画像提供装置１０１がシースルー型のヘッド・マウント・ディスプレイとして構成される場合、表示部５０３は、Ｂｏｄｙと体験を共有するＧｈｏｓｔの意識を表現したＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像を、観察者１１１の視界（すなわち、実世界の風景）に重畳表示する。ＡＲ画像は、例えばＧｈｏｓｔが指し示した場所を示すポインターやアノテーションなどの画像からなる。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその視界に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。
　第１の音声出力部５０４は、例えばイヤホンやヘッドホンなどで構成され、画像表示装置１０２から送られてくる情報をＢｏｄｙに聴かせることで、ＧｈｏｓｔによるＢｏｄｙの聴覚への介入を実現する。画像表示装置１０２からは、Ｂｏｄｙと体験を共有するＧｈｏｓｔの意識に関する情報が送信される。画像提供装置１０１側では、受信した情報を音声信号に変換して、第１の音声出力部５０４から音声出力し、Ｂｏｄｙすなわち観察者１１１に聴かせる。あるいは、Ｂｏｄｙから送られてきた映像を視聴中のＧｈｏｓｔが発話した音声信号が、そのまま画像表示装置１０２から送信される。画像提供装置１０１側では、受信した音声信号をそのまま第１の音声出力部５０４から音声出力し、Ｂｏｄｙすなわち観察者１１１に聴かせる。また、第１の音声出力部５０４から出力する音声の音量や音質、出力タイミングなどを適宜調整するようにしてもよい。あるいは、画像表示装置１０２から届く画像情報や文字情報（テキスト情報）を音声信号に変換して、第１の音声出力部５０４から音声出力するようにしてもよい。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその聴覚に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。
　駆動部５０５は、Ｂｏｄｙの身体若しくは身体の一部を動作させたり刺激を与えたりして、ＧｈｏｓｔによるＢｏｄｙの身体への介入を実現する。駆動部５０５は、例えば、観察者１１１の身体に対して、触覚（タクタイル）や（健康に害のない程度の軽微な）電気刺激を印加するアクチュエーターで構成される。あるいは、駆動部５０５は、観察者１１１が腕や手、脚などに装着するパワースーツや外骨格（ｅｘｏｓｋｅｌｅｔｏｎ）を駆動することで身体の運動を補助又は拘束する装置（例えば、特許文献５を参照のこと）で構成される。したがって、Ｇｈｏｓｔは、Ｂｏｄｙとのコミュニケーションを通じてその身体に介入して、現場に居るＢｏｄｙに対するインタラクションを行なうことができる。
　第２の音声出力部５０６は、例えばＢｏｄｙが装着するウェアラブル・スピーカーなどで構成され、画像表示装置１０２から届く情報又は音声信号を外部に音声出力する。第２の音声出力部５０６から出力される音声は、現場では、あたかもＢｏｄｙ本人が話しているように聴こえる。したがって、Ｇｈｏｓｔは、Ｂｏｄｙに代わって、Ｂｏｄｙが居る現場の人たちと会話したり、音声による指示を行なったりすること（代替会話）ができる。
　位置検出部５０７は、例えばＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を用いて画像提供装置１０１（すなわちＢｏｄｙ）の現在位置情報を検出する。検出された位置情報は、例えばＧｈｏｓｔが所望する場所にいるＢｏｄｙを検索する際に利用される。
　通信部５０８は、ネットワーク経由で画像表示装置１０２と相互接続し、撮影部５０１で撮影した映像や空間情報の送信、画像表示装置１０２とのコミュニケーションを行なう。通信部５０８の通信手段は無線又は有線のいずれでもよく、また、特定の通信規格に限定されない。また、通信部５０８は、サーバ装置（図示しない）を介して画像表示装置１０２と情報通信する場合も想定される。
　設定部５１０は、ネットワーク経由で相互接続される画像表示装置１０２（若しくは、そのユーザであるＧｈｏｓｔ）の認証処理やＧｈｏｓｔの属性情報（関連情報）のチェックを行ない、画像表示装置１０２に提供する情報範囲を設定したり、画像表示装置１０２から受信する情報のうち出力部から出力する情報範囲を設定したりする。ここで、ＢｏｄｙからＧｈｏｓｔに提供される各種情報は、Ｂｏｄｙに関連付けられたコンテンツ情報としてみなされてよい。また、本開示において、Ｇｈｏｓｔに提供される情報範囲は、Ｇｈｏｓｔに提供される情報量として定義されてよい。例えば、設定部５１０は、Ｇｈｏｓｔの属性情報に基づいて、撮像部５０１から入力された映像又は音声入力部５２１から入力された音声情報のうちいずれか一方又は両方を、画像表示装置１０２に対して提供する情報範囲に設定する。これにより、Ｇｈｏｓｔの属性情報（関連情報）に基づいて、ＢｏｄｙからＧｈｏｓｔに提供される情報量が制限され得る。例えば、ＢｏｓｙからＧｈｏｓｔに提供される音声情報、映像情報、触覚情報などの少なくとも１つが制限すなわち抑制され得る。また、設定部５１０は、画像表示装置１０２から受信する音声情報、テキスト情報、画像情報などの情報信号のうち出力部で出力する情報範囲を、Ｇｈｏｓｔの属性情報に基づいて設定する。これにより、ＧｈｏｓｔからのＢｏｄｙに対する「視界介入」、「聴覚介入」、「身体介入」、あるいは「代替会話」のための出力を行なうか否か、すなわち各種出力部で出力する情報範囲が設定され得る。
　また、設定部５１０は、画像表示装置１０２から受信したアクセス要求に関する所定の条件が満たされたときに、各画像表示装置１０２に対して情報を提供する優先順位の設定を行なう。以下、アクセス要求を単にアクセスという場合がある。ここで言う所定の条件とは、例えば画像提供装置１０１と画像表示装置１０２間のネットワークの通信帯域の容量が所定の制限を超えることや、アクセス数が所定の制限を超えることなどである。より具体的には、アクセス数が所定の制限を超えることは、画像提供装置１０１から提供されるコンテンツ情報に対してリアルタイムのアクセスを要求する画像表示装置１０２の台数がアクセス可能台数（すなわち上限台数）を超えることとみなされてよい。そして、設定部５１０は、ユーザの個人情報及び画像表示装置１０２の固有情報を含む、Ｇｈｏｓｔの属性情報などに基づいて、各画像表示装置１０２の優先順位を設定する。
　制御部５０９は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）に相当する機能を備えている。制御部５０９は、設定部５１０による認証結果に応じて設定した情報範囲に基づいて、出力部からの出力動作を制御する。また、制御部５０９は、画像表示装置１０２から受信したアクセス要求に関する所定の条件が満たされたときに、設定部５１０で設定された優先順位に基づいて、画像表示装置１０２それぞれへの情報提供を制御するものとみなされてよい。
　例えば、認証処理の結果、画像情報が情報範囲に設定された場合（言い換えれば、画像表示装置１０２に視界介入のみが許容されている場合）には、制御部５０９は、表示部５０３からの表示出力のみを実行する。また、音声情報も情報範囲に設定された場合（言い換えれば、画像表示装置１０２に視界介入だけでなく聴覚介入も許容されている場合）には、制御部５０９は、表示部５０３からの表示出力とともに第１の音声出力部５０４からに音声出力も実行する。
　画像提供装置１０１が画像表示装置１０２に提供する情報範囲や画像表示装置１０２から受信する情報範囲（言い換えれば、ＢｏｄｙがＧｈｏｓｔからの介入を許容する範囲）は、ｐｅｒｍｉｓｓｉｏｎレベルとして定義される。一方、ＧｈｏｓｔがＢｏｄｙに対して介入を行なう範囲は、ｍｉｓｓｉｏｎレベルとして定義される（後述）。このＧｈｏｓｔからＢｏｄｙに対して介入、すなわちアクセスを行なうにあたって発行される各種信号は、ＧｈｏｓｔからＢｏｄｙへのアクセス要求とみなされてよい。例えば、図５において、画像表示装置１０２から発行されるアクセス要求を受信するサーバ装置の構成要素が、アクセス受信部としてみなされてよい。あるいは、画像提供装置１０１の通信部５０８、設定部５１０、制御部５０９の少なくとも１つがアクセス受信部としてみなされてもよい。但し、設定部５１０及び制御部５０９による上記の処理を、画像提供装置１０１ではなく、画像提供装置１０１と画像表示装置１０２の間に介在するサーバ（図示しない）で実行するように、視界情報共有システム１００を構成することも可能である。この場合、サーバ装置が本開示における情報処理装置としてみなされてもよい。なお、図５においては、画像提供装置１０１は、サーバ装置を介して間接的に、すなわちサーバ装置から直接的にＧｈｏｓｔからのアクセス要求を受信する。本開示の技術はこれに限られず、画像提供装置１０１は画像表示装置から直接的にアクセス要求を受信してもよい。
　また、制御部５０９は、通信帯域の容量が制限を超える、あるいはアクセス数が制限を超えるなど、発生したアクセスに関し所定の条件が満たされたときに設定部５１０により設定される優先順位に基づいて、画像表示装置１０２への情報（撮像部５０１で撮影された映像や音声入力部５２１で入力された音声など）の送信を実施する。
　一方、画像表示装置１０２は、Ｇｈｏｓｔとしての役割を果たすユーザ（視聴者１１２）の利用に供される装置である。図５に示す例では、画像表示装置１０２は、通信部５１１と、画像復号部５１２と、表示部５１３と、ユーザ入力部５１４と、位置姿勢検出部５１５を備えている。
　通信部５１１は、ネットワーク経由で画像提供装置１０１と相互接続し、画像提供装置１０１から映像の受信や、画像提供装置１０１とのコミュニケーションを行なう。通信部５１１の通信手段は無線又は有線のいずれでもよく、特定の通信規格に限定されないが、画像提供装置１０１側の通信部５０８と整合しているものとする。また、通信部５１１は、サーバ装置（図示しない）を介して画像提供装置１０１と情報通信する場合も想定される。
　画像復号部５１２は、通信部５１１で画像提供装置１０１から受信した画像信号を復号処理する。表示部５１３は、画像復号部５１２で復号した後の全天周画像を表示出力する。なお、Ｂｏｄｙの視点映像からＢｏｄｙの体外に離脱した視点映像をレンダリングする処理（前述）を、画像提供装置１０１側の画像処理部５０２ではなく、画像復号部５１２で行なうようにしてもよい。
　位置姿勢検出部５１５は、視聴者１１２の頭部の位置及び姿勢を検出する。検出した位置及び姿勢は、Ｇｈｏｓｔの現在の視点位置及び視線方向に相当する。Ｂｏｄｙの視点映像から疑似的にＢｏｄｙの体外に離脱した視点映像を作り出す際の仮想的なカメラ（前述）の視点位置及び視線方向を、位置姿勢検出部５１５で検出した視聴者１１２の頭部の位置及び姿勢に基づいてコントロールすることができる。
　表示部５１３は、例えば、Ｇｈｏｓｔとしての視聴者１１２が着用するヘッド・マウント・ディスプレイで構成される。没入型のヘッド・マウント・ディスプレイを表示部５１３に用いれば、視聴者１１２は、観察者１１１と同じ光景をよりリアルに体験することができる。視聴者１１２すなわちＧｈｏｓｔが視聴する映像は、Ｂｏｄｙの視点映像そのものではなく、その連続画像から疑似的に構築された周辺の空間（疑似的にＢｏｄｙの体外に離脱した視点映像）であるとする（前述）。また、Ｇｈｏｓｔのヘッド・トラッキング、すなわち位置姿勢検出部５１５で検出した視聴者１１２の視点位置及び視線方向に追従するように仮想カメラを制御して、表示部５１３の表示画角を移動させることができる。
　表示部５１３として、没入型のヘッド・マウント・ディスプレイに代えて、シースルー型のヘッド・マウント・ディスプレイや、腕時計型のディスプレイなどのウェアラブル端末を用いてもよい。あるいは、表示部５１３は、ウェアラブル端末である必要はなく、スマートフォンやタブレットなどの多機能情報端末、コンピュータ・スクリーンやテレビジョン受像機などの一般的なモニター・ディスプレイ、ゲーム機、さらにはスクリーンに画像を投影するプロジェクターなどでもよい。
　ユーザ入力部５１４は、Ｇｈｏｓｔとしての視聴者１１２が、表示部５１３に表示されているＢｏｄｙから送られてきた映像を観察したことに対して、Ｇｈｏｓｔ自身の意図や意識を入力するためのデバイスである。
　ユーザ入力部５１４は、例えばタッチパネルやマウス、ジョイスティックなどの座標入力装置で構成される。Ｇｈｏｓｔは、Ｂｏｄｙから送られてきた映像を表示する画面内で、特に関心のある場所を、タッチやマウスのクリック操作などにより直接指示することができる。Ｇｈｏｓｔは視聴している映像の画素座標上に指示を行なうが、Ｂｏｄｙ側の撮影映像は常に変化するので意味をなさない。そこで、ユーザ入力部５１４は、Ｇｈｏｓｔが画面のタッチやクリック操作などにより指示した画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
　また、ユーザ入力部５１４は、カメラによるＧｈｏｓｔの顔の撮影画像や眼電位を用いて眼球運動を捕捉して、Ｇｈｏｓｔが熟視（ｇａｚｅ）している場所を割り出し、その場所を特定する情報を画像提供装置１０１に送信するようにしてもよい。その際も、ユーザ入力部５１４は、Ｇｈｏｓｔが熟視する画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
　また、ユーザ入力部５１４は、キーボードなどの文字入力装置で構成される。Ｇｈｏｓｔは、送られてきた映像を視聴してＢｏｄｙと同じ体験をしたときに、Ｂｏｄｙに伝えたい意図や抱いた意識などを、文字情報として入力することができる。ユーザ入力部５１４は、Ｇｈｏｓｔが入力した文字情報をそのまま画像提供装置１０１に送信してもよいし、音声信号など他の信号形式に置き換えてから画像提供装置１０１に送信するようにしてもよい。
　また、ユーザ入力部５１４は、マイクなどの音声入力装置で構成され、Ｇｈｏｓｔが発話した音声を入力する。ユーザ入力部４１４は、入力された音声を、音声信号のままで、通信部５１１から画像提供装置１０１へ送信してもよい。あるいは、ユーザ入力部５１４は、入力音声を音声認識して文字情報に変換し、文字情報として画像提供装置１０１に送信するようにしてもよい。この音声情報の文字情報への変換により、Ｇｈｏｓｔが発生した音声からＧｈｏｓｔの属性情報、すなわち個人情報がＢｏｄｙに伝わることが抑制され得る。
　Ｇｈｏｓｔは、Ｂｏｄｙから送られてきた映像を視聴しながら、「その」、「これ」といった指示語を使って事物を指し示すことが想定される。このような場合、ユーザ入力部５１４は、指示語が指し示す事物の３次元空間上の位置情報を言語解析並びに画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
　また、ユーザ入力部５１４は、Ｇｈｏｓｔの身振りや手振りを入力するジェスチャー入力装置でもよい。ジェスチャーを捕捉する手段は特に限定されない。例えば、ユーザ入力部５１４は、Ｇｈｏｓｔの四肢の動きを撮影するカメラとその撮影画像を処理する画像認識装置を備えていてもよい。また、画像認識を容易にするために、Ｇｈｏｓｔの身体にマーカーを取り付けていてもよい。あるいは、ユーザ入力部５１４は、Ｇｈｏｓｔの身体に取り付けるジャイロ・センサーや加速度センサーで構成され、Ｇｈｏｓｔの身体の動きを検出する。
　ユーザ入力部５１４は、入力されたジェスチャーを、例えばＢｏｄｙの身体に介入する制御信号として、通信部５１１から画像提供装置１０１へ送信してもよい。また、ユーザ入力部５１４は、入力されたジェスチャーを、Ｂｏｄｙの視界に介入する画像情報（座標情報や、重畳表示するＡＲ画像、又は文字情報など）や、Ｂｏｄｙの聴覚に介入する音声信号に変換して、通信部５１１から画像提供装置１０１へ送信してもよい。また、ユーザ入力部５１４は、Ｇｈｏｓｔがジェスチャーにより指示した画素位置に対応する３次元空間上の位置情報を画像解析などにより特定し、その３次元空間上の位置情報を画像提供装置１０１に送信する。したがって、Ｇｈｏｓｔは、画素座標ではなく、空間に対して固定できるポインティングを行なうことができる。
　また、ユーザ入力部５１４は、カメラで撮影したＧｈｏｓｔの画像解析や、Ｇｈｏｓｔの身体に取り付けるジャイロ・センサーや加速度センサーの検出結果などに基づいてえられるＧｈｏｓｔの動作を、仮想空間（ＶＲ空間）上での移動などの指示として入力する。
　視界情報共有システム１００において展開されるＪａｃｋＩｎというサービスは、ＡＲ画像を重畳表示するという観点からは、一般的なＡＲ技術に類似する。但し、ＪａｃｋＩｎにおいては、人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）を拡張するという点で、コンピュータにより付与される通常のＡＲ技術とは相違するものと思料する。
　また、ＪａｃｋＩｎは、テレプレゼンス（前述）と類似する点もある。但し、通常のテレプレゼンスは、ロボットのような機械の視点から世界を眺めるインターフェースであるのに対し、ＪａｃｋＩｎは人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）の視点から眺めるという状況であるという点で相違する。また、テレプレゼンスでは、人間がマスターで機械がスレーブとなり、スレーブである機械は人間の動きを忠実に再現することを前提としている。これに対し、人間（Ｇｈｏｓｔ）が他の人間（Ｂｏｄｙ）にＪａｃｋＩｎする場合、ＢｏｄｙはＧｈｏｓｔに従って動くとは限らず、独立性を許すインターフェースである。
　上記の視界情報共有システム１００において、画像提供装置１０１から画像表示装置１０２に提供される映像は、Ｂｏｄｙが現場で観察しているリアルタイム映像（すなわち、撮影部５０１が撮影するライブ映像）とは限らず、録画された過去の映像であってもよい。例えば、画像提供装置１０１が過去の映像を録画する大容量記憶装置（図示しない）を備え、画像提供装置１０１から過去の映像を配信するようにしてもよい。あるいは、ＢｏｄｙとＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバ（仮称）、あるいはその他の記録サーバ上で画像提供装置１０１による過去の録画映像を蓄積しておき、これらのサーバからＧｈｏｓｔ（画像表示装置１０２）に過去の映像をストリーミング配信するようにしてもよい。但し、Ｇｈｏｓｔは、過去の映像を視聴する場合には、Ｂｏｄｙに対して視覚、聴覚を含む一切の介入が許されないものとみなされてもよい。何故ならば、Ｇｈｏｓｔが視聴している映像はＢｏｄｙが現在作業を行なっている現場の映像ではなく、過去の映像に基づいて介入するとＢｏｄｙの現在の作業に支障をきたすからである。
　なお、２台の機器間における視界共有の詳細については、例えば本出願人に既に譲渡されている特願２０１３－７８８９３号明細書も参照されたい。また、同システム１００における視界介入（ＡＲ画像の表示）の詳細については、例えば本出願人に既に譲渡されている特願２０１３－７８８９２号明細書、特願２０１３－７８８９４号明細書、特願２０１３－１９１４６４号明細書も参照されたい。
Ｃ．Ｍｉｓｓｉｏｎ－Ｐｅｒｍｉｓｓｉｏｎ（ＢｏｄｙとＧｈｏｓｔのマッチング）
　ＪａｃｋＩｎでは、「視界介入」、「聴覚介入」、「身体介入」、「代替会話」といった複数のコミュニケーション・チャネルがある。したがって、Ｂｏｄｙは、ＧｈｏｓｔとのＪａｃｋＩｎを開始することによって、自分の視界をＧｈｏｓｔと共有できるとともに、視界介入などを通じて、現在行なっている作業に対してＧｈｏｓｔから支援や指示、誘導、案内を受けることができる。また、Ｇｈｏｓｔは、ＢｏｄｙとのＪａｃｋＩｎを開始することによって、自分は現場に出向かなくてもＢｏｄｙと同じ体験をすることができるとともに、視界介入などを通じてＢｏｄｙの作業に対して支援や指示、誘導、案内を行なうことができる。
　ところが、Ｂｏｄｙは、Ｇｈｏｓｔから無制限に自分の視界や聴覚、身体に介入されたり代替会話が行なわれたりすると、Ｂｏｄｙ自身の行動がＧｈｏｓｔに邪魔され、あるいは行動に支障をきたし危険にさらされる場合や、プライバシーが侵害されることもある。一方、Ｇｈｏｓｔにとっても、見たくない映像がある場合や、Ｂｏｄｙから頼まれても適切な支援や指示、誘導、案内などのサービスを提供できない場合がある。すなわち、ＢｏｄｙとＧｈｏｓｔのミスマッチが問題となる。
　そこで、本実施形態では、ＢｏｄｙとＧｈｏｓｔ間の適切なマッチングを実現するために、「ｐｅｒｍｉｓｓｉｏｎ」と「ｍｉｓｓｉｏｎ」を定義する。ＢｏｄｙがＧｈｏｓｔからの介入を許容する範囲を「ｐｅｒｍｉｓｓｉｏｎ」として定義し、Ｇｈｏｓｔからの介入をｐｅｒｍｉｓｓｉｏｎで規定する範囲に限定する。一方、ＧｈｏｓｔがＢｏｄｙに対して介入する操作の範囲を「ｍｉｓｓｉｏｎ」として定義し、ＧｈｏｓｔがＢｏｄｙに介入できる範囲をｍｉｓｓｉｏｎで規定する範囲に限定する。
Ｃ－１．Ｐｅｒｍｉｓｓｉｏｎ
　まず、ｐｅｒｍｉｓｓｉｏｎについて説明する。各Ｂｏｄｙは、以下に例示するように介入を許容するレベルの異なるｐｅｒｍｉｓｓｉｏｎを、それぞれ適宜設定することができる。
（レベル１）視界交換しか許容しない。この場合、画像提供装置１０１は、撮像部５０１の撮像画像の送信のみを行ない、出力部を一切動作させない。
（レベル２）視界交換と視界介入までしか許容しない。この場合、画像提供装置１０１は、撮像部５０１の撮像画像を送信するとともに、表示部５０３の表示出力のみを行なう。
（レベル３）さらに聴覚介入も許容する。この場合、画像提供装置１０１は、撮像部５０１の撮像画像を送信するとともに、表示部５０３の表示出力並びに第１の音声出力部５０４からの音声出力を行なう。
（レベル４）身体介入及び代替会話を含む、すべての介入を許容する。この場合、画像提供装置１０１は、さらに駆動部５０５を駆動できるとともに、第２の音声出力部５０６から音声を外部出力することができる。
　また、各Ｂｏｄｙは、すべてのＧｈｏｓｔに対して一様なｐｅｒｍｉｓｓｉｏｎを与えるのではなく、Ｇｈｏｓｔ毎に個別のｐｅｒｍｉｓｓｉｏｎを与えるようにしてもよい。
　例えば、Ｂｏｄｙは、Ｇｈｏｓｔのユーザ属性に応じたｐｅｒｍｉｓｓｉｏｎを設定してもよい。ここで言うユーザ属性とは、年齢、性別、Ｂｏｄｙとの人間関係（続柄、友人、上司と部下など）、出身地、職業、資格といった個人情報の他、支援対象となる作業のスキルのレーティング情報、過去のＧｈｏｓｔ（アシスタントやインストラクターなど）としての実績（これまで何時間その作業を経験したか）や評価（ｒｅｖｉｅｗ）、他のＢｏｄｙによる評判（投稿や投票結果など）などの情報を含むものとする。
　また、Ｂｏｄｙは、属性に応じたｐｅｒｍｉｓｓｉｏｎを設定するのではなく、個人単位でｐｅｒｍｉｓｓｉｏｎを設定してもよい（Ａさん用のｐｅｒｍｉｓｓｉｏｎ、Ｂさん用のｐｅｒｍｉｓｓｉｏｎ、…など）。言い換えれば、ＢｏｄｙとＧｈｏｓｔの組み合わせ毎にｐｅｒｍｉｓｓｉｏｎを設定してもよい。Ｂｏｄｙは、自分との人間関係に基づいてｐｅｒｍｉｓｓｉｏｎを設定してもよいし、Ｂｏｄｙが個人的に把握しているＧｈｏｓｔ自身の能力に基づいてｐｅｒｍｉｓｓｉｏｎを設定してもよい。また、ＢｏｄｙとＧｈｏｓｔ間での一対一のネゴシエーションや調停などにより、Ｇｈｏｓｔに一時的なｐｅｒｍｉｓｓｏｎを付与する方法（あるＧｈｏｓｔに、所定期間だけ高レベルのｐｅｒｍｉｓｓｏｎを付与し、その期間が経過すると元のレベルのｐｅｒｍｉｓｓｉｏｎに戻す）も考えられる。また、Ｂｏｄｙは、自分へのＪａｃｋＩｎを禁止するユーザを設定できるようにしてもよい。
　人間関係に基づくｐｅｒｍｉｓｓｉｏｎ設定の簡単な例を以下に挙げておく。
（例１）他人に対しては視界共有（レベル１のｐｅｒｍｉｓｓｉｏｎ）しか許容しない。
（例２）友人には視界介入並びに聴覚介入（レベル２又は３のｐｅｒｍｉｓｓｉｏｎ）まで許容する。
（例３）親しい友人や認証若しくは資格を得ている人には特別に身体介入（レベル４のｐｅｒｍｉｓｓｉｏｎ）を許容する。又は、一時的に代替会話を許容する。
　ｐｅｒｍｉｓｓｉｏｎ設定の他の例として、ＢｏｄｙがＪａｃｋＩｎを有料サービス化（すなわちｍｏｎｅｔｉｚｅ）する場合を挙げることができる。Ｇｈｏｓｔは、支払う利用料に応じて、上記のレベル１～４のいずれかのｐｅｒｍｉｓｓｉｏｎが設定され、ＢｏｄｙとＪａｃｋＩｎすることができる。
（例４）５ドル支払うＧｈｏｓｔに対しては、視界共有（レベル１のｐｅｒｍｉｓｓｉｏｎ）しか許容しない。
（例５）１０ドル支払うＧｈｏｓｔには、視界介入並びに聴覚介入（レベル２又は３のｐｅｒｍｉｓｓｉｏｎ）まで許容する。
（例６）１００ドル支払うＧｈｏｓｔには、身体介入（レベル４のｐｅｒｍｉｓｓｉｏｎ）を許容する。又は、一時的に代替会話を許容する。
Ｃ－２．Ｍｉｓｓｉｏｎ
　次に、ｍｉｓｓｉｏｎについて説明する。本実施形態では、ＧｈｏｓｔがＢｏｄｙに対して介入する操作の範囲を「ｍｉｓｓｉｏｎ」として定義し、ＧｈｏｓｔがＢｏｄｙに介入できる範囲をｍｉｓｓｉｏｎで規定する範囲に限定する。Ｇｈｏｓｔのｍｉｓｓｉｏｎは、例えば、Ｇｈｏｓｔ自身が背負っている使命や能力の範囲で設定される。ｍｉｓｓｉｏｎは、個々のＧｈｏｓｔが自分で勝手に決めるものではなく、例えば権威のある機関などによって許可若しくは認証されていることが好ましい。Ｇｈｏｓｔに課された使命、職務、職業や、資格、介入のスキルのレーティング、過去のＧｈｏｓｔ（アシスタントやインストラクターなど）としての実績（Ｇｈｏｓｔとしての経験時間など）や評価（ｒｅｖｉｅｗ）、Ｂｏｄｙによる評判（投稿や投票結果など）などに応じて、以下に例示するようなレベルの異なるｍｉｓｓｉｏｎを定義することができる。
（レベル１）視界交換しか行なわない。この場合、画像表示装置１０２は、画像提供装置１０１から受信した画像の表示のみを行なう。
（レベル２）視界交換と視界介入まで行なう。この場合、画像表示装置１０２は、画像提供装置１０１から受信した画像を表示するとともに、画像提供装置１０１側で表示すべき画像（重畳表示して、視界に介入すべき画像）に関する情報を送信する。
（レベル３）さらに聴覚介入も行なう。この場合、画像表示装置１０２は、画像提供装置１０１で出力すべき音声（ Ｂｏｄｙに聴かせるべき音声）に関する情報をさらに送信する。
（レベル４）身体介入及び代替会話を含む、すべての介入を行なう。この場合、画像表示装置１０２は、駆動部５０５を動作させる情報や、第２の音声出力部５０６から外部に出力すべき音声に関する情報をさらに送信する。
　ＢｏｄｙがＧｈｏｓｔとのＪａｃｋＩｎを開始する際には、Ｇｈｏｓｔの個人情報や属性情報に基づいてフィルタリングし、さらにはＢｏｄｙが指定するｐｅｒｍｉｓｓｉｏｎとＧｈｏｓｔが持つｍｉｓｓｉｏｎを照合して、ＪａｃｋＩｎの可否や、ＪａｃｋＩｎした状態での介入可能な範囲を判定するようにすればよい。例えば、不特定多数のＧｈｏｓｔ（Ｌａｒｇｅ　ｎｕｍｂｅｒ　Ｇｈｏｓｔ）を対象にして、Ｂｏｄｙが主導的にＪａｃｋＩｎを開始するとき（Ｂｏｄｙ　ｉｎｉｔｉａｔｉｖｅ　ｓｔａｒｔ）に、フィルタリング処理は有効である。なお、本明細書において、Ｇｈｏｓｔの属性情報は、ユーザの個人情報及び画像表示装置１０２の固有情報を含むものとみなされてよい。ここで、画像表示装置１０２の固有情報には、画像表示装置１０２毎のＩＤ、性能、情報の出力形式に関する情報が含まれ得る。
　このようなフィルタリング処理は、Ｂｏｄｙ側（すなわち、画像提供装置１０１）で行なうようにしてもよいし、多数のＢｏｄｙ及び多数のＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバ（仮称）が行なうようにしてもよい。
　Ｂｏｄｙにｐｅｒｍｉｓｓｉｏｎを設定するとともに、Ｇｈｏｓｔにｍｉｓｓｉｏｎを設定することによって、ＪａｃｋＩｎを開始する際のＧｈｏｓｔの選定や、Ｇｈｏｓｔが介入する範囲を決定する処理を自動化し易くなる。例えば、不特定多数のＧｈｏｓｔがＪａｃｋＩｎしてくる際には、Ｂｏｄｙは各Ｇｈｏｓｔに介入を許容するレベルを機械的に判断することができ、便利である。勿論、あらかじめ設定したｐｅｒｍｉｓｓｏｎ及びｍｉｓｓｉｏｎなどの情報に基づいて機械的に判断するのではなく、ＢｏｄｙとＧｈｏｓｔ間の一対一のネゴシエーションや調停などにより、ＪａｃｋＩｎの可否や介入のレベルをその場で取り決めを交わすようにしてもよい。
Ｄ．Ｇｈｏｓｔの定員処理
　図２に示したように、１人のＢｏｄｙに対して複数のＧｈｏｓｔがＪａｃｋＩｎするケース、すなわち、１台の画像提供装置１０１で撮影された（一人称）映像を、同時に複数台の画像表示装置１０２に配信するケースが想定される。ＧｈｏｓｔがＢｏｄｙの視覚や聴覚などに介入することなどを考慮すると、Ｂｏｄｙの映像をリアルタイムでＧｈｏｓｔが視聴することが好ましい。
　ところが、同時にＪａｃｋＩｎするＧｈｏｓｔが多数になると、通信帯域の問題などにより、映像の伝送遅延が顕在化するという問題が生じる。
　そこで、Ｂｏｄｙは、同時にＪａｃｋＩｎするＧｈｏｓｔの定員（上限）を設定するようにしてもよい。ＪａｃｋＩｎできるＧｈｏｓｔに定員を設定した場合、定員を超えて新規にＧｈｏｓｔがＪａｃｋＩｎしてきたときには、定員を超えたＧｈｏｓｔを追い出して、リアルタイム映像を配信するＧｈｏｓｔの数を定員以内に制限するようにする。
　ここで、定員は、例えば、通信帯域の容量制限などに応じて決められる数である。あるいは、定員は、Ｂｏｄｙが自分への介入を許容するＧｈｏｓｔの数であってもよい。
Ｄ－１．追い出すＧｈｏｓｔの選定方法
　ＪａｃｋＩｎできるＧｈｏｓｔに定員を設定する場合、定員を超えて新規にＧｈｏｓｔがＢｏｄｙにＪａｃｋＩｎしてきたときには、追い出すべきＧｈｏｓｔを選定する処理が必要になる。すなわち、Ｇｈｏｓｔは、相対的に高い優先順位を有するＧｈｏｓｔと、相対的に低い優先順位を有するＧｈｏｓｔを少なくとも含むとみなされてよい。例えば、以下の方法を挙げることができる。
（１）ＦＩＦＯ（Ｆｉｒｓｔ　Ｉｎ　Ｆｉｒｓｔ　Ｏｕｔ：先入れ先出し）方式
（２）ＬＩＦＯ（Ｌａｓｔ　Ｉｎ　Ｆｉｒｓｔ　Ｏｕｔ：後入れ先出し）方式
（３）優先順位方式
　ＦＩＦＯ方式によれば、先にＪａｃｋＩｎしてきたＧｈｏｓｔから順に追い出して、新規のＧｈｏｓｔがＪａｃｋＩＮすることができることになるので（図６を参照のこと）、Ｂｏｄｙと同じ一人称体験する機会が各Ｇｈｏｓｔに平等に割り当てられるというメリットがある。
　一方、ＬＩＦＯ方式によれば、後からＪａｃｋＩｎしてきたＧｈｏｓｔが追い出されるので（図７を参照のこと）、定員に達した以降は新規のＧｈｏｓｔがＪａｃｋＩｎできる機会がなくなるが、先にＪａｃｋＩｎしてきてＢｏｄｙへの支援などの習熟度が高くなったＧｈｏｓｔからの支援や指示、誘導、案内を、Ｂｏｄｙが受け続けることができる、といったメリットがある。
　図８には、優先順位方式でＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数を定員以内に抑える仕組みを図解している。同図では、優先順位を濃淡で表現している（濃い色のＧｈｏｓｔほど高優先順位である）。新規にＧｈｏｓｔがＪａｃｋＩｎしてくると、これよりも優先順位の低い方から順に追い出されていく。
　優先順位方式を採用する場合、各Ｇｈｏｓｔに優先順位を割り当てるさまざまの方法が挙げられる。例えば、Ｂｏｄｙとの人間関係や、職業、資格、過去の実績や評価、評判などに応じて、各Ｇｈｏｓｔに優先順位を割り当てるようにしてもよい。また、ＢｏｄｙがＪａｃｋＩｎを有料サービス化（すなわちｍｏｎｅｔｉｚｅ）している場合には、Ｇｈｏｓｔが支払う金額の高低に応じて優先順位を割り当てるようにすれば、サービスの運営を財政面でサポートし易くなる。勿論、各Ｇｈｏｓｔに割り当てる優先順位を動的に変更させるようにしてもよい。
Ｄ－２．追い出したＧｈｏｓｔへの過去の映像配信
　定員外として追い出したＧｈｏｓｔをＢｏｄｙの一人称映像から完全に分断させてもよいが、定員外のＧｈｏｓｔに対して通信帯域に過度の負荷がかからない（定員以内のＧｈｏｓｔへの映像配信に影響を与えない）方法により、映像配信を行なうようにしてもよい。
　一例として、Ｂｏｄｙからのリアルタイム映像の伝送は行なわないが、過去の映像に代えて提供するという方法も考えられる。この方法によれば、定員からあふれたＧｈｏｓｔを単に追い出すのではなく、「過去に追い出す」と表現することもできる。
　具体的には、Ｂｏｄｙすなわち画像提供装置１０１から（定員以内の）Ｇｈｏｓｔに配信されるリアルタイム映像を外部装置で録画しておき、追い出されたＧｈｏｓｔに対しては、Ｂｏｄｙではなく外部装置から過去の映像を配信するようにする（図９を参照のこと）。ここで言う外部装置は、例えばＢｏｄｙとＧｈｏｓｔ間のＪａｃｋＩｎを統制するＪａｃｋＩｎサーバ（仮称）、あるいはその他の記録サーバである。定員外のＧｈｏｓｔへの映像配信を記録サーバに委ねることによって、Ｂｏｄｙすなわち画像提供装置１０１の負荷を分散することができる。
　外部装置からＧｈｏｓｔへ届く映像は、録画などの処理のために遅延した過去の映像であり、ライブではないため、Ｂｏｄｙに対して視覚、聴覚を含む一切の介入が許されないとみなされてよい。しかしながら、Ｇｈｏｓｔは、時間の遅延を許容する限りにおいて、Ｂｏｄｙの一人称体験を追体験することができる。
　また、定員以内のＧｈｏｓｔが外れたことによって、定員（通信帯域の容量制限など）に余裕ができて、これまで定員外であったＧｈｏｓｔが定員に入る（若しくは、定員に復帰する）ことができることも想定される。このような場合、Ｇｈｏｓｔへ配信する映像を過去の映像からリアルタイム映像に切り替えると、Ｇｈｏｓｔはその時間差分の映像の情報を失ってしまうことになる。そこで、過去の映像配信からリアルタイム映像配信に切り替える際には、いわゆる「追っかけ再生」若しくは「タイムシフト再生」の処理（例えば、特許文献６を参照のこと）を行なうことによって、Ｇｈｏｓｔが視聴する映像を過去の映像からリアルタイム映像に追いつかせるようにしてもよい。Ｘ倍速（但し、Ｘは１より大きい値）、例えば、１．０ｘ倍速で追っかけ再生すれば、Ｇｈｏｓｔは、違和感なく追っかけ再生される映像を視聴できるとともに、シームレスにリアルタイム映像に切り替えて視聴することができる。
　図１０には、Ｂｏｄｙに新規にＪａｃｋＩｎしてきたＧｈｏｓｔに対して一人称映像を配信するための処理手順をフローチャートの形式で示している。
　Ｂｏｄｙは、自分に新規のＧｈｏｓｔがＪａｃｋＩｎしてくると（ステップＳ１００１のＹｅｓ）、ＪａｃｋＩｎしたＧｈｏｓｔの総数がまだ定員以内かどうかをチェックする（ステップＳ１００２）。
　ここで、ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔを加えても定員を超えていない場合には（ステップＳ１００２のＮｏ）、Ｂｏｄｙは、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔに対してリアルタイムの一人称映像の配信を開始する（ステップＳ１００３）。
　一方、ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔを加えるとＢｏｄｙの定員を超えてしまう場合には（ステップＳ１００２のＹｅｓ）、Ｂｏｄｙは、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔが定員以内か否か（言い換えれば、そのＧｈｏｓｔを追い出すべきか否か）を定員判定処理する（ステップＳ１００７）。Ｇｈｏｓｔを追い出すべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。
　ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔが定員以内であると判定された場合には（ステップＳ１００８のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対してリアルタイムの一人称映像の配信を開始する（ステップＳ１００３）。
　また、ステップＳ１００１でＪａｃｋＩｎしたＧｈｏｓｔが定員を外れる（すなわち、追い出すべき）と判定された場合には（ステップＳ１００８のＮｏ）、そのＧｈｏｓｔに対して、（例えば記録サーバからの）過去の一人称映像の配信を開始する（ステップＳ１００９）。Ｂｏｄｙ（画像提供装置１０１）ではなく、記録サーバが過去の一人称映像を配信するので、映像伝送の負荷が分散される（前述）。
　そして、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔに対して過去の一人称映像の配信中に（ステップＳ１００９）、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数が減少して定員に空きが生じると（ステップＳ１０１０のＹｅｓ）、Ｂｏｄｙは、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れるべきか否かを定員判定処理する（ステップＳ１０１１）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。
　ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れるべきでない（すなわち、追い出したままにすべき）と判定された場合には（ステップＳ１０１２のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続して（記録サーバから）過去の一人称映像を配信する（ステップＳ１００９）。
　また、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れるべきであると判定された場合には（ステップＳ１０１２のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、記録サーバからの追っかけ再生（前述）を実施した後（ステップＳ１０１３）、リアルタイムの一人称映像の配信に切り替える（ステップＳ１００３）。
　また、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔに対してリアルタイムの一人称映像の配信中に（ステップＳ１００３）、ＢｏｄｙにＪａｃｋＩｎするＧｈｏｓｔの数が増加して定員オーバーが生じると（ステップＳ１００４のＹｅｓ）、そのＧｈｏｓｔを定員の中に入れたままで良いか否か（言い換えれば、追い出すべきか否か）を定員判定処理する（ステップＳ１００５）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。
　ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを定員の中に入れたままで良いと判定された場合には（ステップＳ１００６のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続してリアルタイムの一人称映像を配信する（ステップＳ１００３）。
　また、ステップＳ１００１でＪａｃｋＩｎしてきたＧｈｏｓｔを追い出すべき判定された場合には（ステップＳ１００６のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、（例えば記録サーバからの）過去の一人称映像の配信に切り替える（ステップＳ１００９）。
　図１０に示した処理手順に従えば、Ｂｏｄｙすなわち画像提供装置１０１の負荷分散のために追い出されたＧｈｏｓｔに対しては、例えば記録サーバから５分などの時間遅延を持った状態で配信される映像を視聴することができる。そして、Ｇｈｏｓｔは、追い出された状態から復帰したときには、リアルタイム映像の視聴に即座に戻るのではなく、映像の速度を１．０５倍の速度などにした追っかけ再生を実施して、徐々に（すなわち、シームレスに）現在時刻の映像に戻る。
Ｄ－３．全天周映像配信時における定員問題の解決
　Ｂｏｄｙから配信する一人称映像が、３６０度の全天周映像の場合、Ｇｈｏｓｔへすべての映像を送ると伝送負荷が高い。一方、Ｇｈｏｓｔにとっても、３６０度すなわち全周囲の映像を観察できる訳ではなく、実際に見ることができるのは視線方向を中心にした所定の視野角内に限られる。したがって、３６０度の全天周映像を常に配信するのは無駄である。
　そこで、図１１に示すように、３６０度の全天周を所定の角度毎の領域に分割して、全天周映像をチャンネル化して、チャンネル（領域）毎の映像を配信するチャンネル・サーバ１１０１、１１０２、…を設置することによって、全天周映像を配信する際の負荷を分散する方法が考えられる。各Ｇｈｏｓｔに対しては、現在の視線方向に対応するチャンネル・サーバ１１０１、１１０２、…から映像が配信される。また、Ｇｈｏｓｔ側で視線方向が変化すると、これに応じてチャンネル・サーバを切り替えることによって、視線方向に適合した映像を視聴することができる。
　全天周を領域分割する角度（中心角）は、人間の視野角を十分カバーできる大きさであることが好ましい。図１１に示す例では、図面の簡素化のため、全天周を９０度毎に４つの領域のチャンネルｃｈ１、ｃｈ２、…に分割して、各領域の映像をそれぞれのチャンネル・サーバ１１０１、１１０２、…から配信するようにしている。また、チャンネル切り替えの際に、領域の境界が見えたり映像が途切れたりしないように、隣接する領域（チャンネル）の境界の映像がオーバーラップするように、各チャンネルの映像を制作することが好ましい。図１２には、チャンネル・サーバ１１０１が、隣接するチャンネルｃｈ２、ｃｈ３の領域とオーバーラップする領域の映像を配信する様子を示している。
　上記のように、全天周映像をチャンネル化して、チャンネル（領域）毎に別々のチャンネル・サーバから映像を配信するようにすることで、全天周映像の配信の負荷を分散することができる。
　ところが、全天周のうちＧｈｏｓｔの視聴角度が一箇所に集中するという事態が想定される。例えば、コンサートを鑑賞若しくは観覧しているＢｏｄｙの全天周映像を配信する場合、Ｇｈｏｓｔの視聴角度はステージ上若しくは特定のアーティストに集中しがちである。
　図１３には、Ｂｏｄｙの全天周映像を視聴する各Ｇｈｏｓｔの視聴角度を例示している。同図中、矢印が中央の視点位置からの視線方向を示しているものとする。図示の例では、チャンネルｃｈ１内に視聴角度が集中しているため、チャンネル・サーバ１１０１に伝送負荷が集中する。
　このような事態を回避するため、チャンネル・サーバ毎、言い換えれば全天周映像の領域毎に、視聴可能なＧｈｏｓｔの定員を設定して、Ｄ－１項で説明したと同様のＧｈｏｓｔの追い出し処理を実施するようにすればよい。上述したように、ＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式を用いて、領域から追い出すべきＧｈｏｓｔを選定することができる。
　このように、所定の条件を満たした特定の方向における映像に対するアクセス要求が制限されてよい。特定の方向は、視聴角度が集中している方向、すなわち特定の視聴方向としてみなされてもよい。
　また、定員外として追い出したＧｈｏｓｔをＢｏｄｙの一人称映像から完全に分断させてもよいが、定員外のＧｈｏｓｔに対して通信帯域に過度の負荷がかからない（定員以内のＧｈｏｓｔへの映像配信に影響を与えない）方法により、映像配信を行なうようにしてもよい。
　上記Ｄ－２項では定員外のＧｈｏｓｔに対してＢｏｄｙの過去の映像を配信することで負荷分散を図った。全天周映像を配信する場合には、定員外のＧｈｏｓｔには隣接する領域の映像（すなわち、隣接する視線方向の映像）に置き換えて視聴してもらうようにすることで、チャンネル・サーバの負荷を分散させることができる。また、優先順位に応じて送信する映像の解像度を制御する（例えば、優先順位の低いＧｈｏｓｔに対しては低解像度の映像度を送るようにする）ことで、チャンネル・サーバの負荷を低減して、なるべくＧｈｏｓｔが希望するチャンネル・サーバからの映像を配信できるようにしてもよい。
　また、定員以内のＧｈｏｓｔが外れたことによって、チャンネル・サーバに定員（通信帯域の容量制限など）に余裕ができて、これまで定員外であったＧｈｏｓｔが定員に入る（若しくは、定員に復帰する）ことができることも想定される。このような場合、Ｇｈｏｓｔへ配信する映像を隣接する領域の視聴角度から元の視聴角度の映像に即座に切り替えると、Ｇｈｏｓｔはその視聴角度間の映像の情報を失ってしまうことになる。そこで、視聴角度を切り替える際には、即座に元の視聴角度に戻るのではなく、隣接する領域の視聴角度から徐々に戻るようにしてもよい。徐々に視聴角度をシフトさせれば、Ｇｈｏｓｔは、違和感なく、シームレスに所望の視聴角度の映像に切り替えて視聴することができる。
　図１４には、Ｇｈｏｓｔに対してＢｏｄｙの全天周映像を配信するための処理手順をフローチャートの形式で示している。
　ＢｏｄｙにＪａｃｋＩｎしているＧｈｏｓｔが視聴角度を変化させたとき（ステップＳ１４０１のＹｅｓ）、その視聴角度を含む領域（チャンネル）を視聴しているＧｈｏｓｔの総数がまだ定員以内かどうかをチェックする（ステップＳ１４０２）。ここで、「Ｇｈｏｓｔが視聴角度を変化させたとき」は、新規のＧｈｏｓｔがＢｏｄｙにＪａｃｋＩｎしてきた場合を含むものとする。
　ここで、Ｇｈｏｓｔが変化させた後の視聴角度を含む領域（チャンネル）の定員を超えていない場合には（ステップＳ１４０２のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して希望通りの視聴角度での映像の配信を開始する（ステップＳ１４０３）。
　一方、Ｇｈｏｓｔが変化させた後の視聴角度を含む領域（チャンネル）の定員を超えてしまう場合には（ステップＳ１４０２のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔは当該領域（チャンネル）の定員以内か否か（言い換えれば、当該領域（チャンネル）から追い出すべきか否か）を定員判定処理する（ステップＳ１４０７）。Ｇｈｏｓｔを追い出すべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。
　ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔが該当する領域（チャンネル）の定員以内であると判定された場合には（ステップＳ１４０８のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して希望通りの視聴角度での映像の配信を開始する（ステップＳ１４０３）。
　また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔが該当する領域（チャンネル）の定員を外れる（すなわち、追い出すべき）と判定された場合には（ステップＳ１４０８のＮｏ）、そのＧｈｏｓｔに対して、変更した視聴角度の領域ではなくこれに隣接する領域（チャンネル）の映像の配信を開始する（ステップＳ１４０９）。隣接する領域の映像は、定員をオーバーしていない別のチャンネル・サーバが配信するので、映像伝送の負荷が分散される（前述）。
　そして、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔに対して隣接する領域（チャンネル）の映像を配信中に（ステップＳ１４０９）、元の（すなわち、ステップＳ１４０１で変更した）視聴角度を含む領域（チャンネル）を視聴するＧｈｏｓｔの数が減少して定員に空きが生じると（ステップＳ１４１０のＹｅｓ）、Ｂｏｄｙは、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを希望通りの領域（チャンネル）の定員の中に入れるべきか否かを定員判定処理する（ステップＳ１４１１）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。
　Ｓ１４０１で視聴角度を変更したＧｈｏｓｔを希望通りの領域（チャンネル）の定員の中に入れるべきでない（すなわち、追い出したままにすべき）と判定された場合には（ステップＳ１４１２のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続して隣接する領域（チャンネル）の映像を配信する（ステップＳ１４０９）。
　また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを希望通りの領域（チャンネル）の定員の中に入れるべきであると判定された場合には（ステップＳ１４１２のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、視聴角度シフト再生を実施した後（ステップＳ１４１３）、希望通りの視聴角度での映像の配信に切り替える（ステップＳ１４０３）。
　また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔに対して希望通りの領域（チャンネル）の映像の配信中に（ステップＳ１４０３）、他のＧｈｏｓｔが同じ領域（チャンネル）内に視聴角度を変更してきて定員オーバーが生じると（ステップＳ１４０４のＹｅｓ）、そのＧｈｏｓｔを定員の中に入れたままで良いか否か（言い換えれば、追い出すべきか否か）を定員判定処理する（ステップＳ１４０５）。Ｇｈｏｓｔを定員の中に入れるべきか否かは、例えば上述したＦＩＦＯ方式、ＬＩＦＯ方式、又は優先順位方式のいずれかにより判定すればよい。
　ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを定員の中に入れたままで良いと判定された場合には（ステップＳ１４０６のＹｅｓ）、Ｂｏｄｙは、そのＧｈｏｓｔに対し、継続して希望通りの視聴角度の映像を配信する（ステップＳ１４０３）。
　また、ステップＳ１４０１で視聴角度を変更したＧｈｏｓｔを追い出すべき判定された場合には（ステップＳ１４０６のＮｏ）、Ｂｏｄｙは、そのＧｈｏｓｔに対して、隣接する領域（チャンネル）に切り替えて映像を配信する（ステップＳ１４０９）。
　図１４に示した処理手順に従えば、チャンネル・サーバの負荷分散のために追い出されたＧｈｏｓｔに対しては、隣接する領域の映像を視聴することができる。そして、Ｇｈｏｓｔは、追い出された状態から復帰したときには、希望通りの視聴角度の映像の視聴に即座に戻るのではなく、視聴角度シフト再生を実施して、徐々に希望通りの視聴角度の映像に戻る。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書で開示する技術は、例えば、外科手術などの医療現場、土木作業などの建築現場、飛行機やヘリコプターの操縦、自動車の運転者のナビゲーション、スポーツのインストラクションなど、さまざまな産業分野の作業支援などの用途に活用することができる。
　また、本明細書では、身体を以って現場で活動するＢｏｄｙに対して、Ｂｏｄｙの一人称画像を共有するＧｈｏｓｔがＢｏｄｙの視覚や聴覚などに介入するシステムに関する実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。ある人物の視界に他人からの支援や指示、誘導、案内に関する情報を表示するさまざまな情報処理装置に対しても、同様に本明細書で開示する技術を適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）制御部と、
　通信部と、
　外部の情報処理装置からアクセスを受け付けるアクセス受信部と、
　前記アクセス受信部が所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定部と、
を具備し、
　前記制御部は、前記設定部が設定した優先順位に基づいて、前記撮像部から入力された画像情報を、前記通信部を介して前記情報処理装置に送信する、
撮像部と音声入力部と接続可能な情報端末装置。
（２）前記設定部は、前記所定の条件として前記通信部の通信帯域の容量制限又はアクセス数制限を超える情報処理装置からアクセスを受け付けたときに、前記優先順位の設定を行なう、
上記（１）に記載の情報端末装置。
（３）前記制御部は、前記優先順位に応じて、順番、再生時間、角度、又は解像度を変えて画像情報を前記通信部から送信する、
上記（１）に記載の情報端末装置。
（４）前記制御部は、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して現在の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して過去の映像を前記通信部から送信する、
上記（３）に記載の情報端末装置。
（５）前記制御部は、特定の視線方向の映像へのアクセスが所定の条件を超えたときに、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して前記特定の視線方向の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して前記特定の視線方向以外の映像を前記通信部から送信する、
上記（３）に記載の情報端末装置。
（６）前記制御部は、前記優先順位に応じて、前記所定の条件以内の情報処理装置に対して第１の解像度の映像を前記通信部から送信し、前記所定の条件を超える情報処理装置に対して前記第１の解像度よりも低い第２の解像度の映像を前記通信部から送信する、
上記（３）に記載の情報端末装置。
（７）前記設定部は、情報処理装置の固有情報又は情報処理装置の使用者の属性に関する情報に基づいて、各情報処理装置の優先順位を設定する、
上記（１）に記載の情報端末装置。
（８）前記設定部は、前記アクセス受信部がアクセスした順番に基づいて、各情報処理装置の優先順位を設定する、
上記（１）に記載の情報端末装置。
（９）外部の情報処理装置からアクセスを受け付けるアクセス受信ステップと、
　前記アクセス受信ステップで所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定ステップと、
　前記設定ステップで設定した優先順位に基づいて、前記撮像部から入力された画像情報の前記情報処理装置への送信を制御する制御ステップと、
を有する、撮像部と音声入力部と接続可能な情報端末装置の制御方法。
（１０）制御部と、
　通信部と、
　前記情報端末装置にアクセスを送信するアクセス送信部と、
を具備し、
　前記制御部は、前記アクセス送信部がアクセスした前記情報端末装置において所定の条件を超える場合に、前記情報処理装置に設定された優先順位に基づいて、前記撮像部から入力された画像情報を、前記通信部を介して前記情報端末装置から受信する、
撮像部と音声入力部を接続可能な情報端末装置にアクセスする情報処理装置。
（１１）情報端末装置にアクセスを送信するアクセス送信ステップと、
　前記アクセス送信ステップでアクセスした前記情報端末装置において所定の条件を超える場合に、前記情報処理装置に設定された優先順位に基づいて、前記撮像部から入力された画像情報を、前記通信部を介して前記情報端末装置から受信する情報受信ステップと、
を有する、撮像部と音声入力部を接続可能な情報端末装置にアクセスする情報処理装置の制御方法。
（１２）情報処理装置から情報端末装置へのアクセスを受け付けるアクセス受信部と、
　前記アクセス受信部が所定の条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定部と、
　前記設定部が設定した優先順位に基づいて、前記撮像部から前記情報端末装置に入力された画像情報の前記情報処理装置への伝送を制御する制御部と、
を具備する、撮像部と音声入力部と接続可能な情報端末装置と情報端末装置にアクセスする情報処理装置の間に介在するサーバ装置。
（１３）情報処理装置から情報端末装置へのアクセスを受け付けるアクセス受信ステップと、
　前記アクセス受信ステップで条件を超える情報処理装置からアクセスを受け付けたときに、各情報処理装置に対して情報を提供する優先順位を設定する設定ステップと、
　前記設定ステップで設定した優先順位に基づいて、前記撮像部から前記情報端末装置に入力された画像情報の前記情報処理装置への伝送を制御する制御ステップと、
を有する、撮像部と音声入力部と接続可能な情報端末装置と情報端末装置にアクセスする情報処理装置の間に介在するサーバ装置の制御方法。
（１４）第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、
を具備する情報処理装置。
（１５）前記所定の条件は、前記受信したアクセス要求に関するパラメータが所定値を超えることである、
上記（１４）に記載の情報処理装置。
（１６）前記パラメータは、前記情報端末装置に対して前記コンテンツ情報の少なくとも一部を送信することで前記情報提供を行なう通信部の通信帯域の容量であり、
　前記所定の条件は、前記通信帯域の容量が制限値を超えることである、
上記（１５）に記載の情報処理装置。
（１７）前記パラメータは、前記アクセス要求の数であり、
　前記所定の条件は、前記アクセス要求の数が制限値を超えることである、
上記（１５）に記載の情報処理装置。
（１８）前記制限値は、前記コンテンツ情報に対しリアルタイムにアクセス可能な前記情報端末装置の上限台数である、
上記（１７）に記載の情報処理装置。
（１９）前記制御部は、前記設定された優先順位に応じて、前記情報提供に関する画像情報のパラメータを異ならせる、
上記（１４）乃至（１８）のいずれかに記載の情報処理装置。
（２０）前記画像情報のパラメータは、前記情報端末装置への前記情報提供の順番、再生時間、提供される画像の角度、及び前記提供される画像の解像度のうち少なくとも１つを含む、
上記（１９）に記載の情報処理装置。
（２１）前記情報端末装置は、前記設定された優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置を少なくとも含む、
上記（１４）乃至（２０）のいずれかに記載の情報処理装置。
（２２）前記制御部は、前記受信したアクセス要求が前記所定の条件を満たしたときに、前記第１の情報端末装置への現在の映像の情報提供を制御し、前記第２の情報端末装置への過去の映像の情報提供を制御する、
上記（２１）に記載の情報処理装置。
（２３）前記制御部は、前記コンテンツ情報としての特定の方向における映像に対するアクセス要求が前記所定の条件を満たしたときに、前記第１の情報端末装置への前記特定の方向における映像の情報提供を制御し、前記第２の情報端末装置への前記特定の方向の映像とは異なる映像の情報提供を制御する、
上記（２１）に記載の情報処理装置。
（２４）前記第１の情報端末装置は、前記第２の情報端末装置よりも早く前記コンテンツ情報に対するアクセス要求を行なった情報端末装置である、
上記（２１）乃至（２３）のいずれかに記載の情報処理装置。
（２５）前記制御部は、前記第１の情報端末装置への第１の解像度を有する映像の情報提供を制御し、前記第２の情報端末装置への前記第１の解像度よりも低い第２の解像度を有する映像の情報提供を制御する、
上記（２１）乃至（２３）のいずれかに記載の情報処理装置。
（２６）前記情報端末装置の関連情報に基づいて、前記情報端末装置それぞれの優先順位を設定する設定部をさらに備える、
上記（１４）乃至（２３）、（２５）のいずれかに記載の情報処理装置。
（２７）前記情報端末装置の関連情報は、前記情報端末装置の固有情報を含む、
上記（２６）に記載の情報処理装置。
（２８）前記情報端末装置の関連情報は、前記第２のユーザの属性情報を含む、
上記（２６）に記載の情報処理装置。
（２９）外部の装置としての前記情報端末装置と通信する通信部と、
　前記設定部、前記通信部、及び前記アクセス受信部を前記第１のユーザにより持ち運び可能とする筐体と、
をさらに備え、
　前記制御部は、前記情報処理装置に接続可能な撮像部及び音声入力部のうち少なくとも一方を制御する、
上記（１４）乃至（２８）のいずれかに記載の情報処理装置。
（３０）前記情報処理装置は、前記第１のユーザの情報端末装置と前記第２のユーザの情報端末装置の間の通信を直接的又は間接的に接続する、ネットワーク上のサーバ装置である、
上記（１４）乃至（２９）のいずれかに記載の情報処理装置。
（３１）第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
を有する情報処理装置の制御方法。
（３２）第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラム。
　１００…視界情報共有システム
　１０１…画像提供装置、１０２…画像表示装置
　５０１…撮像部、５０２…画像処理部、５０３…表示部
　５０４…第１の音声出力部、５０５…駆動部
　５０６…第２の音声出力部、５０７…位置検出部
　５０８…通信部、５０９…制御部、５１０…設定部
　５１１…通信部、５１２…画像復号部、５１３…表示部
　５１４…ユーザ入力部、５１５…位置姿勢検出部
　５２１…音声入力部、５２２…音声処理部

Claims (19)

  1. 　第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信部と、
    　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御部と、
    を具備する情報処理装置。
  2. 　前記所定の条件は、前記受信したアクセス要求に関するパラメータが所定値を超えることである、
    請求項１に記載の情報処理装置。
  3. 　前記パラメータは、前記情報端末装置に対して前記コンテンツ情報の少なくとも一部を送信することで前記情報提供を行なう通信部の通信帯域の容量であり、
    　前記所定の条件は、前記通信帯域の容量が制限値を超えることである、
    請求項２に記載の情報処理装置。
  4. 　前記パラメータは、前記アクセス要求の数であり、
    　前記所定の条件は、前記アクセス要求の数が制限値を超えることである、
    請求項２に記載の情報処理装置。
  5. 　前記制限値は、前記コンテンツ情報に対しリアルタイムにアクセス可能な前記情報端末装置の上限台数である、
    請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記設定された優先順位に応じて、前記情報提供に関する画像情報のパラメータを異ならせる、
    請求項１に記載の情報処理装置。
  7. 　前記画像情報のパラメータは、前記情報端末装置への前記情報提供の順番、再生時間、提供される画像の角度、及び前記提供される画像の解像度のうち少なくとも１つを含む、
    請求項６に記載の情報処理装置。
  8. 　前記情報端末装置は、前記設定された優先順位において、相対的に高い優先順位を有する第１の情報端末装置と、相対的に低い優先順位を有する第２の情報端末装置を少なくとも含む、
    請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記受信したアクセス要求が前記所定の条件を満たしたときに、前記第１の情報端末装置への現在の映像の情報提供を制御し、前記第２の情報端末装置への過去の映像の情報提供を制御する、
    請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記コンテンツ情報としての特定の方向における映像に対するアクセス要求が前記所定の条件を満たしたときに、前記第１の情報端末装置への前記特定の方向における映像の情報提供を制御し、前記第２の情報端末装置への前記特定の方向の映像とは異なる映像の情報提供を制御する、
    請求項８に記載の情報処理装置。
  11. 　前記第１の情報端末装置は、前記第２の情報端末装置よりも早く前記コンテンツ情報に対するアクセス要求を行なった情報端末装置である、
    請求項８に記載の情報処理装置。
  12. 　前記制御部は、前記第１の情報端末装置への第１の解像度を有する映像の情報提供を制御し、前記第２の情報端末装置への前記第１の解像度よりも低い第２の解像度を有する映像の情報提供を制御する、
    請求項８に記載の情報処理装置。
  13. 　前記情報端末装置の関連情報に基づいて、前記情報端末装置それぞれの優先順位を設定する設定部をさらに備える、
    請求項１に記載の情報処理装置。
  14. 　前記情報端末装置の関連情報は、前記情報端末装置の固有情報を含む、
    請求項１３に記載の情報処理装置。
  15. 　前記情報端末装置の関連情報は、前記第２のユーザの属性情報を含む、
    請求項１３に記載の情報処理装置。
  16. 　外部の装置としての前記情報端末装置と通信する通信部と、
    　前記設定部、前記通信部、及び前記アクセス受信部を前記第１のユーザにより持ち運び可能とする筐体と、
    をさらに備え、
    　前記制御部は、前記情報処理装置に接続可能な撮像部及び音声入力部のうち少なくとも一方を制御する、
    請求項１に記載の情報処理装置。
  17. 　前記情報処理装置は、前記第１のユーザの情報端末装置と前記第２のユーザの情報端末装置の間の通信を直接的又は間接的に接続する、ネットワーク上のサーバ装置である、
    請求項１に記載の情報処理装置。
  18. 　第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
    　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
    を有する情報処理装置の制御方法。
  19. 　第１のユーザに関連付けられたコンテンツ情報に対する、複数の第２のユーザの情報端末装置からの直接的又は間接的なアクセス要求を受信するアクセス受信ステップと、
    　前記受信したアクセス要求に関する所定の条件が満たされたときに、設定された優先順位に基づいて、前記情報端末装置それぞれへの情報提供を制御する制御ステップと、
    をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラム。
PCT/JP2016/078948 2015-10-21 2016-09-29 情報処理装置及びその制御方法、並びにコンピュータ・プログラム WO2017068928A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16857245.1A EP3367690A4 (en) 2015-10-21 2016-09-29 Information processing device, control method therefor, and computer program
US15/767,008 US10986206B2 (en) 2015-10-21 2016-09-29 Information processing apparatus, control method thereof, and computer readable medium for visual information sharing
CN201680060704.5A CN108141628B (zh) 2015-10-21 2016-09-29 信息处理设备、其控制方法和计算机程序
JP2017546471A JP6919568B2 (ja) 2015-10-21 2016-09-29 情報端末装置及びその制御方法、情報処理装置及びその制御方法、並びにコンピュータ・プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-206950 2015-10-21
JP2015206950 2015-10-21
PCT/JP2016/078737 WO2017068926A1 (ja) 2015-10-21 2016-09-28 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JPPCT/JP2016/078737 2016-09-28

Publications (1)

Publication Number Publication Date
WO2017068928A1 true WO2017068928A1 (ja) 2017-04-27

Family

ID=58556957

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078948 WO2017068928A1 (ja) 2015-10-21 2016-09-29 情報処理装置及びその制御方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
WO (1) WO2017068928A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498616B2 (ja) 2020-07-22 2024-06-12 日本放送協会 Ｖｒ映像生成装置及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003046749A1 (en) * 2001-11-28 2003-06-05 Interactive Content Engines, Llc. Interactive broadband server system
WO2007135627A2 (en) * 2006-05-18 2007-11-29 Nxp B.V. Mobile phone used within a client-server system
US20120202479A1 (en) * 2010-07-06 2012-08-09 Dwango Co., Ltd. Operation information transmission server, operation information transmission system, and operation information transmission method
US20130182186A1 (en) * 2010-10-20 2013-07-18 Sony Computer Entertainment Inc. Image processing system, image processing method, dynamic image transmission device, dynamic image reception device, information storage medium, and program
WO2014165109A1 (en) * 2013-03-12 2014-10-09 Rivada Networks Llc Methods and systems for dynamic spectrum arbitrage
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003046749A1 (en) * 2001-11-28 2003-06-05 Interactive Content Engines, Llc. Interactive broadband server system
WO2007135627A2 (en) * 2006-05-18 2007-11-29 Nxp B.V. Mobile phone used within a client-server system
US20120202479A1 (en) * 2010-07-06 2012-08-09 Dwango Co., Ltd. Operation information transmission server, operation information transmission system, and operation information transmission method
US20130182186A1 (en) * 2010-10-20 2013-07-18 Sony Computer Entertainment Inc. Image processing system, image processing method, dynamic image transmission device, dynamic image reception device, information storage medium, and program
WO2014165109A1 (en) * 2013-03-12 2014-10-09 Rivada Networks Llc Methods and systems for dynamic spectrum arbitrage
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KASAHARA, S. ET AL.: "JackIn: Integrating First-Person View with Out-of-Body Vision Generation for Human-Human Augmentation", PROCEEDINGS OF THE 5TH AUGMENTED HUMAN INTERNATIONAL CONFERENCE (AH'14), 9 March 2014 (2014-03-09), pages 1 - 8, XP058047978, ISBN: 978-1-4503-2761-9 *
OCHI, D. ET AL.: "Live Streaming System for Omnidirectional Video", PROCEEDINGS OF IEEE VIRTUAL REALITY CONFERENCE 2015, 27 March 2015 (2015-03-27), pages 349 - 350, XP055295163, ISBN: 978-1-4799-1727-3 *
See also references of EP3367690A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498616B2 (ja) 2020-07-22 2024-06-12 日本放送協会 Ｖｒ映像生成装置及びプログラム

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
US11120775B2 (en) Compositing an image for display
US11024083B2 (en) Server, user terminal device, and control method therefor
JP6822410B2 (ja) 情報処理システム及び情報処理方法
US10771739B2 (en) Information processing device and information processing method
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
WO2017064926A1 (ja) 情報処理装置及び情報処理方法
WO2017068926A1 (ja) 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
WO2017068928A1 (ja) 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JP2019083029A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
US20240205513A1 (en) Video display system, information processing device, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857245

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017546471

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016857245

Country of ref document: EP